JEE의기록장

1. RAG 전반적 이해 2.토큰화 바이트 페어 인코딩 (BPE: Byte Pair Encoding) 3. ChatOpenAI 주요 매개변수temperature: 샘플링 온도, 답변을 얼마나 창의적으로 할 것인지를 지정 e.g. 0.8~1 : 출력 무작위, 0.2: 결정론적으로 답변max_token: 최대 토큰 수 (지정하지 않을 경우 모델에서 허용된 최대 토큰 수까지 허용됨)model_name: 적용 가능한 모델 리스트로 하나를 선택해 사용 e.g. gpt-3.5-turbo,gpt-4-turbo, gpt-4o 등logprob: 모델이 토큰을 예측할 확률 (확률 토큰 값에 로그를 씌워 변환)e.g. y=0, x=1이면 가장 확률이 높다는 의미, 확률이(x)이 낮을수록 음수로 나타남 # 객체 생성llm_..

Random Assignment Works는 동전을 많이 던지면 던질수록 통계적 확률에 수렴하게 된다는 아이디어 즉 사람들을 랜덤하게 treatment group, control group 이렇게 구성한다는 것임. 랜덤하게 하면 두집단을 평균적으로 봤을때는 굉장히 비슷해질 것이라는 아이디어 --> 물론 큰 수의 샘플이 어야한다는 가정이 있음 이것이 selection bias를 제거할 수 있게 됨. 예시> 각 그룹의 평균을 보고 있음./ treatment가 잘 적용이 되었는지 확인 가능 통제 변수를 추가해도 변화가 없어야함.

SUTVA (Stable Unit Treatment Value Assumption) 여기서 한가지 가정은, potential outcome with treatment 는 observed outcome with treatment가 같아야 한다. = consistency 통계적 consistency는 샘플 수가 많아질수록 consist한걸 말하는데 여기서 말하는 consistency랑은 다름 특히나 consistency에는 원인 변수에 대한 조작이 중요. 조작이 불가능하다면 어떤 문제가 있을까? 비만상태가 건강에 미치는 영향을 본다면, 비만O, 비만 X 일때 비교해야하는데, 이때 비만의 원인이 정말 많을 수 있음. ex. 지병, 운동부족, 불규칙한 식습관 등.. 각자 다 다를 것임. 각자 원인에 따라 나올 ..

이전 시간에 1. Identification(가능 조건, 가정) 2. Estimation(데이터를 활용 인과적 효과 추정)의 중요성에 대해 배웠음 이번시간에는 인과 추론 기준점이 되는 Randomize experimence 무작위 실험에 대해 배울 예정임 그 중에서 가장 기본이 되는 것이 바로!! "Potential Outcome Framework " * Causal effect = treatment 가 이루어진 후 실제 결과 - treatment가 적용되지 않았을때 예상된 결과 (Counterfactual) 하지만, 실제로 우리가 볼 수 있는 결과는 treatment를 실제로 적용했을 때 실제 결과 - treatment를 적용하지 않았을 때의 실제 결과임.. 따라서 Potential outcome fr..

본 내용은 유튜브 인과추론의 데이터과학의 Korea Summer Workshop on Causal Inference 2023 영상을 요약한 내용입니다. https://www.youtube.com/@causaldatascience 인과추론의 데이터과학 데이터 분석을 통해 원인과 결과를 탐구하는 인과추론 (causal inference)을 다룹니다. www.youtube.com *Correlation vs. Causation 위의 연구에 따르면, 추천 시스템과 구매 사이에 인과 관계가 있다고 보지는 않음. 뿐만 아니라 아래의 넷플릭스의 연구에서는 더 좋은 성능을 가진 추천시스템을 사용하여 추천한 컨텐츠 보다 단순히 인기 있는 컨텐츠를 상위에 올려놨을 떄 더 나은 비즈니스 퍼포먼스로 이어진다는 결과가 나옴. ..

According to the “Omission Bias” people feel less guilt or responsibility when they pick a passive option. For example, active euthanasia is illegal whereas deliberate refusal of lifesaving measures is legal even though both of them bring the same result. When I take a look back, I realize that there are instances where I might have favored passive options, shirking responsibility for the result..

1. IMRAD를 기억하라 1. Introduction 2. Method 3. Result 4. And Discussion 2. IMRAD의 확장 버전 1. Intro - 타이틀 - 작성날짜 - 팀이름 - 작성자/발표자이름 (책임자이름) 2. Executive summary (요약) - 한장에 결과 요약 (옵션) 3. Objectives - 배경 - 연구목적 - 연구 가설 4. Method - 어떤 데이터? - 어떤 분석방법? 5. Data - 중요 변수 - 데이터 크기 - EDA 시각화 부분 6. Results - 분석 결과 기술 7. Discussions - 연구결과의 의미는? - 다른 연구와의 관계는? - 앞으로 연구할 주제로는? 8. Conclusions - 연구 결과 요약 참고 - 조직의 템플릿..

According to Chapter 26, "Neglect of Probability," people tend to overlook probability and instead place more emphasis on the event itself especially when it comes to lottery or stock investment. For example, many amateur investors evaluate their investments solely on the basis of the potential yield without giving due consideration to the risks involved. Also, when it comes to awareness of prev..

LDA 수행 순서 1. 하이퍼파라미터 K 선택 2. 모든 단어를 k개 중 하나의 토픽에 할당 3. 모든 문서의 모든 단어에 대해서 아래 사항을 반복 p(topic t | document d): 문서 d의 단어들 중 토픽 t에 해당하는 단어들의 비율 p(word w | topic t): 단어 w를 갖고 있는 모든 문서들 중 토픽 t가 할당된 비율 참고문헌: http://contents2.kocw.or.kr/KOCW/data/document/2020/edu1/bdu/kimjunhee1118/133.pdf Top2vec 수행 순서 1. 임베딩된 문서 벡터와 워드 벡터를 만든다(Doc2vec, Universal Sentence Encoder, Bert Sentence Transformer 선택 가능). 2. 문..

MY THOUGHT While reading this book, I was surprised that there are so many biases that people need to be careful of when making decisions or estimates. On the other hand, I realized that human beings are so imperfect as we are easily impacted by certain words and phenomena. Also, it reinforced my belief that we live in an uncertain world where it is impossible to find one unchangeable fact forev..