JEE의기록장

# 1 정보이론이란? * 정보 이론이란, 최대한 많은 데이터를 매체에 저장하거나 채널을 통해 통신하기 위해 데이터를 정량화하는 응용 수학의 한 분야이다.(위키백과) ex. Bits (이진수, 모스부호) - 랜덤한 정보를 최대한 효율적으로 표현하기 위해서는 높은 확률로 나오는 글자는 간결하게 낮은 확률로 나오는 글자는 보다 길게 코딩하는 것이 좋을 것. (아래의 식을 최소화하는 것이 목표) 그렇다면 어떻게 효율적인 코드 길이를 알 수 있나? 그 수치는 무엇인가? --> 엔트로피! # 2 엔트로피 (Entropy) * 엔트로피 공식은 아래와 같다. -log를 취한 이유는 언급한 확률이 클수록 길이(y)를 작게 반환하는 그래프이기 때문이다. 예시>> ** 균등 분포일때가 가장 최악의 상황이 나온다. why? ..

본 포스팅은 혁펜하임 [AI를 위한 수학] 딥린이를 위한 필수 수학 패키지를 참고하였습니다. https://www.youtube.com/watch?v=frkVgBvp850 # 4 극한 * x가 a에 제일 가까운 값일때 f(x)는 무엇인가 * 극한 값이 존재해야 미분이 가능해짐! # 5 연쇄법칙 * 함수를 조각조각 미분해서 쉽게 구하자! 예시>> # 6 편미분 = 그라디언트 * f(x,y)=yx^2 와 같은 여러개의 변수로 이루어진 함수를 미분할때 각각에 대해서 미분하는 것을 말함. 즉, x에 대한 미분과 y에 대한 미분 (이때, 다른 변수는 상수로 취급하고 미분해주면 됨) # 7 Maclaurin 급수/ Taylor 급수 * 어떤 임의의 함수를 다항함수로 나타내는 것 (미분이 불가능한 함수를 다항함수로 ..

본 포스팅은 혁펜하임 [AI를 위한 수학] 딥린이를 위한 필수 수학 패키지를 참고하였습니다. https://www.youtube.com/watch?v=frkVgBvp850 #1 log (로그) *로그의 밑이 클수록 그래프가 더 눞는다. #2 행렬 *여러 식을 한번에, 단순하게, 간단하게 표시 밑 계산할 수 있는 장점 *단 AB!=BA * 전치 행렬 #3 벡터 * 스칼라는 숫자 1개, 벡터(좌표점을 생각하기)는 숫자 여러개로 생각하면 된다..! * 벡터는 크기와 방향이 같으면 시점이 달라도 같은 벡터 * 벡터의 크기(norm) 1) L2 norm --> 피타고라스 정리 생각하기 2) L1 norm --> 절댓값 참고: https://sooho-kim.tistory.com/85 l1-norm과 l2-norm..

용어 정리 DNN (Deep Neural Network) : 깊은 인공 신경망 FC (Fully-Connected Layer): 노드끼리 싹다 연결된 층 Perceptron: unit step function(계단 함수)을 활성화 함수로 사용하는 인공 신경을 의미 MLP (Multilayer Perceptron): 모든 layer가 FC layer인 신경망으로 임의의 활성화 함수를 사용하는 인공 신경망을 의미한다. 딥러닝의 목표!! loss(=cost)를 최소화하는 weight와 bias 찾기 * loss란? 내가 풀고 싶은 문제에 맞게 잘 정의하는 것 (ex. 머신의 예측값 - 실제 값) >> linear regression에서 loss를 어떻게 계산할 수 있을까? 하지만, 양수값과 음수값이 동시에 존..