[수학]5 Mathematics | MLE vs. MAP vs. Bayesian 개요 $$P(B|A) = \dfrac{P(A|B)P(B)}{P(A)}$$ Bayes' Rule은 직관적이고 간단하지만 이를 통해서 전개하는 이론들은 어딘가 모르게 이해가 잘 안 되고, 눈으로는 쉬워보이는데 머리로 이해가 안 되니 스트레스로 다가온다. MLE vs. MAP vs. Bayesian이 그 예시 중 하나이다. 몇 년 째 보는 내용이지만 몇 달 안 보다가 갑자기 보면 잠깐씩 막힌다. 그동안은 막혀도 뭘 몰라서 막힌 건지도 몰라서 정리를 못했으나, 이제 머리가 좀 크고 조금 알긴 할 것 같으니 graphical하게 정리 해보겠다. 급하면 세팅이랑 그림만 봐도 될 것 같다. Bayes' Rule $$P(\text{Cause}|\text{Observation}) = \dfrac{P(\text{Obser.. 2022. 12. 17. Mathematics | Fourier Analysis | Basic Properties of Fourier Series References Fourier Analysis (Elias M. Stein) - Chapter 2 1. Examples and Formulation of The Problem 정의 $f$: 단위원 위에서 정의된 리만적분 가능한 함수 (= $[0, 2\pi]$에서 정의된 $2\pi$-periodic한 함수) $\hat{f}(n) = {1\over 2\pi}\int_{-\pi}^\pi f(\theta)e^{-in\theta}d\theta$: 푸리에 계수 $D_N(\theta) = \sum_{n=-N}^N e^{in\theta}$: 디리클레 커널 $S_N(f)(\theta) = \sum_{n=-N}^N \hat{f}(n)e^{in\theta} = (D_N * f)(\theta)$: $N$차 푸리에 부분합 .. 2021. 8. 14. Mathematics | Information Theory | Entropy, Information References Elements of Information Theory (Thomas M. Cover) - Chapter 2 정보 (a measure of information) 정보의 양을 측정하고자 하는 시도는 통신에서 시작됐다. 통신에서 한 채널은 특정 time frame에 0 또는 1의 binary 정보만을 담고 있다. 같은 정보여도 0101..의 인코딩을 효율적으로 하여 채널 점유를 최소화하는 문제를 풀어야 했다. 얼마나 최소화할 수 있을까? 이 방법이 저 방법보다 효율적일까?에 대한 질문에 답하기 위해 정보를 측정할 필요가 있었다. 수학적으로 정의하기 이전에 아래 예시를 살펴보자. 점심 메뉴 예측 신입이 회식 메뉴를 결정해야 하는 상황이다. 신입은 부장이 먹고 싶은 메뉴를 맞춰서 부장을 감.. 2021. 8. 13. Mathematics | Wasserstein GAN and Kantorovich-Rubinstein Theorem 우리말 설명 Reference 원문 : https://vincentherrmann.github.io/blog/wasserstein/ Wasserstein GAN and the Kantorovich-Rubinstein Duality Derivation of the Kantorovich-Rubinstein duality for the use in Wasserstein Generative Adversarial Networks vincentherrmann.github.io A Hitchhiker's guide to Wasserstein : http://n.ethz.ch/~gbasso/download/A%20Hitchhikers%20guide%20to%20Wasserstein/A%20Hitchhikers%20guide%20t.. 2019. 5. 4. Mathematics | 왜 하필 Borel Set일까? Reference https://jjycjnmath.tistory.com/150 https://www.slideshare.net/ssuser7e10e4/wasserstein-gan-i http://iseulbee.tistory.com/attachment/cfile21.uf@213DA24658C01012058757.pdf https://en.wikipedia.org/wiki/Countable_set WGAN에서 확률 분포 간의 거리를 정의하는 부분에서 Borel Set이라는게 나온다. "확률을 계산할 수 있는 집합" 정도로만 이해하고 논문을 읽어도 문제는 없지만 임성빈 박사님의 슬라이드를 보고 이 부분이 좀 재밌을 것 같아서 파봤다. 생각보다 어려운 부분이 많아서 잊어버리기 전에 글로 기록해 놔야 겠다. .. 2019. 3. 21. 이전 1 다음
