본문 바로가기

분류 전체보기33

Mathematics | Fourier Analysis | Basic Properties of Fourier Series References Fourier Analysis (Elias M. Stein) - Chapter 2 1. Examples and Formulation of The Problem 정의 $f$: 단위원 위에서 정의된 리만적분 가능한 함수 (= $[0, 2\pi]$에서 정의된 $2\pi$-periodic한 함수) $\hat{f}(n) = {1\over 2\pi}\int_{-\pi}^\pi f(\theta)e^{-in\theta}d\theta$: 푸리에 계수 $D_N(\theta) = \sum_{n=-N}^N e^{in\theta}$: 디리클레 커널 $S_N(f)(\theta) = \sum_{n=-N}^N \hat{f}(n)e^{in\theta} = (D_N * f)(\theta)$: $N$차 푸리에 부분합 .. 2021. 8. 14.
Mathematics | Information Theory | Entropy, Information References Elements of Information Theory (Thomas M. Cover) - Chapter 2 정보 (a measure of information) 정보의 양을 측정하고자 하는 시도는 통신에서 시작됐다. 통신에서 한 채널은 특정 time frame에 0 또는 1의 binary 정보만을 담고 있다. 같은 정보여도 0101..의 인코딩을 효율적으로 하여 채널 점유를 최소화하는 문제를 풀어야 했다. 얼마나 최소화할 수 있을까? 이 방법이 저 방법보다 효율적일까?에 대한 질문에 답하기 위해 정보를 측정할 필요가 있었다. 수학적으로 정의하기 이전에 아래 예시를 살펴보자. 점심 메뉴 예측 신입이 회식 메뉴를 결정해야 하는 상황이다. 신입은 부장이 먹고 싶은 메뉴를 맞춰서 부장을 감.. 2021. 8. 13.
근황 20200719 이전 근황을 쓴지 거의 1년이 되었네요. 요새는 논문을 읽지 않다보니 글이 잘 올라오지 않고 있습니다. 그래도 WGAN과 GANSynth 글은 조회수가 지속적으로 발생해 잘못된 내용이 발견되면 의무감을 갖고 꾸준히 수정하고 있습니다. 리뷰하다 말고 임시저장만 해놓은 글이 몇 개 있는데 너무 아쉽네요. 현재는 방학이라 제가 하고 싶은 것들만 하고 있습니다. 그래서 뭔가 행복합니다 ㅎㅎ 아래는 제가 진행 중인 것들입니다. 연구실 과제: 시간을 상당량 쏟아야 합니다. Jetson이라는 미니컴퓨터를 다뤄야 하는데 말썽을 너무 많이 부립니다. 거의 리눅스 처음 배울 때 느낌입니다. 그 때도 그래픽 드라이버 깔다가 밤을 샜는데 비슷한 짓을 또 하고 있습니다. 위상수학: 이번에 코로나 사태 덕분에(?) 유튜브에 양질.. 2020. 7. 19.
[학부생의 딥러닝] GANs | 2020 GANs Review ★ A Review on Generative Adversarial Networks : Algorithms, Theory, and Applications Reference 해당 논문 : https://arxiv.org/abs/2001.06937 A Review on Generative Adversarial Networks: Algorithms, Theory, and Applications Generative adversarial networks (GANs) are a hot research topic recently. GANs have been widely studied since 2014, and a large number of algorithms have been proposed. However, there is few comprehensive study explaining the connections among different GA arxiv.or.. 2020. 3. 15.
근황 20190731 복학을 앞두고 여러 과목들을 복습하고 있습니다. 논리회로 때 플립플롭을 이해 못해서 컴구까지 쭈르륵 말아먹었는데 드디어 이해가 됐네요 좋아하는 교수님 연구실에 들어가려고 응용선형대수와 컨벡스최적화 등등을 독학하고 있습니다. Sphere GAN을 읽다가 리만다양체를 알게 됐는데 갑자기 미분기하가 너무 하고 싶어져서 학부 해석학부터 독학으로 파고 있습니다. 사실 응선대 빨리 끝내야 되는데 해석학이 너무 재밌네요 ㅎㅎ $\epsilon-\delta$ 어렵다고들 하는데 오히려 너무 기대해서 그런지 그렇게 어렵진 않고 재밌습니다. 퍼즐 맞추기 하는 거 같아요. 박사까지 할 거라 수학공부 할 게 산더미입니다. - 실해석학 : 요새 GAN 논문들은 measure theory가 기본인 거 같아요. - 복소해석학 : 미.. 2019. 7. 31.
Mathematics | Wasserstein GAN and Kantorovich-Rubinstein Theorem 우리말 설명 Reference 원문 : https://vincentherrmann.github.io/blog/wasserstein/ Wasserstein GAN and the Kantorovich-Rubinstein Duality Derivation of the Kantorovich-Rubinstein duality for the use in Wasserstein Generative Adversarial Networks vincentherrmann.github.io A Hitchhiker's guide to Wasserstein : http://n.ethz.ch/~gbasso/download/A%20Hitchhikers%20guide%20to%20Wasserstein/A%20Hitchhikers%20guide%20t.. 2019. 5. 4.
[학부생의 딥러닝] GANs | GANSynth : Adversarial Neural Audio Synthesis Reference GANSynth : https://openreview.net/pdf?id=H1xQVn09FX Spherical Gaussian Distribution : https://mynameismjp.wordpress.com/2016/10/09/sg-series-part-2-spherical-gaussians-101/ Summary 나온지 얼마 안 된 따끈따끈한 논문이다. 이미지 생성에 있어 GAN은 상당히 강력한 성능을 보여주지만 음성 생성에서는 고만고만 했었다. 소리를 직접 생성하지 않고 spectrogram(이미지로 표현된 소리)을 생성하여 구현하였더니 성능이 괜찮았다고 한다. NSynth라는 악기, 피치, 속도, 음량 등을 달리하여 한 노트씩 녹음된 정제된 데이터셋을 사용했다. 여기서 생성.. 2019. 4. 20.
[학부생의 딥러닝] GANs | WGAN, WGAN-GP : Wassestein GAN(Gradient Penalty) GANs에서 WGAN-GP Loss는 LSGAN Loss와 함께 가장 많이 쓰이는 loss이다. 이전의 loss 들의 문제점을 많이 해결했고 논문에서는 잘 작동하는 이유를 수학적으로 후련하게 알려준다. 하지만 수학이 좀 많이 쓰인다...한국어로 된 WGAN 자료가 많이 없는데 혹시나 도움 됐으면 한다. 수학이 상당히 헤비하게 나오는데 붙들고 좀만 머리굴리면 이해 되는 수준일 것이라 생각한다. 사실 나도 잘 이해했는지는 모르겠다. 내가 이해한 수준에서 리뷰해보겠다. (현재 수학을 배우는 중이어서 이해도가 높아질 때마다 수정하고 있습니다. 의도치 않게 많은 분들이 이 글을 찾아오시고 있습니다. 이상한 부분은 가차없이 태클 걸어주시면 감사하겠습니다.) 빠른 요약 Motivation GAN에서는 real, fa.. 2019. 4. 9.
Mathematics | 왜 하필 Borel Set일까? Reference https://jjycjnmath.tistory.com/150 https://www.slideshare.net/ssuser7e10e4/wasserstein-gan-i http://iseulbee.tistory.com/attachment/cfile21.uf@213DA24658C01012058757.pdf https://en.wikipedia.org/wiki/Countable_set WGAN에서 확률 분포 간의 거리를 정의하는 부분에서 Borel Set이라는게 나온다. "확률을 계산할 수 있는 집합" 정도로만 이해하고 논문을 읽어도 문제는 없지만 임성빈 박사님의 슬라이드를 보고 이 부분이 좀 재밌을 것 같아서 파봤다. 생각보다 어려운 부분이 많아서 잊어버리기 전에 글로 기록해 놔야 겠다. .. 2019. 3. 21.
Visualization | matplotlib의 버튼, 슬라이더로 상호작용 가능한 plot 찍어보기 (matplotlib.widgets Slider, Button, RadioButtons, CheckButtons) matplotlib을 1년 넘게 썼는데 matplotlib.widgets같은 기능이 있는 줄 몰랐다. mpl에 이런 게 있었으면 좋겠다~ 하고 있었는데 이미 있던 것들이었다. 까먹기 전에 적어놔야지. Slider, Button, RadioButtons - mpl 공홈, 내 Git 일반 버튼, 슬라이더랑 똑같다!! sin 함수의 폭과 진동수를 조절하는 mpl 데모 예제이다. 코드를 뜯어보자. fig, ax = plt.subplots() plt.subplots_adjust(left=.25, bottom=.25) - subplot을 생성해서 figure와 axes 객체를 받는다. 각 영역은 그림과 같다. Figure는 창 전체를 컨트롤하고 Axes는 각 그래프를 개별적으로 컨트롤한다. 지금처럼 subplot이.. 2018. 7. 10.
[학부생의 머신러닝] | General | SVM : Support Vector Machine 레퍼런스 SVM 위키 : https://en.wikipedia.org/wiki/Support_vector_machine KKT 위키 : https://en.wikipedia.org/wiki/Karush%E2%80%93Kuhn%E2%80%93Tucker_conditions Quora KKT 질문 : https://www.quora.com/What-do-the-Karush%E2%80%93Kuhn%E2%80%93Tucker-conditions-mean 이기창님 블로그 : https://ratsgo.github.io/machine%20learning/2017/05/23/SVM/ 개요 가장 유명한 머신러닝 알고리즘 중 하나인 SVM(Support Vector Machine; 서포트 벡터 머신)에 대해 알아보려고 .. 2018. 7. 10.
지금까지 봐온 논문들 목록 굵은 표시는 블로그에 게시된 내용이다.회색 표시는 지금 보고 있는 내용이다. - A Neural Algorithmic of Artistic Style - Texture Synthesis Using Convolutional Neural Networks - Batch Normalization : Accelerating Deep Network Training by Reducing Internal Convariate Shift - Understanding Synthetic Gradients and Decoupled Neural Interfaces - Decoupled Neural Interfaces using Synthetic Gradients - Deep Residual Learning for Image Re.. 2018. 7. 8.

티스토리툴바