본문 바로가기

분류 전체보기38

[학부생의 딥러닝] GANs | WGAN, WGAN-GP : Wassestein GAN(Gradient Penalty) GANs에서 WGAN-GP Loss는 LSGAN Loss와 함께 가장 많이 쓰이는 loss이다. 이전의 loss 들의 문제점을 많이 해결했고 논문에서는 잘 작동하는 이유를 수학적으로 후련하게 알려준다. 하지만 수학이 좀 많이 쓰인다...한국어로 된 WGAN 자료가 많이 없는데 혹시나 도움 됐으면 한다. 수학이 상당히 헤비하게 나오는데 붙들고 좀만 머리굴리면 이해 되는 수준일 것이라 생각한다. 사실 나도 잘 이해했는지는 모르겠다. 내가 이해한 수준에서 리뷰해보겠다. (현재 수학을 배우는 중이어서 이해도가 높아질 때마다 수정하고 있습니다. 의도치 않게 많은 분들이 이 글을 찾아오시고 있습니다. 이상한 부분은 가차없이 태클 걸어주시면 감사하겠습니다.) 빠른 요약 Motivation GAN에서는 real, fa.. 2019. 4. 9.
Mathematics | 왜 하필 Borel Set일까? Referencehttps://jjycjnmath.tistory.com/150https://www.slideshare.net/ssuser7e10e4/wasserstein-gan-ihttp://iseulbee.tistory.com/attachment/cfile21.uf@213DA24658C01012058757.pdfhttps://en.wikipedia.org/wiki/Countable_set WGAN에서 확률 분포 간의 거리를 정의하는 부분에서 Borel Set이라는게 나온다. "확률을 계산할 수 있는 집합" 정도로만 이해하고 논문을 읽어도 문제는 없지만 임성빈 박사님의 슬라이드를 보고 이 부분이 좀 재밌을 것 같아서 파봤다. 생각보다 어려운 부분이 많아서 잊어버리기 전에 글로 기록해 놔야 겠다. 열린집합.. 2019. 3. 21.
Visualization | matplotlib의 버튼, 슬라이더로 상호작용 가능한 plot 찍어보기 (matplotlib.widgets Slider, Button, RadioButtons, CheckButtons) matplotlib을 1년 넘게 썼는데 matplotlib.widgets같은 기능이 있는 줄 몰랐다. mpl에 이런 게 있었으면 좋겠다~ 하고 있었는데 이미 있던 것들이었다. 까먹기 전에 적어놔야지. Slider, Button, RadioButtons - mpl 공홈, 내 Git 일반 버튼, 슬라이더랑 똑같다!! sin 함수의 폭과 진동수를 조절하는 mpl 데모 예제이다. 코드를 뜯어보자. fig, ax = plt.subplots() plt.subplots_adjust(left=.25, bottom=.25) - subplot을 생성해서 figure와 axes 객체를 받는다. 각 영역은 그림과 같다. Figure는 창 전체를 컨트롤하고 Axes는 각 그래프를 개별적으로 컨트롤한다. 지금처럼 subplot이.. 2018. 7. 10.
[학부생의 머신러닝] | General | SVM : Support Vector Machine 레퍼런스 SVM 위키 : https://en.wikipedia.org/wiki/Support_vector_machine KKT 위키 : https://en.wikipedia.org/wiki/Karush%E2%80%93Kuhn%E2%80%93Tucker_conditions Quora KKT 질문 : https://www.quora.com/What-do-the-Karush%E2%80%93Kuhn%E2%80%93Tucker-conditions-mean 이기창님 블로그 : https://ratsgo.github.io/machine%20learning/2017/05/23/SVM/ 개요 가장 유명한 머신러닝 알고리즘 중 하나인 SVM(Support Vector Machine; 서포트 벡터 머신)에 대해 알아보려고 .. 2018. 7. 10.
지금까지 봐온 논문들 목록 굵은 표시는 블로그에 게시된 내용이다.회색 표시는 지금 보고 있는 내용이다. - A Neural Algorithmic of Artistic Style - Texture Synthesis Using Convolutional Neural Networks - Batch Normalization : Accelerating Deep Network Training by Reducing Internal Convariate Shift - Understanding Synthetic Gradients and Decoupled Neural Interfaces - Decoupled Neural Interfaces using Synthetic Gradients - Deep Residual Learning for Image Re.. 2018. 7. 8.
쓸만한 링크 모음 (내 북마크) Unsplash - 저작권 없는 고화질 이미지 : https://unsplash.com/- 근데 좀 느림 ㅠ 네이버 D2 : https://d2.naver.com/helloworld- 고급 프로그래밍 자료들이 많다. 네이버 주식 종목별 일별 데이터 가져오기 : http://estenpark.tistory.com/353 CNN BP 완벽 유도 : https://metamath1.github.io/cnn/index.html 나동빈 : https://blog.naver.com/ndb796- 벌써(2018.07.08) 딥러닝도 하고 있다 Convolution 시각화 : https://github.com/vdumoulin/conv_arithmetic 라온피플 : https://laonple.blog.me/2205.. 2018. 7. 8.
쓸만한 링크 모음 (페이스북 게시글 위주) 딥러닝2018년 6월까지 발표된 모든 GAN 논문 모음 : https://hollobit.github.io/All-About-the-GAN/ - 들어가서 "style"같은 원하는 키워드로 검색해서 공부하면 될 듯 훌륭한 seq2seq 모델 시각화 : https://jalammar.github.io/visualizing-neural-machine-translation-mechanics-of-seq2seq-models-with-attention/ 수십억개 수준의 모델 효율적인 처리방안 : https://www.slideshare.net/JenAman/scaling-machine-learning-to-billions-of-parameters CVPR 2018 Top 10 논문 요약 : https://towar.. 2018. 7. 8.
티스토리 홈 버튼 메뉴바 만들기 티스토리 기본 스킨 중에는 홈 버튼 메뉴바가 있는 것이 많지가 않습니다. 홈 버튼을 위해서 디자인을 포기하는 분도 계시다고 합니다. 하지만 메뉴바를 간단하게 만들어주는 사이트를 찾았습니다. http://www.dynamicdrive.com/ 여기에 들어가서 저기로 들어가면 됩니다. 지금 제 블로그에 적용된 건 http://www.dynamicdrive.com/style/csslibrary/item/css_animated_underline_menu/ 이거입니다. 들어가서 css의 필요한 부분(모르면 전부 복사)과 html 전부 복사해서 넣고 싶은 곳에 붙여넣어줍니다. 현재 제 스킨에서는 최상단에 붙여넣으면 카테고리 이름과 겹치기 때문에 Home About 여기에 붙여 넣었습니다. html 122번 줄에 있.. 2018. 6. 27.
[학부생의 딥러닝] GANs | InfoGAN : Information maximizing GAN InfoGAN - Tensorflow 구현, PyTorch 구현 레퍼런스 - InfoGAN - Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets : https://arxiv.org/abs/1606.03657 - 상호정보량 위키 : https://en.wikipedia.org/wiki/Mutual_information - 유재준님 블로그 : http://jaejunyoo.blogspot.com/2017/03/infogan-2.html - Gaussian Loss 참고: http://aiden.nibali.org/blog/2016-12-01-implementing-infogan/ - 수식 전개 .. 2018. 6. 27.
[학부생의 딥러닝] GANs | DCGAN : Deep Convolutional GAN DCGAN - Tensorflow 구현, PyTorch 구현 기본적인 개념은 Vanilla GAN과 완전히 똑같고 fully connected layer들을 Conv layer로 바꿔주기만 하면 된다. 그래서 Vanilla GAN을 구현했다면 DCGAN도 쉽게 구현할 수 있다. 다만 Generator에서 transposed convolution이라는 기법을 사용해서 이것만 유의하면 될 것 같다. 논문에는 MNIST에 사용된 DCGAN 구조가 나와있지 않아서 LSUN에 사용된 구조에서 끝 부분만 살짝 변형했다. LSUN 등 3채널 데이터셋에 활용하려면 마지막 출력 부분만 3채널로 바꿔주면 된다. 학습은 i5-6600, GTX 1060(6GB) ubuntu 18.04 환경에서 15분 걸렸다. 기본개념 기본 .. 2018. 6. 27.
[학부생의 딥러닝] GANs | GAN : Generative Adversarial Nets MNIST GAN - Git 새벽 두 시가 다 돼가는데 잠이 오질 않는다. 미뤄뒀던 GAN 리뷰나 해봐야겠다. Generative Adversarial Nets - https://arxiv.org/abs/1406.2661 URL에 써있듯이 2014년 6월에 나온 논문이다. 당시에는 굉장히 혁신적이었지만 지금은 거의 고등학교 미적분 같은 개념이 되어버렸다. 어디서 누가 인공지능으로 사람 목소리, 사람 얼굴 사진, 이모지, 늙어보이는 필터를 만들었다고 하면 거의 이 모델이 기반이 된 것이다. 이전에도 이렇게 학습한 데이터들을 흉내내게 학습하는 모델들이 있었지만 효과는 그리 좋지 않았다. "흉내"를 잘 냈다 못 냈다는 인간이 판단하게 되는데 사람들 맘에 안 들면 거기서 끝인거다. 이 모델의 의의는 생성기 학습.. 2018. 6. 27.
highlight.js 사용하기 개요 코드 에디터 테마는 개발자의 아이덴티티이다. 내 블로그의 독립성과 주체성을 나타내기 위해 highlighter는 꼭 필요하다. 1. highlight.js 그냥 이걸 쓰면 된다. 간편성부터 테마 개수까지 넘사이다. 아래 단 세 줄을 추가해주면 된다. 위 스크립트를 직전에 추가해주기만 하면 된다. 사용은 "Hello World"와 같이 태그 안에 코드를 삽입 해주면 된다. 언어는 unknown으로 설정해놓으면 알아서 인식한다는데 인식 성능은 그렇게 좋진 않다. 어차피 티스토리에 언어 설정 기능 있으니까 크게 문제는 없다. 테마는 여기에서 테마를 고른 뒤 여기에서 테마의 파일이름을 찾아 default 자리에 넣어주기만 하면 된다. 참고로 이름 앞에 base16이 붙은 애들은 데모에서는 `base16-어.. 2018. 6. 27.