분류 전체보기38 Mathematics | MLE vs. MAP vs. Bayesian 개요 $$P(B|A) = \dfrac{P(A|B)P(B)}{P(A)}$$ Bayes' Rule은 직관적이고 간단하지만 이를 통해서 전개하는 이론들은 어딘가 모르게 이해가 잘 안 되고, 눈으로는 쉬워보이는데 머리로 이해가 안 되니 스트레스로 다가온다. MLE vs. MAP vs. Bayesian이 그 예시 중 하나이다. 몇 년 째 보는 내용이지만 몇 달 안 보다가 갑자기 보면 잠깐씩 막힌다. 그동안은 막혀도 뭘 몰라서 막힌 건지도 몰라서 정리를 못했으나, 이제 머리가 좀 크고 조금 알긴 할 것 같으니 graphical하게 정리 해보겠다. 급하면 세팅이랑 그림만 봐도 될 것 같다. Bayes' Rule $$P(\text{Cause}|\text{Observation}) = \dfrac{P(\text{Obser.. 2022. 12. 17. mmaction2 | mmaction2 구성 살펴보기 (Config File) 개요 이 글에서는 mmaction2는 어떻게 돌아가는지 config의 각 옵션은 무엇을 뜻하는지 알아볼 것이다. mmaction2는 config 파일이 절반이다. Config 파일만 이해하면 마음대로 튜닝할 수 있다. 다만 처음 진입장벽이 살짝 있는 편이다. mmaction2에서 제공하는 docs를 기반으로 알아보자. Docs에는 굉장히 compact하게 써놨다. 주석을 전체 Config 파일 아래는 docs(2022.08.20 기준)에서 제공하는 TSN[Wang et al., T.PAMI 2018] 모델의 config 파일이다. 한 부분씩 뜯어보면서 알아보자. 해당 글은 RGB 기반 action recognition 모델들만 다룰 것이다. Skeleton 기반 모델이나 detection, localiz.. 2022. 8. 21. Slurm-user | Slurm이란? 빠르게 시작하기Quick Start Guide Slurm Workload Manager - Quick Start User GuideQuick Start User Guide Overview Slurm is an open source, fault-tolerant, and highly scalable cluster management and job scheduling system for large and small Linux clusters. Slurm requires no kernel modifications for its operation and is relatively self-coslurm.schedmd.com저자의 상세한 설명이 쓰여있다. 개요 Slurm은 리눅스 기반 클러스터에서 활용되는 스케줄러.. 2022. 8. 20. mmaction2 | 비디오 모델 학습 프레임워크 https://github.com/open-mmlab/mmaction2 GitHub - open-mmlab/mmaction2: OpenMMLab's Next Generation Video Understanding Toolbox and Benchmark OpenMMLab's Next Generation Video Understanding Toolbox and Benchmark - GitHub - open-mmlab/mmaction2: OpenMMLab's Next Generation Video Understanding Toolbox and Benchmark github.com mmaction2는 OpenMMLab이라는 곳에서 만든 비디오 모델 학습 프레임워크이다. 우리 랩은 비디오를 주력으로 연구하기에 이.. 2022. 8. 20. [딥러닝] Domain Generalization | DecAug: Out-of-Distribution Generalization via Decomposed Feature Representation and Semantic Augmentation Reference [Bai et al., AAAI 2021] [paper] [code] DecAug: Out-of-Distribution Generalization via Decomposed Feature Representation and Semantic Augmentation Authors HKUST Huawei Noah's Ark Lab Shanghai Jiao Tong Univ. Nanjing Univ. Haoyue Bai 1*† (intern) Rui Sun 2† Lanqing Hong 2 Fengwei Zhou 2 Nanyang Ye 3‡, Han-Jia Ye 4 S.-H. Gary Chan 1 Zhenguo Li 2 Summary OOD generalization 문제의 핵심인 distribu.. 2021. 9. 20. Mathematics | Fourier Analysis | Basic Properties of Fourier Series References Fourier Analysis (Elias M. Stein) - Chapter 2 1. Examples and Formulation of The Problem 정의 $f$: 단위원 위에서 정의된 리만적분 가능한 함수 (= $[0, 2\pi]$에서 정의된 $2\pi$-periodic한 함수) $\hat{f}(n) = {1\over 2\pi}\int_{-\pi}^\pi f(\theta)e^{-in\theta}d\theta$: 푸리에 계수 $D_N(\theta) = \sum_{n=-N}^N e^{in\theta}$: 디리클레 커널 $S_N(f)(\theta) = \sum_{n=-N}^N \hat{f}(n)e^{in\theta} = (D_N * f)(\theta)$: $N$차 푸리에 부분합 .. 2021. 8. 14. Mathematics | Information Theory | Entropy, Information References Elements of Information Theory (Thomas M. Cover) - Chapter 2 정보 (a measure of information) 정보의 양을 측정하고자 하는 시도는 통신에서 시작됐다. 통신에서 한 채널은 특정 time frame에 0 또는 1의 binary 정보만을 담고 있다. 같은 정보여도 0101..의 인코딩을 효율적으로 하여 채널 점유를 최소화하는 문제를 풀어야 했다. 얼마나 최소화할 수 있을까? 이 방법이 저 방법보다 효율적일까?에 대한 질문에 답하기 위해 정보를 측정할 필요가 있었다. 수학적으로 정의하기 이전에 아래 예시를 살펴보자. 점심 메뉴 예측 신입이 회식 메뉴를 결정해야 하는 상황이다. 신입은 부장이 먹고 싶은 메뉴를 맞춰서 부장을 감.. 2021. 8. 13. 근황 20200719 이전 근황을 쓴지 거의 1년이 되었네요. 요새는 논문을 읽지 않다보니 글이 잘 올라오지 않고 있습니다. 그래도 WGAN과 GANSynth 글은 조회수가 지속적으로 발생해 잘못된 내용이 발견되면 의무감을 갖고 꾸준히 수정하고 있습니다. 리뷰하다 말고 임시저장만 해놓은 글이 몇 개 있는데 너무 아쉽네요. 현재는 방학이라 제가 하고 싶은 것들만 하고 있습니다. 그래서 뭔가 행복합니다 ㅎㅎ 아래는 제가 진행 중인 것들입니다. 연구실 과제: 시간을 상당량 쏟아야 합니다. Jetson이라는 미니컴퓨터를 다뤄야 하는데 말썽을 너무 많이 부립니다. 거의 리눅스 처음 배울 때 느낌입니다. 그 때도 그래픽 드라이버 깔다가 밤을 샜는데 비슷한 짓을 또 하고 있습니다. 위상수학: 이번에 코로나 사태 덕분에(?) 유튜브에 양질.. 2020. 7. 19. [학부생의 딥러닝] GANs | 2020 GANs Review ★ A Review on Generative Adversarial Networks : Algorithms, Theory, and Applications Reference 해당 논문 : https://arxiv.org/abs/2001.06937 A Review on Generative Adversarial Networks: Algorithms, Theory, and Applications Generative adversarial networks (GANs) are a hot research topic recently. GANs have been widely studied since 2014, and a large number of algorithms have been proposed. However, there is few comprehensive study explaining the connections among different GA arxiv.or.. 2020. 3. 15. 근황 20190731 복학을 앞두고 여러 과목들을 복습하고 있습니다. 논리회로 때 플립플롭을 이해 못해서 컴구까지 쭈르륵 말아먹었는데 드디어 이해가 됐네요 좋아하는 교수님 연구실에 들어가려고 응용선형대수와 컨벡스최적화 등등을 독학하고 있습니다. Sphere GAN을 읽다가 리만다양체를 알게 됐는데 갑자기 미분기하가 너무 하고 싶어져서 학부 해석학부터 독학으로 파고 있습니다. 사실 응선대 빨리 끝내야 되는데 해석학이 너무 재밌네요 ㅎㅎ $\epsilon-\delta$ 어렵다고들 하는데 오히려 너무 기대해서 그런지 그렇게 어렵진 않고 재밌습니다. 퍼즐 맞추기 하는 거 같아요. 박사까지 할 거라 수학공부 할 게 산더미입니다. - 실해석학 : 요새 GAN 논문들은 measure theory가 기본인 거 같아요. - 복소해석학 : 미.. 2019. 7. 31. Mathematics | Wasserstein GAN and Kantorovich-Rubinstein Theorem 우리말 설명 Reference 원문 : https://vincentherrmann.github.io/blog/wasserstein/ Wasserstein GAN and the Kantorovich-Rubinstein Duality Derivation of the Kantorovich-Rubinstein duality for the use in Wasserstein Generative Adversarial Networks vincentherrmann.github.io A Hitchhiker's guide to Wasserstein : http://n.ethz.ch/~gbasso/download/A%20Hitchhikers%20guide%20to%20Wasserstein/A%20Hitchhikers%20guide%20t.. 2019. 5. 4. [학부생의 딥러닝] GANs | GANSynth : Adversarial Neural Audio Synthesis Reference GANSynth : https://openreview.net/pdf?id=H1xQVn09FX Spherical Gaussian Distribution : https://mynameismjp.wordpress.com/2016/10/09/sg-series-part-2-spherical-gaussians-101/ Summary 나온지 얼마 안 된 따끈따끈한 논문이다. 이미지 생성에 있어 GAN은 상당히 강력한 성능을 보여주지만 음성 생성에서는 고만고만 했었다. 소리를 직접 생성하지 않고 spectrogram(이미지로 표현된 소리)을 생성하여 구현하였더니 성능이 괜찮았다고 한다. NSynth라는 악기, 피치, 속도, 음량 등을 달리하여 한 노트씩 녹음된 정제된 데이터셋을 사용했다. 여기서 생성.. 2019. 4. 20. 이전 1 2 3 4 다음
