목록Deep Learning (7)

Kicarussays

[논문리뷰/설명] wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations

안녕하세요! 이번 논문은 발화 데이터 representation을 학습하는 self-supervised 기반의 방법을 제시한 논문입니다. 바로 시작해보겠습니다! 논문링크: https://arxiv.org/abs/2006.11477 wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations We show for the first time that learning powerful representations from speech audio alone followed by fine-tuning on transcribed speech can outperform the best semi-supervised methods while..
Deep Learning 2022. 4. 14. 13:12
[Transformer 이해하기 3] Attention is all you need, Transformer 설명 및 코드리뷰

다음 포스팅을 참고하여 작성하였음을 밝힙니다. https://wikidocs.net/31379 1) 트랜스포머(Transformer) * 이번 챕터는 앞서 설명한 어텐션 메커니즘 챕터에 대한 사전 이해가 필요합니다. 트랜스포머(Transformer)는 2017년 구글이 발표한 논문인 wikidocs.net 이전 포스팅에서는 Attention이 어떻게 작동하는지 살펴보았습니다. 이번에 살펴볼 Transformer는 인코더-디코더 구조를 따르지만, RNN을 사용하지 않고 Attention만을 사용하여 설계된 모델입니다. 번역 성능의 우수성은 이미 아실 것이라 생각됩니다 (대표적 파생모델 BERT). 코드와 함께 Transformer를 살펴봅시다! 논문 링크: https://arxiv.org/abs/1706...
Deep Learning 2022. 1. 25. 00:40
[Transformer 이해하기 2] Neural Machine Translation by Jointly Learning to Align and Translate, Attention 설명 및 코드리뷰

다음 포스팅을 참고하여 작성하였음을 밝힙니다. https://wikidocs.net/22893 1) 어텐션 메커니즘 (Attention Mechanism) 앞서 배운 seq2seq 모델은 **인코더**에서 입력 시퀀스를 컨텍스트 벡터라는 하나의 고정된 크기의 벡터 표현으로 압축하고, **디코더**는 이 컨텍스트 벡터를 통해서 ... wikidocs.net 들어가기에 앞서 Seq2Seq 모델을 살펴봅시다. Seq2Seq는 번역 과정에서 입력문장을 벡터 $z$로 임베딩하게 됩니다. 이러한 Seq2Seq는 두 가지 문제점이 있는데, * 고정 벡터에 입력문장 정보를 압축하려고 하다보니 정보 손실이 생기고, * 인코더 / 디코더에서 사용하는 RNN이 고질적으로 그래디언트 손실을 유발한다는 것입니다. Attenti..
Deep Learning 2022. 1. 22. 03:46
[Transformer 이해하기 1] Sequence-to-Sequence, seq2seq 설명 및 코드리뷰

Transformer를 소개한 논문인 Attention is all you need를 읽으려고 보니.. encoder, decoder 조차 모르는 상태였습니다.. seq2seq 논문 링크: https://proceedings.neurips.cc/paper/2014/file/a14ac55a4f27472c5d894ec1c3c743d2-Paper.pdf 아래 이미지는 Encoder-Decoder 예시를 아주 잘 보여주는 이미지입니다. Encoder에서 input 문장을 z로 임베딩하고, z를 Decoder에서 target 문장으로 출력하는 과정인데, Pytorch로 구현된 코드를 따라가보겠습니다! 깃허브 링크: https://github.com/bentrevett/pytorch-seq2seq/blob/mast..
Deep Learning 2022. 1. 20. 22:14
[논문리뷰/설명] DeepHit: A Deep Learning Approach to Survival Analysis with Competing Risks : 생존분석을 위한 딥러닝

해당 링크를 참조하여 포스팅하였습니다. humboldt-wi.github.io/blog/research/information_systems_1920/group2_survivalanalysis/#motivation Deep Learning for Survival Analysis Deep Learning for Survival Analysis Authors: Laura Löschmann, Daria Smorodina Table of content Motivation - Business case Introduction to Survival Analysis Dataset Standard methods in Survival Analysis Deep Learning for Survival Analysis Evalu..
Deep Learning 2021. 6. 30. 16:21
[논문리뷰/설명] A simple neural network module for relational reasoning (Relation Network): 관계형 추론을 위한 딥러닝

안녕하세요, 날씨가 어느덧 따뜻해진 것 같습니다. 미세먼지는 심하지만, 겉옷이 필요 없는 낮에 햇볕을 쬐면, 역시 계절은 봄이라는 생각을 하게 되네요. 이번 포스팅에서는 Relational Network(논문링크)에 대해서 이야기해볼까 합니다. 논문 풀네임은 A simple neural network module for relational reasoning입니다. 1. Background Relational Network(RN)는 관계형 추론(relational reasoning)을 위한 신경망입니다. 관계형 추론과 비관계형 추론을 구분하기 위한 아주 간단한 예시를 한 번 들어보겠습니다. 위의 이미지는 페이스북 AI 연구팀에서 개발한 CLEVR Dataset의 일부입니다. CLEVR Dataset은 위와..
Deep Learning 2021. 3. 25. 22:27
역전파 알고리즘(Back-propagation Algorithm)

Francisco S. Melo 선생님의 Neural networks and the Back-propagation algorithm을 참고하였음을 밝힙니다. 구글에 검색하면 pdf파일 나오니까 참고하면서 보면 좋을 듯합니다. 여기에서 다운로드 받으실 수 있습니다. 이제 수식으로 역전파 알고리즘을 이해해볼텐데요, 편미분과 그래디언트 디센트 알고리즘(Gradient Descent Algorithm), 벡터의 내적과 행렬의 곱셈에 대한 개념이 있어야 이해에 도움이 될 것입니다. 1. 퍼셉트론(Perceptron) 퍼셉트론을 잘 나타내는 그림입니다. 데이터 $\mathbf{x} = \left[ x_0, \cdots, x_p \right]$가 activation 함수를 거치면 $$ a = w_0 + \sum_{i..
Deep Learning 2020. 8. 6. 14:30
Prev 1 Next