ML15 [논문리뷰]BERT :Pre-training of Deep Bidirectional Transformers for Language Understanding 이 하찮지만 귀엽게 생긴 캐릭터가 BERT다. 오늘은 이 귀여운 BERT에 대해서 알아보자. https://arxiv.org/abs/1810.04805 노션에 써 놓은 글을 붙여넣기 한 것이라 수식들이 많이 깨졌습니다. 좀더 수식을 편하게 보기 위해서는 아래의 노션링크에서 보시면 편합니다. :) https://then-go.notion.site/BERT-Pre-training-of-Deep-Bidirectional-Transformers-for-Language-Understanding-0c9387ae531144bca5497c8a8ba720a2?pvs=4 Abstract 이 논문에서는 새로운 language representation model인 BERT(Pre-training of Deep Bidirec.. 2023. 8. 20. [논문 리뷰]CLIP - Learning Transferable Visual Models From Natural Language Supervision CLIP 이번에는 21년에 발표한 CLIP논문을 리뷰해 보겠다. CLIP은 인풋으로 텍스트와 이미지쌍을 넣어주는데, 이렇게 다른 형태의 인풋을 함께 다루는 문제를 멀티모달(Multi-modal)이라고 한다. CLIP은 openAI에서 나온 논문인데, GPT-3를 공개한 후 조금뒤에 이 논문이 공개되었다. 기존의 분류모델의 한계를 NLP를 이용해 돌파하려는 시도를 담은 논문이다. Abstract 최신의 CV 시스템들은 미리 정의된 카테고리의 데이터셋들을 예측하기 위해 학습되어 왔다. 이러한 경직된 상태의 supervision방식은 그들의 generality와 usability를 제한했는데, 이는 다른 visual concept을 구체화하기 위해서는 추가적인 라벨링된 데이터가 필요하기 때문이다. 이러한 문제.. 2023. 8. 11. [논문리뷰]AlexNet- Imagenet classification with deep convolutional neural networks. Krizhevsky, Alex, Ilya Sutskever, and Geoffrey E. Hinton. "Imagenet classification with deep convolutional neural networks." Advances in neural information processing systems. 2012. CNN이 발전해 온 과정중 그 첫번쨰, AlexNet에 대한 논문이다. 1. Introduction 먼저, 기존의 문제점에 대한 지적을 하고 있다. “Simple한 Object에 대한 recognition은 작은 size의 dataset으로도 잘 이루어진다.(특히 label-preserving transformation와 함께 이루어진경우). 하지만, 현실의 Object들은 상당한 변.. 2023. 8. 2. 이전 1 2 3 4 다음
