논문 리뷰 7

VGGNet 논문 리뷰

오늘 리뷰할 논문은 VGGNet에 관한 논문입니다. VGGNet은 2014년에 발표된 논문으로, 당시 딥러닝에서 중요한 문제였던 신경망의 깊이가 깊어지면 성능이 떨어지는 문제를 해결한 논문입니다. 기존의 CNN 구조들이 상대적으로 얕았던 반면, VGGNet은 매우 깊은 네트워크 구조를 도입하여 이미지 인식에서 더 높은 성능을 달성할 수 있음을 보여줍니다. VGGNet은 Computer Vision 분야의 대회인 ILSVRC에서 GoogLeNet보다 이미지 분류 성능은 약간 낮았지만, 다른 연구들에서는 뛰어난 성능을 보여줍니다. 또한, 최근에는 이미지 특징(feature)을 추출하는 데 널리 활용되며, 기본 네트워크 모델로 자리 잡고 있습니다. 그러나 많은 메모리를 사용하여 연산 비용이 크다는 단점도 존재..

논문 리뷰 2024.09.03

BERT 논문 리뷰

오늘은 NLP관련 논문인 BERT에 관해 논문 리뷰를 진행해 보도록 하겠습니다. BERT는 다른 언어 모델들과 달리 모든 문맥을 동시에 고려하여 심층 양방향 표현을 사전 훈련할 수 있도록 설계 되었습니다. 그 결과,  사전 훈련된 BERT  모델은 추가적인 출력 레이어만으로 fine-tuning이 가능합니다.  BERT를 설명하기 앞서 BERT의 뜻을 해석해보자면, BERT: Bidrectional Encoder Representation from Transformer→ Transformer에서 encoder만을 사용하는데 bidirectional한 정보만을 사용 pre-training Masked language model (MLM) 특정 위치에 해당하는 부분을 마스킹을 통해 예측하는 pre-train..

논문 리뷰 2024.07.23

Transformer 논문 리뷰

오늘은 NLP에서 아주 유명한 논문인 Transformer를 리뷰하는 시간을 가져보겠습니다. 자연어차리 분야에서의 연구와 발전은 끊임없이 진행되고 있습니다. 이러한 연구의 중심에는 문장과 문서를 이해하고, 이를 기반으로 머신이 인간처럼 텍스트를 처리할 수 있도록 하는 모델들이 있습니다. 그러나 기존의 Seq2Seq 방식은 여러 가지 문제점을 가지고 있었고, 이를 해결하기 위해 Transformer 라는 새로운 모델이 제안되었습니다.   Abstract기존의 논문은 RNN과 CNN을 기반으로 해서 Sequence를 처리한 후 Attention을 진행했다면, 본 논문에서는 오로지 Attention을 이용한 Transformer라는 모델을 도입하였습니다. 이로인해, 학습시간도 줄이고, 다른 task에서도 잘 ..

논문 리뷰 2024.07.22

Attention 논문 리뷰

ViT에 관한 논문을 리뷰해보도록 하겠습니다. 오늘 소개해드릴 논문으로는 Attention인데요. 흔히 Bahdanau Attention이라고도 불리는 논문입니다.이 논문에 대해 간략히 소개를 해보자면, Encoder-Decoder구조의 문제점인 Bottleneck문제를 해결하는 것을 목표로 작성된 논문이며, 이를 통해 성능 향상을 이끌어내는 논문이라고 볼 수 있습니다.  Main ideaNeural Machine Translation(NMT)AttentionLuong Attention Neural Machine Translation(NMT)   Encoder-Decoder구조이며, 모델을 학습하기 위해서는 데이터 쌍(pair)만을 필요로 한다는 장점을 가지고 있다.   Encoder-Decoder구조의..

논문 리뷰 2024.07.16

Alex-Net 논문 리뷰

AlexNet은 컴퓨터 비전 분야라면, 모르는 사람이 없을 정도로 유명한 논문이다. 그래서 이번엔 AlexNet에 관한 논문리뷰를 진행할 생각이다. AlexNet은 2012년 이미지 분류 대회에서 우승을 차지한 모델이다. CNN을 사용한 딥러닝 구조에서 120만 장의 사진들을 그 당시 기술로 어떠한 기술로 처리를 하였고, 이에 따른 과적합 문제를 어떻게 해결했는지 알아볼 수 있는 좋은 논문이다.  Introduction & Dataset2012년, 객체 인식을 하기 위해서는 머신러닝을 사용한 방법들이 거의 필수적으로 다가왔고 그 성능을 끌어올리기 위해서는 많은 양의 데이터셋이나 더 강력한 모델 그리고 오버 피팅을 방지하기 위한 기술들이 필요했다.   CNN은 위 문제를 모델의 깊이와 너비를 변경할 수 있..

논문 리뷰 2024.07.16

U-Net 논문리뷰

학교 수업을 듣던 중 U-Net에 관한 내용을 알게 되었고, 관심이 생겼습니다.Object Detection관련 공부를 진행하는 중, U-Net에 대해 깊게 알아보기 위해 이번 논문리뷰를 준비하였습니다.  Object Detection을 수행하는 과정 중 여러가지의 task가 있는데, 픽셀 기반의 이미지 분할을 수행하는 U-Net에 관해 리뷰를 진행하려고 합니다. 이 논문의 큰 특징으로는 2가지가 있습니다 .U-Net architectureWeighted LossU-net architecture모델의 구조로는 크게 3가지로 나눌 수 있습니다. 수축 경로(Contracting Path): Feature Map의 크기를 감소하면서 입력 이미지의 Context 추출 확장 경로(Expanding Path):  ..

논문 리뷰 2024.07.15

YOLO v3 논문리뷰

Main ideas Bounding box Prediction YOLOv3와 YOLOv2의 주요 차이점 중 하나는 바로  bounding box 예측 방식에 있습니다. YOLOv2에서는 바운딩 박스의 중심 좌표 ttx,ty,tw,th">𝑥,t𝑦 및 너비와 높이 t𝑤,tℎ 의 변환을 통해 실제 좌표를 예측하며, 이 변환된 값을 로지스틱 회귀를 사용해 bbx,by,bw,bh">𝑥,b𝑦,b𝑤,bℎ 로 변환합니다. 예측한 bounding box마다 objectness score를 회귀 함수를 적용하여 구합니다. 또한 anchor box와 ground truth box와의 IoU 값이 가장 높은 box만 매칭시킵니다. ground truth box에 할당되지 못한 bounding box는 boundin..

논문 리뷰 2024.06.26