juuuding

※ 혼자 읽고 정리한 글이라 틀린 내용이 있을 수 있습니다. [Identity Mappings in Deep Residual Networks]https://arxiv.org/abs/1603.05027 ※ ResNet은 아주 깊은 신경망을 효과적으로 훈련시키기 위해 개발된 신경망이다. 깊은 신경망에서 발생하는 기울기 소실 문제를 해결하기 위해 Residuak Block이라는 구조를 도입하였다. Residual Block에서는 입력을 그대로 다음 블록으로 전달하는 skip connection을 사용하여, 네트워크가 원래의 입력을 유지하면서 추가적인 학습을 진행할 수 있도록 한다.  이 논문에서는 ResNet을 분석하여 ResNet의 성능이 왜 좋은지를 검증하고 기존 구조를 개선하여, 더 깊은 신경망에서도 효..

※ 혼자 읽고 정리한 글이라 틀린 내용이 있을 수 있습니다. [Rethinking the Inception Architecture for Computer Vision]https://arxiv.org/abs/1512.00567 💡General Design Principles 다음은 합성곱 신경망 아키텍처 설계에서 중요한 원칙들을 대규모 실험을 통해 도출한 내용이다.  1. 네트워크 초반부에서 representational bottleneck을 피해라 네트워크 초기에 정보의 극단적인 압축을 피하고, 정보가 손실되지 않도록 표현의 크기를 점진적으로 감소시키는 것이 중요하다. 정보의 내용은 표현의 차원만으로 평가될 수 없고, 차원은 대략적인 추정치를 제공할 뿐이지 상관 구조와 같은 중요한 요인을 나타내지는 못..

※ 혼자 읽고 정리한 글이라 틀린 내용이 있을 수 있습니다. [Visualizing_Understanding_CNN (ZFNet)]https://arxiv.org/pdf/1311.2901  💡Introduction 합성곱 신경망은 얼굴 인식, 숫자 인식 등에 뛰어난 성능을 보였다. 이 뛰어난 성능을 보인데에는 큰 훈련 세트, 강력한 GPU로 인한 큰 모델 생성, dropout과 같은 새로운 regularization 전략 등의 역할도 큰 비중을 차지하였다.이러한 발전들에도 불구하고 이 모델의 내부 연산,  과정, 어떻게 좋은 성능을 내는지에 대한 이해도가 부족하다. 이 점을 해결하기 위해 visualization을 하며 이 시각화는 multi-layered Deconvolutional Network를 ..

※ 혼자 읽고 정리한 글이라 틀린 내용이 있을 수 있습니다. [ImageNet Classification with Deep ConvolutionalNeural Networks (AlexNet)]https://proceedings.neurips.cc/paper_files/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf  💡 Introduction 객체 인식의 성능을 높이기 위해서는 큰 데이터셋과 강력한 모델 학습이 필요하다. 이 전까지의 간단한 작업들에서는 증강 기법을 사용하여 꽤나 적은 데이터로 잘 학습이 되었다. 하지만 실제 환경의 객체를 인식하기 위해서는 매우 큰 훈련 데이터셋이 필수다. 그래서 최신(2012년 기준)에 고해상도의 사이즈가 매..