기술 이야기/논문 리뷰14 [논문 리뷰] Mixed Precision Training (MP, AMP) 오늘은 모델의 파라미터를 32-bit가 아닌 16-bit로 표현하여 배치 사이즈를 늘리고, 그에 따라 학습 속도를 빠르게 할 수 있는 Mixed Precision Training이라는 기술에 대해 설명하도록 하겠습니다. 더불어, 이 과정에서 발생할 수 있는 문제를 Adaptive 방식으로 해결하는 과정과 나아가 Automatic Mixed Precision(AMP)이 뭔지 다루도록 하겠습니다. 혹시 논문부터 읽고 싶으신 분은 Mixed Precision Training을 참고하세요 Mixed Precision의 배경 Single Precision(Floating Point 32, FP32)는 과연 딥러닝 학습에서 양보할 수 없는 선일까? 만약 Half Precision(Floating Point 16, .. 2023. 3. 29. [논문 리뷰] Recurring the Transformer for Video Action Recognition 안녕하세요 오늘은 CVPR 2022에서 발표된 Recurring the Transformer for Video Action Recognition 논문을 소개하고 구조를 설명하도록 하겠습니다. 이 논문은 Action Classification에서 우수한 성능을 거두면서도 메모리를 적게 먹는 장점을 가졌다고 합니다. 논문 링크: https://openaccess.thecvf.com/content/CVPR2022/papers/Yang_Recurring_the_Transformer_for_Video_Action_Recognition_CVPR_2022_paper.pdf Abstract Video Understanding 분야에서 기존에 많이 쓰이던 3D Convolution이나 Transformer-based 방.. 2023. 3. 28. 이전 1 2 3 다음
