정보 부호화 및 처리 연구실의 석사과정생 신주연, 김연아 학생, 강제원 교수(교신저자)가 저술한 “Dynamic Volumetric Video Coding with Tensor Decomposition” 논문이 2024년 12월 일본 도쿄에서 열리는  Visual Communications and Image Processing (VCIP 2024)에서 발표된다. 

본 논문에서는 3차원 다시점 비디오의 시공간 정보를 딥러닝 모델에 저장하고, 이를 다양한 응용에 활용하는 방법을 제안하였다. 구체적으로 다시점 비디오에서 3차원 공간과 시간 축을 기반으로 그리드 형태로 특징값을 추출하고 이를 인공신경망을 통해 압축하는 기법을 제안하였다. 이러한 기법을 통해 새로운 시점에서 공간을 재구성하는 novel view synthesis 영상 처리 작업에서 기존 기법 대비 최고 수준의 성능을 달성했음을 입증하였다. 

본 연구 결과는 한국전자통신연구원 (ETRI)과 공동으로 진행하고 있으며, 3차원 공간 영상 압축에 관한 표준 기술로 테스트 중이다.

그림. 3차원 공간 비디오의 신경망 기반 표현과 압축 방법

그림. 원본영상 (왼쪽), 기존 표준기술 TMIV(가운데), 제안기술(오른쪽)의 출력 영상 비교