Computer Vision/Rendering2 ImageBind: One Embedding Space To Bind Them All 딥러닝 모델은 어떤 잠재공간에 데이터를 임베딩하는 함수로 볼 수 있다.- ImageBind는 6가지의 서로 다른 modality를 하나의 Joint Embedding space로 임베딩하는 모델이다.- Image, Video, Audio, Text, Thermal image, IMU, Depth를 Joint Embedding space에 임베딩하고 이를 활용해서 다양한 task를 수행한다.Cross-Modal RetrievalImageBind- Image-Paired 데이터들을 이용해 하나의 공통된 Representation Space를 학습한다.- 모델이 학습과정에서 보지 못한 모달리티 쌍들 간의 관계를 추론하는 emergent zero-shot task를 수행할 수 있다. 2024. 11. 21. Forward Rendering vs. Deferred Rendering Forward Rendering 전통적인 렌더링 기법 mesh 하나를 그릴 때 모든 계산을 한번에 시행하는 방법 라이팅 계산수가 mesh 수에 비례하게 되고, 빛의 영향을 받지않은 mesh에 대해서도 연산을 시행하게 되어 불필요한 연산이 행해진다는 단점이 있음 Deferred Rendering real-time rendering 기법이 필요해졌음 조명같은 무거운 렌더링의 대부분을 이후 단계로 연기(deferring)한다. 두개의 패스로 구성됨 첫번째 패스 : 형상패스 (장면을 한번 렌더링한 이후 g-buffer에 저장한다) 두번째 패스 : 라이팅 패스 (g-buffer에 저장된 기하학적정보를 사용해 각 조각에 대한 장면의 조명을 계산함) 1. G-buffer (Geometry buffer) geometr.. 2023. 4. 15. 이전 1 다음
