Text + Image vs Text + Image + Embeddings: 멀티모달 AI 모델의 주요 차이점과 활용 방안

Text + Image (T + I)와 Text + Image + Embeddings (T + I + E)의 차이점은 입력 방식과 모델의 처리 방식에 있습니다. Text + Image 모델은 텍스트와 이미지를 입력으로 받을 수 있으며, 이 두 요소의 조합을 이해하여 응답을 생성합니다. 이 모델은 이미지 설명 생성, 이미지 기반 질문 응답, 이미지와 텍스트를 함께 활용한 멀티모달 챗봇 등에 활용됩니다. 예를 들어, "이 그림에서 무엇이 보이나요?"라는 텍스트와 이미지를 입력하면 "이 그림에는 고양이가 앉아 있습니다"와 같은 출력을 생성합니다. facebook/chameleon-7b, adept/fuyu-8b, allenai/Molmo-7B-D-0924, HuggingFaceM4/Idefics3-8B-Llama3 등이 T + I 모델의 예시입니다.

반면, Text + Image + Embeddings 모델은 T + I의 기능을 포함하면서도 추가적으로 Embeddings(임베딩) 입력을 지원합니다. 이 모델은 사전 계산된 특징 벡터도 입력으로 제공할 수 있어, 이미지를 직접 넣는 대신 미리 계산된 특징 벡터를 입력할 수도 있습니다. 텍스트와 이미지뿐만 아니라 외부 모델이 생성한 특징 표현을 활용할 수 있는 것이 특징입니다. 저장된 이미지 특징 활용, 사전 학습된 임베딩 활용, 멀티모달 정보 통합 등에 사용됩니다. llava-hf/llava-1.5-7b-hf, Qwen/Qwen-VL, openbmb/MiniCPM-V-2, nvidia/NVLM-D-72B, microsoft/Phi-3-vision-128k-instruct 등이 T + I + E 모델의 예시입니다.

이 두 모델의 주요 차이점은 입력 유형, 이미지 처리 방식, 활용 방식, 장점, 사용 예시 등에서 나타납니다. T + I 모델은 텍스트와 원본 이미지만을 입력으로 받아 모델 내부에서 이미지를 처리하는 직관적인 입력을 지원하는 반면, T + I + E 모델은 텍스트, 원본 이미지뿐 아니라 임베딩까지 입력으로 받아 사전 계산된 임베딩을 활용할 수 있어 성능 최적화와 빠른 검색이 가능합니다.

결론적으로, 일반적인 멀티모달 챗봇이나 VQA 작업을 수행하는 경우에는 T + I 모델로 충분하지만, 대량의 이미지 검색이나 사전 학습된 이미지 특징을 활용하는 경우에는 T + I + E 모델이 더 적합합니다.