論文の概要: Can Frontier LLMs Match Natively Multimodal Embeddings? A Comparison on Hard-Negative Text-to-Image Retrieval

• arxiv url: http://arxiv.org/abs/2608.11343v1
• Date: Tue, 11 Aug 2026 18:49:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.351377
• Title: Can Frontier LLMs Match Natively Multimodal Embeddings? A Comparison on Hard-Negative Text-to-Image Retrieval
• Title（参考訳）: Frontier LLMsはネイティブなマルチモーダルな埋め込みにマッチするか? : ハード負のテキスト対画像検索の比較
• Abstract要約: GPT-4.1 と Claude Sonnet 4.6 が Gemini Embedding 2 と同等に動作することを示す。 埋め込みがプリ計算されると、マルチモーダル埋め込みは低レイテンシアプリケーションに適している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal retrieval and classification across different types of media, spanning text, images,video and audio, has traditionally relied on dual-encoder models that align visual and textual representations through contrastive learning. The March 2026 release of Gemini Embedding 2, Google's first natively multimodal embedding model to map text, images, video, audio, and documents into a single shared space, raises competition among multimodal retrieval systems. Simultaneously, frontier Large language models (LLMs) have also demonstrated strong visual understanding, raising the question of whether they can serve as effective zero-shot rankers. Our study provides the first direct comparison of native multimodal embeddings against LLM-based visual ranking on Flickr30k. We observe that GPT-4.1 and Claude Sonnet 4.6 perform on par with Gemini Embedding 2. Additionally, once embeddings are precomputed, multimodal embeddings are better suited for low-latency applications.
• Abstract（参考訳）: テキスト、画像、ビデオ、オーディオにまたがる様々なタイプのメディアにわたるマルチモーダル検索と分類は、伝統的に、対照的な学習を通して視覚的およびテキスト表現を整列するデュアルエンコーダモデルに依存してきた。 Gemini Embedding 2の2026年3月リリースでは、テキスト、画像、ビデオ、オーディオ、ドキュメントを単一の共有スペースにマッピングする、Google初のネイティブなマルチモーダル埋め込みモデルが、マルチモーダル検索システム間の競争を高めている。 同時に、フロンティア大言語モデル(LLM)も強力な視覚的理解を示し、効果的なゼロショットローダとして機能できるかという疑問を提起している。 本研究は, Flickr30kにおけるLLMに基づく視覚的ランキングと, ネイティブマルチモーダル埋め込みの直接比較を行った最初の例である。 GPT-4.1 と Claude Sonnet 4.6 は Gemini Embedding 2 と同等に動作する。 さらに、埋め込みがプリ計算されると、マルチモーダル埋め込みは低遅延アプリケーションに適している。

関連論文リスト

• MARS: What Retrieval Signals Are Hidden in Multimodal Large Language Models for Text-Video Retrieval? [2.0824228840987447]
  テキストビデオ検索には、似たようなシーン、アクション、時間パターンでビデオを区別できる表現が必要である。 最近の多モーダルな言語モデルは埋め込みモデルとして採用されているが、最終層からの1つのトークンを用いて各入力を表現していることが多い。 テキストビデオ検索のための多層・マルチスロット埋め込みフレームワークMARSを提案する。
  論文  参考訳（メタデータ） (2026-09-02T13:16:06Z)
• VLM2Vec-V2: Advancing Multimodal Embedding for Videos, Images, and Visual Documents [105.43882565434444]
  VLM2Vec-V2は、様々な視覚形態にまたがる埋め込みを学習するための統一的なフレームワークである。 まず、MMEBを5つの新しいタスクタイプで拡張する包括的なベンチマークであるMMEB-V2を紹介する。 次に、テキスト、画像、ビデオ、ビジュアルドキュメント入力をサポートする汎用埋め込みモデルであるVLM2Vec-V2を訓練する。
  論文  参考訳（メタデータ） (2025-07-07T00:51:57Z)
• ViLa-MIL: Dual-scale Vision-Language Multiple Instance Learning for Whole Slide Image Classification [52.405499816861635]
  多重インスタンス学習(MIL)ベースのフレームワークは、スライド画像全体(WSI)を処理する上で主流になっている。 スライド画像全体の分類のための2次元視覚言語多言語学習(ViLa-MIL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-12T13:28:46Z)
• jina-clip-v2: Multilingual Multimodal Embeddings for Text and Images [5.753626355995653]
  jina-clip-v2は、テキストペア、三つ子、画像-テキストペアで訓練された対照的な視覚言語モデルである。 我々は、多言語テキストエンコーダを使用し、29の非英語言語からの多言語テキストを含む訓練データセットを拡張した。 我々は、このモデルの性能を評価し、jina-clip-v2が最先端のCLIPモデルよりも顕著に改善されていることを示す。
  論文  参考訳（メタデータ） (2024-12-11T22:28:12Z)
• MMTrail: A Multimodal Trailer Video Dataset with Language and Music Descriptions [69.9122231800796]
  MMTrailは,2000万回以上のトレーラークリップと視覚的キャプションを組み込んだ大規模マルチモーダルビデオ言語データセットである。 本稿では,27.1k時間以上のトレーラービデオで様々なモダリティアノテーションを実現するシステムキャプションフレームワークを提案する。 我々のデータセットは、大きめのマルチモーダル言語モデルトレーニングのためのパスを舗装する可能性がある。
  論文  参考訳（メタデータ） (2024-07-30T16:43:24Z)
• mOSCAR: A Large-scale Multilingual and Multimodal Document-level Corpus [52.83121058429025]
  マルチモーダル大規模言語モデル(mLLM)は大量のテキストイメージデータに基づいて訓練される。 mOSCARは、ウェブからクロールされた最初の大規模多言語およびマルチモーダル文書コーパスである。 163言語、303M文書、200Bトークン、1.15B画像を含む。
  論文  参考訳（メタデータ） (2024-06-13T00:13:32Z)
• Multi-Modal Generative Embedding Model [34.34876575183736]
  本稿では,MM-GEM(Multi-Modal Generative Embedding Model)を提案する。 例えば、ViT-LargeとTinyLlamaからインスタンス化されたMM-GEMは、マルチモーダル埋め込みモデルのベンチマーク上での競合性能を示している。 MM-GEMの高度なテキストモデルは、長いテキストと画像検索のためのRecall@1を5%以上改善する。
  論文  参考訳（メタデータ） (2024-05-29T17:59:10Z)
• InternLM-XComposer2: Mastering Free-form Text-Image Composition and Comprehension in Vision-Language Large Model [108.42241250772643]
  InternLM-XComposer2は自由形式のテキスト画像合成と理解に優れた視覚言語モデルである。 このモデルは従来の視覚言語理解を超越し、多様な入力からインターリーブされたテキストイメージコンテンツを作成する。 InternLM2-7BをベースとしたInternLM-XComposer2の高画質長文マルチモーダルコンテンツにおける優位性を示す実験結果が得られた。
  論文  参考訳（メタデータ） (2024-01-29T18:59:02Z)
• DreamLLM: Synergistic Multimodal Comprehension and Creation [58.08565432353053]
  DreamLLMはマルチモーダル大規模言語モデル(MLLM)を初めて実現した学習フレームワークである DreamLLMは生のインターリーブドドキュメントの生成を促進し、テキストと画像の両方のコンテンツと非構造化レイアウトをモデル化する。 その結果、DreamLLMはフリーフォームインターリーブコンテンツを生成する最初のMLLMとなった。
  論文  参考訳（メタデータ） (2023-09-20T17:58:05Z)
• X-LLM: Bootstrapping Advanced Large Language Models by Treating Multi-Modalities as Foreign Languages [20.274614342856978]
  マルチモーダルをX2Lインタフェースで外国語に変換し、それらを大きな言語モデル(ChatGLM)に入力するX-LLMを提案する。 X-LLMは印象的なマルチモデルチャット能力を示し、時には見えない画像や命令に対するマルチモーダル GPT-4 の振る舞いを示す。
  論文  参考訳（メタデータ） (2023-05-07T02:25:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。