論文の概要: AntEmbed: Dual-Mode Multimodal Embedding Model for Efficient and Fine-Grained Retrieval
- arxiv url: http://arxiv.org/abs/2611.16405v1
- Date: Thu, 12 Nov 2026 07:12:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.385607
- Title: AntEmbed: Dual-Mode Multimodal Embedding Model for Efficient and Fine-Grained Retrieval
- Title(参考訳): AntEmbed: 効率的な細粒度検索のためのデュアルモードマルチモーダル埋め込みモデル
- Abstract要約: 識別的埋め込みは、元のマルチモーダル入力を効率的にエンコードするが、きめ細かい意味論に苦労する。
生成的埋め込みは、推論を使用してクエリの意図と関連性の証拠をキャプチャするが、より高い計算コストを発生させる。
我々は,効率的な検索と推論強化によるきめ細かなマッチングを支援するデュアルモードマルチモーダル埋め込みモデルAntEmbedを提案する。
- 参考スコア(独自算出の注目度): 41.39936333316639
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Discriminative embeddings encode original multimodal inputs efficiently but struggle with fine-grained semantics. Generative embeddings use reasoning to capture query intent and relevance evidence, but incur higher computational costs. We propose AntEmbed, a dual-mode multimodal embedding model that supports efficient retrieval and reasoning-enhanced fine-grained matching in a unified embedding space. First, we construct retrieval-oriented reasoning content that captures query intent and confusion-aware semantic evidence. We treat original and reasoning-enhanced candidate inputs as semantically equivalent views, and use multi-positive contrastive learning with a single embedding token to align discriminative and generative embeddings. Second, cross-mode self-distillation transfers fine-grained semantic information from reasoning-enhanced to original representations through candidate similarity-distribution distillation and query representation alignment. This strengthens discriminative embeddings without requiring additional online reasoning. Both retrieval modes share a single candidate index. On MMEB-v2, AntEmbed-8B achieves an overall score of 81.5 with reasoning-enhanced embeddings, outperforming the strongest baseline by 3.1 points.
- Abstract(参考訳): 識別的埋め込みは、元のマルチモーダル入力を効率的にエンコードするが、きめ細かい意味論に苦労する。
生成的埋め込みは、推論を使用してクエリの意図と関連性の証拠をキャプチャするが、より高い計算コストを発生させる。
本稿では, 2モードのマルチモーダル埋め込みモデルAntEmbedを提案する。
まず,問合せ意図と混同認識のセマンティックエビデンスをキャプチャする検索指向の推論コンテンツを構築する。
我々は、原文および推論強化された候補入力を意味論的に等価なビューとして扱い、識別的および生成的埋め込みを調整するために、単一の埋め込みトークンで多陽性のコントラスト学習を使用する。
第二に、クロスモード自己蒸留は、候補類似性分配蒸留とクエリ表現アライメントを通して、推論によって強化されたセマンティック情報を元の表現に伝達する。
これにより差別的な埋め込みが強化され、追加のオンライン推論が不要になる。
どちらの検索モードも単一の候補インデックスを共有する。
MMEB-v2では、AntEmbed-8Bの総合スコアは81.5であり、最も高いベースラインを3.1ポイント上回っている。
関連論文リスト
- Uni-LaDiR: Latent Diffusion Unifies Multimodal Reasoning [38.66870995539215]
共用潜在空間にモダリティ特異的な思考をもたらすフレームワークであるUni-LaDiR(Unified Latent Diffusion Reasoner)を紹介する。
統一エンコーダは、教師の推論ステップを異なるモダリティから共有思考トークンにマッピングし、後の推論ステップに必要な情報を保存するように訓練する。
同じコンテキストで複数の有効な次のステップがサポートできるので、インプットと先行ブロックから次のトークンのブロックを予測するために拡散を利用する。
論文 参考訳(メタデータ) (2026-09-17T08:28:18Z) - Action-Aligned Retrieval with Pairwise Multimodal Reranking for Text-Based Person Anomaly Search [10.617164505348283]
テキストに基づく人物異常検索は、見た目よりもよりきめ細かな、文脈に依存した行動に基づいて個人を識別する必要がある。
既存のメソッドは、これらのコンテキスト条件のアクションをキャプチャするのに苦労する。
本稿では,アクション整合検索とペアワイズ・マルチモーダル・リグレードを組み合わせた3段階間粗大化フレームワークを提案する。
論文 参考訳(メタデータ) (2026-08-24T17:04:34Z) - UMER: Unifying Embedding and Ranking via Pair-Aware Discriminative Reasoning for Universal Multimodal Retrieval [7.404190239665035]
汎用マルチモーダル検索のための統一型マルチモーダル埋め込みとランク付けフレームワークを提案する。
UMERはアイテムワイドリフレクションをPair-Aware Discriminative Reasoningに置き換える。
MMEB-V2ベンチマークでは、UMERは最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2026-08-19T03:51:39Z) - Douyin Multimodal Embedding Model Technical Report [77.9018834072698]
マルチモーダル表現学習は、現代のAIの基盤となっている。
両強度を組み合わせた2段階のモデルであるDME(Douyin Multimodal Embedding)を提案する。
論文 参考訳(メタデータ) (2026-08-03T12:31:49Z) - PLUME: Latent Reasoning Based Universal Multimodal Embedding [52.35354073629127]
ユニバーサルマルチモーダル埋め込み(UME)は、異種入力を単一のモデルで共有検索空間にマッピングする。
最近のアプローチでは、埋め込みを抽出する前に明確なチェーン・オブ・シント(CoT)論理を生成することにより、UMEを改善している。
PLUMEは,言語化されたCoTを連続的潜伏状態の短時間の自己回帰ロールアウトに置き換えることで,UMEを進化させる潜在的推論フレームワークである。
論文 参考訳(メタデータ) (2026-04-02T14:04:53Z) - UniME-V2: MLLM-as-a-Judge for Universal Multimodal Embedding Learning [101.62386137855704]
本稿では,Universal Multimodal Embedding (UniME-V2)モデルを提案する。
提案手法はまず,グローバル検索による潜在的な負のセットを構築する。
次に、MLLMを用いてクエリ候補対のセマンティックアライメントを評価するMLLM-as-a-Judge機構を提案する。
これらのスコアは、ハード・ネガティブ・マイニングの基礎となり、偽陰性の影響を緩和し、多様な高品質なハード・ネガティブの識別を可能にする。
論文 参考訳(メタデータ) (2025-10-15T13:07:00Z) - Synergies between Disentanglement and Sparsity: Generalization and
Identifiability in Multi-Task Learning [79.83792914684985]
我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。
この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
論文 参考訳(メタデータ) (2022-11-26T21:02:09Z) - Dive into Ambiguity: Latent Distribution Mining and Pairwise Uncertainty
Estimation for Facial Expression Recognition [59.52434325897716]
DMUE(DMUE)という,アノテーションのあいまいさを2つの視点から解決するソリューションを提案する。
前者に対しては,ラベル空間における潜伏分布をよりよく記述するために,補助的マルチブランチ学習フレームワークを導入する。
後者の場合、インスタンス間の意味的特徴のペアワイズ関係を完全に活用して、インスタンス空間のあいまいさの程度を推定する。
論文 参考訳(メタデータ) (2021-04-01T03:21:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。