論文の概要: Learning Multimodal Embeddings with Evidence-Aligned Readout

• arxiv url: http://arxiv.org/abs/2609.33659v1
• Date: Sun, 27 Sep 2026 15:20:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 14:57:41.119284
• Title: Learning Multimodal Embeddings with Evidence-Aligned Readout
• Title（参考訳）: Evidence-Aligned Readout を用いたマルチモーダル埋め込み学習
• Abstract要約: EviAlignはセマンティック・エビデンス・ジェネレーションとバウンダリ・リードアウトを共有マルチモーダルな大言語モデルで結合する。 証拠を5つの意味単位に整理し、各単位境界における文脈化された状態を読み出し、これらの状態を単一の正規化された埋め込みに集約する。 管理された$2times3$の研究は、3つの読み出し戦略の一貫性と順応したエビデンス組織を比較している。
• 参考スコア（独自算出の注目度）: 16.128680823646608
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal large language models can expose task-relevant evidence through generation, but producing useful evidence does not by itself determine how it enters a retrieval embedding. We study whether the semantic organization of that evidence can also specify where representations are read. To address this question, we introduce EviAlign, which couples Semantic Evidence Generation with Boundary Readout in a shared multimodal large language model. It organizes evidence into five semantic units, reads the contextualized state at each unit boundary, and aggregates these states into a single normalized embedding. Generation and contrastive retrieval objectives jointly train this shared structure. With the same trailing readout, semantic evidence and free-form CoT yield nearly identical retrieval performance, suggesting that evidence organization alone does not explain the full gain. A controlled $2\times3$ study compares consistent and permuted evidence organization across three readout strategies, using training targets with matched evidence spans. With five readout states and the same mean pooling, the advantage of consistent semantic organization grows from 0.65 points at length-based training positions to 2.39 at evidence boundaries, yielding a 1.74-point co-design interaction. Across 12 MMEB retrieval tasks, EviAlign achieves 76.9 average Recall@1 with 500K training pairs while retaining single-vector indexing and scoring.
• Abstract（参考訳）: マルチモーダルな大規模言語モデルは、生成を通じてタスク関連エビデンスを公開することができるが、有用なエビデンスを生成することは、それ自体が検索埋め込みの入力方法を決定するものではない。 我々は,その証拠のセマンティックな構造が,表現がどこで読まれるかを特定できるかどうかを考察する。 この問題に対処するために,セマンティックエビデンス生成とバウンダリ読み出しを結合したEviAlignを提案する。 証拠を5つの意味単位に整理し、各単位境界における文脈化された状態を読み出し、これらの状態を単一の正規化された埋め込みに集約する。 生成および対照的な検索目的は、この共有構造を共同で訓練する。 同じ後続の読み出し、セマンティックエビデンス、フリーフォームのCoTは、ほぼ同じ検索性能を示し、エビデンス組織だけでは完全な利益を説明できないことを示唆している。 コントロールされた$2\times3$の研究は、3つの読み出し戦略にまたがる一貫性と順応したエビデンス組織を比較し、一致したエビデンスの範囲でトレーニングターゲットを使用する。 5つの読み出し状態と同じ平均プーリングにより、一貫性のあるセマンティックな組織は、長さベースのトレーニング位置で0.65ポイントから証拠境界で2.39ポイントに成長し、1.74ポイントの共設計相互作用をもたらす。 12のMMEB検索タスクで、EviAlignは平均76.9のRecall@1を500Kのトレーニングペアで達成し、シングルベクターインデックスとスコアを維持している。

関連論文リスト

• From Recognition to Reasoning: Benchmarking and Enhancing MLLMs on Real-World Receipt Document Understanding [15.376371030121094]
  ReceiptBenchは10万の多様なレシートからなる、大規模で人間による注釈付きベンチマークである。 ReceiptBenchは10万の多様なレシートからなる大規模で人手による注釈付きベンチマークである。
  論文  参考訳（メタデータ） (2026-05-21T12:37:03Z)
• The Nonverbal Syntax Framework: An Evidence-Based Tiered System for Inferring Learner States from Observable Behavioral Cues [1.8733436441111364]
  我々は,908研究と17,043キューステートマッピングの体系的レビューから,非言語構文フレームワークを提示する。 この枠組みは、用語的断片化、証拠の不均一性、および状態の曖昧さの3つの課題に対処する。 研究者たちには、ギャップを識別するための実証的な基盤、状態推論のためのエビデンスベースのツール、マルチモーダル検出のための検証済みの機能を与える。
  論文  参考訳（メタデータ） (2026-04-28T13:20:44Z)
• MultiHaystack: Benchmarking Multimodal Retrieval and Reasoning over 40K Images, Videos, and Documents [57.32877731797049]
  MultiHaystackは、大規模なクロスモーダル条件下での検索と推論の両方を評価するために設計された最初のベンチマークである。 モデルが対応するエビデンスを付与した場合,その性能は,全コーパスからそのエビデンスを取得するために必要な場合,急激に低下することがわかった。
  論文  参考訳（メタデータ） (2026-03-05T21:43:02Z)
• Look As You Think: Unifying Reasoning and Visual Evidence Attribution for Verifiable Document RAG via Reinforcement Learning [55.232400251303794]
  Look As You Think (LAT)は、モデルをトレーニングし、一貫した帰属性を持った検証可能な推論パスを生成するための強化学習フレームワークである。 LATはシングルイメージとマルチイメージの両方でバニラモデルを一貫して改善し、平均ゲインは8.23%、IoU@0.5では47.0%となる。
  論文  参考訳（メタデータ） (2025-11-15T02:50:23Z)
• UNIDOC-BENCH: A Unified Benchmark for Document-Centric Multimodal RAG [82.84014669683863]
  マルチモーダル検索拡張生成(MM-RAG)は,大規模言語モデルを現実世界の知識ベースに適用するための重要なアプローチである。 UniDoc-Benchは、70万の現実世界のPDFページから構築されたMM-RAGのための最初の大規模で現実的なベンチマークである。 実験により,マルチモーダルテキスト画像融合RAGシステムは,非モーダルおよび共同マルチモーダル埋め込みに基づく検索において一貫して優れていた。
  論文  参考訳（メタデータ） (2025-10-04T04:30:13Z)
• Multimodal Fact Checking with Unified Visual, Textual, and Contextual Representations [2.139909491081949]
  我々は"MultiCheck"と呼ばれる微細なマルチモーダル事実検証のための統一的なフレームワークを提案する。 我々のアーキテクチャは、テキストと画像のための専用エンコーダと、要素間相互作用を用いた相互関係をキャプチャする融合モジュールを組み合わせる。 我々はFactify 2データセットに対する我々のアプローチを評価し、F1の重み付けスコア0.84を達成し、ベースラインを大幅に上回った。
  論文  参考訳（メタデータ） (2025-08-07T07:36:53Z)
• Unstructured Evidence Attribution for Long Context Query Focused Summarization [53.08341620504465]
  固定粒度の場合よりも、より関連性が高く一貫した証拠を得るために、非構造的(すなわち任意の長さのスパン)な証拠を抽出することを提案する。 既存のシステムが、非構造的証拠をコピーし、適切に引用するのにどのように苦労しているかを示す。
  論文  参考訳（メタデータ） (2025-02-20T09:57:42Z)
• Eider: Evidence-enhanced Document-level Relation Extraction [56.71004595444816]
  文書レベルの関係抽出(DocRE)は、文書内のエンティティペア間の意味関係を抽出することを目的としている。 本稿では,共同関係と証拠抽出,エビデンス中心関係抽出(RE),抽出結果の融合からなる3段階のエビデンス強化DocREフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-16T09:43:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。