論文の概要: Cross-Modal Coreference Alignment: Enabling Reliable Information Transfer in Omni-LLMs

• arxiv url: http://arxiv.org/abs/2604.05522v1
• Date: Tue, 07 Apr 2026 07:19:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.682511
• Title: Cross-Modal Coreference Alignment: Enabling Reliable Information Transfer in Omni-LLMs
• Title（参考訳）: 相互参照アライメント:Omni-LLMにおける信頼性情報伝達の実現
• Authors: Hongcheng Liu, Yuhao Wang, Zhe Chen, Pingjie Wang, Zhiyuan Zhu, Yixuan Hou, Yanfeng Wang, Yu Wang,
• Abstract要約: クロスモーダル・コア推論は、モデルがソース・モダリティで参照者をローカライズし、ターゲット・モダリティで再識別しなければならない問題である。 13個のOmni-LLMを用いた実験では,コア参照認識パターンが欠如していることから,クロスモーダルコアの体系的弱点が明らかとなった。 これを解決するために、トレーニングフリーなIn-Context Learningメソッドと、トレーニングベースのSFT+GRPOフレームワークの2つの戦略を用いて、クロスモーダルアライメントを強化する。
• 参考スコア（独自算出の注目度）: 31.530786531708035
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Omni Large Language Models (Omni-LLMs) have demonstrated impressive capabilities in holistic multi-modal perception, yet they consistently falter in complex scenarios requiring synergistic omni-modal reasoning. Beyond understanding global multimodal context, effective reasoning also hinges on fine-grained cross-modal alignment, especially identifying shared referents across modalities, yet this aspect has been largely overlooked. To bridge this gap, we formalize the challenge as a cross-modal coreference problem, where a model must localize a referent in a source modality and re-identify it in a target modality. Building on this paradigm, we introduce CrossOmni, a dataset comprising nine tasks equipped with human-designed reasoning rationales to evaluate and enhance this capability. Experiments on 13 Omni-LLMs reveal systematic weaknesses in cross-modal coreference, which we attribute to the absence of coreference-aware thinking patterns. To address this, we enhance cross-modal alignment via two strategies: a training-free In-Context Learning method and a training-based SFT+GRPO framework designed to induce such thinking patterns. Both approaches yield substantial performance gains and generalize effectively to collaborative reasoning tasks. Overall, our findings highlight cross-modal coreference as a crucial missing piece for advancing robust omni-modal reasoning.
• Abstract（参考訳）: Omni Large Language Models (Omni-LLMs) は、総合的なマルチモーダル知覚において印象的な能力を示してきたが、相乗的オムニモーダル推論を必要とする複雑なシナリオでは一貫して干渉している。 グローバルマルチモーダルコンテキストの理解以外にも、効果的な推論は、細粒度のクロスモーダルアライメント、特にモダリティをまたいだ共有参照を識別することにも影響するが、この側面は概ね見過ごされている。 このギャップを埋めるために、我々は、モデルがソースモダリティで参照者をローカライズし、ターゲットモダリティで再同定する必要があるという、クロスモーダルコア参照問題として課題を定式化する。 このパラダイムに基づいて,人間設計の理性理論を備えた9つのタスクからなるデータセットであるCrossOmniを導入し,その能力を評価・拡張する。 13個のOmni-LLMを用いた実験では,コア参照認識パターンが欠如していることから,クロスモーダルコアの体系的弱点が明らかとなった。 これを解決するために、トレーニングフリーなIn-Context Learning法と、そのような思考パターンを誘導するトレーニングベースSFT+GRPOフレームワークの2つの戦略を用いて、クロスモーダルアライメントを強化する。 どちらのアプローチも大きなパフォーマンス向上をもたらし、協調推論タスクに効果的に一般化する。 総じて,クロスモーダル・コア推論はロバスト・オムニ・モーダル推論の進歩に欠かせない部分であると考えられた。

関連論文リスト

• Embed-RL: Reinforcement Learning for Reasoning-Driven Multimodal Embeddings [44.77164359074224]
  マルチモーダル大規模言語モデル(MLLM)は、ユニバーサル・マルチモーダル・エンベディング(UME)の進展に欠かせないものとなっている。 近年の研究では、生成的連鎖(CoT)推論を取り入れることで、タスク固有の表現が大幅に向上することが示されている。 本稿では,Embedder-Guided Reinforcement Learning (EG-RL)を統合した推論駆動型UMEフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-14T15:35:03Z)
• Beyond Unimodal Shortcuts: MLLMs as Cross-Modal Reasoners for Grounded Named Entity Recognition [51.68340973140949]
  GMNER(Multimodal Named Entity Recognition)は、テキストベースのエンティティを抽出し、セマンティックカテゴリを割り当て、それらを対応する視覚領域に接地することを目的としている。 MLLMは、視覚バイアスやテキストバイアスを含む$textbfmodality bias$を示す。 本稿では,モダリティを考慮した一貫性推論(bfMCR$)を提案する。
  論文  参考訳（メタデータ） (2026-02-04T12:12:49Z)
• Coherent Multimodal Reasoning with Iterative Self-Evaluation for Vision-Language Models [4.064135211977999]
  大規模言語モデル (LLMs) と視覚言語モデル (LVLMs) は複雑で多段階のクロスモーダルな常識推論タスクに苦しむ。 我々は,LVLMの共通感覚推論能力を高める新しいアプローチであるコヒーレント・マルチモーダル推論フレームワーク(CMRF)を提案する。 CMRFは複雑なクエリを分解し、ステップバイステップの推論を生成し、エラーを自己修正することで人間の問題解決を模倣する。
  論文  参考訳（メタデータ） (2025-08-04T20:33:58Z)
• HumanOmniV2: From Understanding to Omni-Modal Reasoning with Context [26.506057678587176]
  不適切な文脈理解は、モデルがマルチモーダルな文脈を誤って解釈し、誤った答えをもたらすときに起こりうる。 ショートカット問題は、モデルがマルチモーダル入力において重要な手がかりを見落とし、マルチモーダル情報を考慮せずにクエリに直接対処する場合に発生する。 我々は、複雑な人間の意図や感情を理解するためのモデルを評価することを目的とした、Omni-modalベンチマークIntentBenchを紹介する。
  論文  参考訳（メタデータ） (2025-06-26T14:01:03Z)
• Why Reasoning Matters? A Survey of Advancements in Multimodal Reasoning (v1) [66.51642638034822]
  推論は人間の知性の中心であり、多様なタスクにまたがる構造化された問題解決を可能にする。 大規模言語モデル(LLM)の最近の進歩は、算術、常識、記号領域における推論能力を大幅に向上させてきた。 本稿では,テキストおよびマルチモーダルLLMにおける推論手法の簡潔かつ洞察に富んだ概要について述べる。
  論文  参考訳（メタデータ） (2025-04-04T04:04:56Z)
• Leveraging Weak Cross-Modal Guidance for Coherence Modelling via Iterative Learning [66.28872204574648]
  クロスモーダル・コヒーレンス・モデリングは、知的なシステムが情報を整理し構造化するのに不可欠である。 クロスモーダル・コヒーレンス・モデリングに関するこれまでの研究は、目標モーダルのコヒーレンス回復を支援するために、他のモーダルからの順序情報を活用することを試みた。 本報告では,コヒーレンシーに金のラベルを付けることなく,クロスモーダルガイダンスを活用する新しい手法について検討する。
  論文  参考訳（メタデータ） (2024-08-01T06:04:44Z)
• Cantor: Inspiring Multimodal Chain-of-Thought of MLLM [83.6663322930814]
  視覚的コンテキスト獲得と論理的推論の集約は、視覚的推論タスクに取り組む上で重要であると我々は主張する。 我々はCantorと呼ばれる革新的なマルチモーダルCoTフレームワークを提案し、その特徴は知覚決定アーキテクチャである。 提案手法の有効性を実証し,マルチモーダルCoT性能の大幅な向上を示した。
  論文  参考訳（メタデータ） (2024-04-24T17:59:48Z)
• Exchange-of-Thought: Enhancing Large Language Model Capabilities through Cross-Model Communication [76.04373033082948]
  大規模言語モデル(LLM)は、最近、Chain-of-Thoughtテクニックによる複雑な推論タスクにおいて大きな進歩を遂げました。 本稿では,問題解決時のクロスモデル通信を可能にする新しいフレームワークであるExchange-of-Thought (EoT)を提案する。
  論文  参考訳（メタデータ） (2023-12-04T11:53:56Z)
• Unified Multi-modal Unsupervised Representation Learning for Skeleton-based Action Understanding [62.70450216120704]
  教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。 我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。 UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
  論文  参考訳（メタデータ） (2023-11-06T13:56:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。