論文の概要: Omni-Modal LLMs Know More Than They Say

• arxiv url: http://arxiv.org/abs/2610.16135v1
• Date: Mon, 12 Oct 2026 03:52:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.302259
• Title: Omni-Modal LLMs Know More Than They Say
• Title（参考訳）: OmniModal LLMは、噂以上のことを知っている
• Abstract要約: 我々は,Omni-LLMが,正しく認識した場合でも,非テクスチャモダリティからの情報を表現できないことを発見した。 そこで我々は,OmniCatalystを提案する。OmniCatalystは単純な知覚$rightarrow$推論戦略で,本来のモダリティ入力を自己生成テキストで補完する。 我々は,Omni-LLMが言語を通してモダリティの知識をいかに表現できるかを明らかにした。
• 参考スコア（独自算出の注目度）: 44.57675651962237
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Omni-modal large language models (Omni-LLMs) extend LLMs to process heterogeneous modalities (e.g., vision, audio, and IMU signals) alongside language, enabling a broader range of multimodal tasks. Yet we find that these models often fail to express information from non-textual modalities even when they perceive it correctly. We term this disconnect knows-but-cannot-say. To investigate this phenomenon, we introduce Token-level Modality Alignment (TMA), which measures the alignment between individual modality representations and response representations. Our analysis shows that non-textual representations are less aligned with response tokens and receive less attention than textual representations, suggesting a potential explanation for uneven modality preferences. Motivated by these findings, we propose OmniCatalyst, a simple perceive $\rightarrow$ infer strategy that complements the original modality inputs with self-generated text, making non-textual knowledge more accessible. Across seven Omni-LLMs, OmniCatalyst consistently improves performance (+7.29%) and yields more balanced modality preferences, with further gains from diverse training strategies. Further analysis demonstrates that the knowledge extraction phases increase TMA, suggesting that improved alignment makes non-textual information more accessible during response generation. In summary, our findings uncover how Omni-LLMs can better express modality knowledge through language. Our code is available at https://github.com/naver-ai/OmniLLM.
• Abstract（参考訳）: Omni-LLMs (Omni-LLMs) はLLMを拡張し、言語と共に異質なモーダル(例えば、視覚、音声、IMU信号)を処理する。 しかし、これらのモデルは、正しく認識しても、非テクスチュアルなモダリティからの情報表現に失敗することが多い。 私たちはこの切断をノウハウだがノウハウと表現する。 この現象を解明するために,個別のモダリティ表現と応答表現のアライメントを測定するToken-level Modality Alignment (TMA)を導入する。 分析の結果,非テキスト表現は応答トークンとの整合性が低く,テキスト表現よりも注目度が低いことが示唆され,不均一なモダリティ嗜好の潜在的説明が示唆された。 これらの知見に触発されたOmniCatalystは,従来のモダリティ入力を自己生成テキストで補完し,非テキスト知識をよりアクセスしやすくする,単純な知覚$\rightarrow$推論戦略である。 7つのOmni-LLMで、OmniCatalystはパフォーマンスを継続的に改善し(+7.29%)、よりバランスの取れたモダリティの選好を得られる。 さらに分析したところ、知識抽出フェーズはTMAが増加し、アライメントが改善されたことにより、応答生成時に非テキスト情報がよりアクセスしやすくなることが示唆された。 まとめると、Omni-LLMsが言語を通してモダリティの知識をいかに表現できるかが明らかになった。 私たちのコードはhttps://github.com/naver-ai/OmniLLM.comで利用可能です。

関連論文リスト

• Beyond Text-Dominance: Understanding Modality Preference of Omni-modal Large Language Models [73.89069781682032]
  我々は、Omni-Modal Large Language Models (OLLM) のモダリティ嗜好を定量化する。 従来のVLMの「テキスト・マディナンス」とは異なり、ほとんどのOLLMは視覚的嗜好が顕著である。 私たちの仕事は、機械的な理解と、より信頼できるOLLMを構築するための実践的なツールの両方を提供します。
  論文  参考訳（メタデータ） (2026-04-18T08:25:52Z)
• OmniBench: Towards The Future of Universal Omni-Language Models [63.16606414452612]
  OmniBenchは、視覚的、音響的、テキスト的入力を同時に認識し、解釈し、推論する能力を評価するために設計された新しいベンチマークである。 評価の結果,オープンソース OLM は三モーダル文脈における命令追従や推論に重大な制限があることが明らかとなった。 我々は,OLM性能を向上させるため,より堅牢な3モーダル統合技術とトレーニング戦略の開発を提唱する。
  論文  参考訳（メタデータ） (2024-09-23T17:59:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。