論文の概要: From Senses to Decisions: The Information Flow of Auditory and Visual Perception in Multimodal LLMs

• arxiv url: http://arxiv.org/abs/2606.10147v1
• Date: Mon, 08 Jun 2026 20:26:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.181007
• Title: From Senses to Decisions: The Information Flow of Auditory and Visual Perception in Multimodal LLMs
• Title（参考訳）: 感性から判断へ:マルチモーダルLLMにおける聴覚情報の流れと視覚知覚
• Authors: Wish Suharitdamrong, Muhammad Awais, Xiatian Zhu, Sara Atito,
• Abstract要約: オーディオ・ビジュアル大言語モデル(AVLLM)内の音声・視覚情報の流れについて検討する。 オーディオ映像の場合,AVLLM は VideoLLM に確立された逐次的な情報フロー経路に従う。 複数のインターリーブされたオーディオ視覚アイテムの設定では、このルーティングは異なる並列ストリームにシフトする。
• 参考スコア（独自算出の注目度）: 48.81106516488462
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal Large Language Models (MLLMs) can listen and see, but how do audio and visual signals actually travel through the network to shape an answer? Despite their growing role in research and real-world applications, the internal pathways through which audio and visual tokens influence the final prediction remain poorly understood. In this study, we examine audio-visual information flow inside Audio-Visual Large Language Models (AVLLMs), tracing how AVLLMs route, utilize, and integrate audio and visual information across two input configurations, audio-visual video and multiple interleaved audio-visual items. We find that for audio-visual video, AVLLMs follow the sequential information flow pathway established for VLMs and VideoLLMs, with audio and visual contribution flowing along this pathway in proportion to the task's reliance on each modality. In settings with multiple interleaved audio-visual items, this routing shifts to different parallel streams. Furthermore, we demonstrate that audio-visual and other token types can be discarded once their information is transferred to LLM, with minimal impact on the model's prediction or even slight improvement, generalizing across multiple tasks and datasets, enabling more efficient inference. These findings hold across multiple models and scales, Qwen2.5-Omni and Video-SALMONN2 Plus at 3B and 7B scales, leading to hypotheses on why these flow structures emerge. Together, these results deliver the first coherent picture of how AVLLMs orchestrate sound and sight inside the network and lay the groundwork for the next wave of interpretability, design, and efficiency advances in audio-visual and broader MLLMs.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、音声と視覚の信号が実際にネットワーク内を移動して、どのように回答を形成するのか? 研究や実世界の応用においてその役割は増大しているが、音声や視覚トークンが最終的な予測に影響を及ぼす内部経路はいまだに理解されていない。 本研究では,AVLLMの内部の音声・視覚情報の流れについて検討し,AVLLMが音声・視覚情報を2つの入力構成,音声・視覚ビデオと複数のインターリーブされた音声・視覚アイテムにどうルーティングし,利用し,統合するかを追跡した。 AVLLM は VLM や VideoLLM で確立されたシーケンシャルな情報フロー経路に従っており,この経路に沿って音声および視覚的コントリビューションが流れ,タスクのモータリティへの依存度に比例する。 複数のインターリーブされたオーディオ視覚アイテムの設定では、このルーティングは異なる並列ストリームにシフトする。 さらに、複数のタスクやデータセットをまたいで一般化し、より効率的な推論を可能にするため、LLMに情報を転送すれば、オーディオ視覚やその他のトークンタイプを破棄できることを示す。 これらの結果は、Qwen2.5-OmniとVideo-SALMONN2 Plusの3Bおよび7Bスケールで、複数のモデルとスケールにまたがる。 これらの結果は、AVLLMがネットワーク内の音と視覚を調整し、音声視覚および広義のMLLMにおける解釈可能性、設計、効率の次の波の基盤となる、最初のコヒーレントな画像を提供する。

関連論文リスト

• Do Audio-Visual Large Language Models Really See and Hear? [66.8531220331223]
  我々は音声と視覚機能がどのように進化し、最終的なテキスト出力を生成するためにAVLLMの異なる層を融合するかを分析する。 AVLLMの基本的なモダリティバイアスを明らかにし、マルチモーダルLLMがオーディオとビジョンをどのように統合するかに関する新しい力学的な洞察を提供する。
  論文  参考訳（メタデータ） (2026-04-03T00:48:49Z)
• AV-Odyssey Bench: Can Your Multimodal LLMs Really Understand Audio-Visual Information? [65.49972312524724]
  マルチモーダルな大言語モデル(MLLM)は、視覚とオーディオのモダリティを含む機能を拡張した。 提案したDeafTestは、MLLMが人間にとって簡単なタスクとよく戦っていることを示している。 AV-Odyssey Benchは、これらのMLLMが真にオーディオ視覚情報を理解できるかどうかを評価するために設計された総合的なオーディオ視覚ベンチマークである。
  論文  参考訳（メタデータ） (2024-12-03T17:41:23Z)
• Meerkat: Audio-Visual Large Language Model for Grounding in Space and Time [73.7845280328535]
  本稿では、画像と音声のきめ細かい理解を備えた音声視覚LLMであるMeerkatを紹介する。 Meerkatは、音声参照画像の接地、画像案内音声の時間的局所化、音声-視覚的事実チェックといった課題に取り組むことができる。 我々は、これらの下流タスクすべてにおいて、37.12%の相対的な改善で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-07-01T23:32:25Z)
• Audio-Visual LLM for Video Understanding [25.963166809113005]
  本稿では,視覚的および聴覚的入力を総合的ビデオ理解に用いたマルチモーダル大言語モデルであるAudio-Visual LLMを提案する。 GPT-4から派生した高品質のビデオ命令データセットを提案する。 実験により、オーディオ・ビジュアルのLLMは、様々なビデオ理解タスクで強いゼロショット結果が得られることが実証された。
  論文  参考訳（メタデータ） (2023-12-11T02:50:46Z)
• Fine-grained Audio-Visual Joint Representations for Multimodal Large Language Models [25.660343393359565]
  本稿では,マルチモーダル大言語モデル(LLM)のための微細な音声-視覚共同表現(FAVOR)学習フレームワークを提案する。 FAVORは、音声入力ストリーム内の音声および音声イベントと、視覚入力ストリーム内の画像またはビデオを、フレームレベルで同時に知覚する。 FAVORのインタラクティブなデモはhttps://github.com/BriansIDP/AudioVisualLLM.gitで公開されている。
  論文  参考訳（メタデータ） (2023-10-09T17:00:20Z)
• AudioVisual Video Summarization [103.47766795086206]
  ビデオ要約では、既存のアプローチは音声情報を無視しながら視覚情報を利用するだけだ。 本稿では,映像要約作業における音声情報と視覚情報を協調的に活用し,これを実現するためにAVRN(AudioVisual Recurrent Network)を開発することを提案する。
  論文  参考訳（メタデータ） (2021-05-17T08:36:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。