論文の概要: Q-TriM: Question-Guided Tri-Modal Attention for Audio-Visual Question Answering

• arxiv url: http://arxiv.org/abs/2607.03825v1
• Date: Sat, 04 Jul 2026 11:21:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.732816
• Title: Q-TriM: Question-Guided Tri-Modal Attention for Audio-Visual Question Answering
• Title（参考訳）: Q-TriM:視聴覚質問応答のための質問ガイド付きトリモーダルアテンション
• Abstract要約: 本稿では,Q-TriMを導入し,マルチモーダル融合を深層・逐次的ではなく浅層・並列的に行う。 Q-TriMは3つのAVQAベンチマークで最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 4.915421879054654
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Audio-Visual Question Answering (AVQA) extends classical VQA by requiring joint reasoning over video and synchronized audio. However, many AVQA systems rely on deeply stacked layers of self- and cross attention across text, video, and audio. Such sequential stacking may incur loss of information such as subtle inter-modal cues over the layers, causing errors to accumulate across sequential attention layers during the fusion. We introduce Q-TriM which performs multi-modal fusion in a shallow and parallel manner instead of a deep and sequential manner. For Q-TriM, we propose a novel framework for attention operation incorporating video and audio conditioned on text. As a result, we obtain not only standard cross attention outputs but also Tri-Modal Attention representations in which Query, Key, and Value come from distinct modalities. These attention representations are combined in parallel at a single stage, thus avoiding the multi-modal fusion with deep stacks in order to mitigate error accumulation and depth-induced issues. Q-TriM achieves state-of-the-art performance on three AVQA benchmarks, including substantial gains on MUSIC-AVQA-R, which demonstrates its robustness and out-of-distribution generalization. Code is available at https://github.com/Sunghun95/Q-TriM
• Abstract（参考訳）: AVQA(Audio-Visual Question Answering)は、ビデオと同期オーディオを共同で推論することで、古典的なVQAを拡張する。 しかし、多くのAVQAシステムは、テキスト、ビデオ、オーディオにまたがる自己および横断的な注意の層を深く積み重ねている。 このようなシーケンシャルな積み重ねは、層上の微妙なモーダル間キューのような情報を失う可能性があり、融合中にシーケンシャルな注意層にエラーが蓄積される。 深部および逐次的な方法ではなく,浅部および並列部でマルチモーダル融合を行うQ-TriMを提案する。 Q-TriMでは,テキストに映像と音声を付加したアテンション操作のための新しいフレームワークを提案する。 その結果、標準のクロスアテンション出力だけでなく、クエリ、キー、バリューが異なるモダリティから来るトリモーダルアテンション表現も得られます。 これらの注意表現は1つの段階で並列に結合されるため、エラーの蓄積と深さ誘起問題を軽減するために、深層とのマルチモーダル融合を避けることができる。 Q-TriMは、3つのAVQAベンチマークで最先端のパフォーマンスを達成しており、MUSIC-AVQA-Rではその堅牢性とアウト・オブ・ディストリビューションの一般化を実証している。 コードはhttps://github.com/Sunghun95/Q-TriMで入手できる。

関連論文リスト

• Not All Modalities Are Equal: Instruction-Aware Gating for Multimodal Videos [70.78278988781882]
  ビデオ,音声,深度マップ,その他のモダリティ入力間で命令認識融合を行う,UniMVUという統合マルチモーダルビデオ理解フレームワークを提案する。 解析の結果,ゲーティング機構は人間と解釈可能なモダリティの関連性に一致し,アブレーションは内部モダリティとモダリティレベルのゲーティングの寄与を示すことがわかった。
  論文  参考訳（メタデータ） (2026-05-25T18:02:20Z)
• Where to Focus: Query-Modulated Multimodal Keyframe Selection for Long Video Understanding [48.14432643308697]
  長いビデオ理解は、マルチモーダルな大規模言語モデルにとって非常に難しい課題です。 Q-Gateは、選択を動的モダリティルーティング問題として扱うプラグイン・アンド・プレイフレームワークである。
  論文  参考訳（メタデータ） (2026-04-19T13:04:18Z)
• MAGNET: A Multi-agent Framework for Finding Audio-Visual Needles by Reasoning over Multi-Video Haystacks [67.31276358668424]
  AV-HaystacksQAという新しいタスクを導入し、クエリに応答して、異なるビデオにまたがる有能なセグメントを識別し、それらをリンクして最も有意義な回答を生成する。 AVHaystacksは、マルチビデオ検索および時間的グラウンドタスクにおけるLMMの能力を評価するために設計された3100の注釈付きQAペアからなるオーディオビジュアルベンチマークである。 提案するAVHaystackのQAタスクにおけるBLEU@4およびGPT評価スコアの基準値よりも89%と65%の相対的な改善を実現し、モデルに依存しないマルチエージェントフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-08T06:34:29Z)
• RAVEN: Query-Guided Representation Alignment for Question Answering over Audio, Video, Embedded Sensors, and Natural Language [1.5599296461516985]
  RAVENは、クエリ条件のクロスモーダルゲーティングモジュールであるQuARTをコアとする統一QAアーキテクチャである。 RAVENは、単調な事前トレーニング、クエリ整合融合、不一致指向の微調整を含む3段階のパイプラインを通じてトレーニングされる。 実験の結果、RAVENは最先端のマルチモーダル言語モデルと比較して14.5%と8.0%の精度で向上した。
  論文  参考訳（メタデータ） (2025-05-21T14:33:36Z)
• Cross-modal Causal Relation Alignment for Video Question Grounding [44.97933293141372]
  ビデオQG(Video question grounding)では、質問に答え、関連するビデオセグメントを同時に推論して回答をサポートする必要がある。 既存のビデオQG手法は、通常、急激な相互モーダルな相関に悩まされ、意図された問題と一致した支配的な視覚シーンを特定することに失敗する。 本稿では,CRA(Cross-modal Causal Relation Alignment)と呼ばれる新しいビデオQGフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-05T01:36:32Z)
• SaSR-Net: Source-Aware Semantic Representation Network for Enhancing Audio-Visual Question Answering [53.00674706030977]
  本稿では,AVQA(Audio-Visual Question Answering)のための新モデルSaSR-Netについて紹介する。 SaSR-Netは、ソースを学習可能なトークンを使用して、音声視覚要素と対応する質問を効率的にキャプチャし、アライメントする。 Music-AVQAとAVQA-Yangデータセットの実験は、SaSR-Netが最先端のAVQAメソッドより優れていることを示している。
  論文  参考訳（メタデータ） (2024-11-07T18:12:49Z)
• Answering Diverse Questions via Text Attached with Key Audio-Visual Clues [24.347420432207283]
  本稿では,相互相関蒸留(MCD)を行うための枠組みを提案する。 提案手法は,複数の問合せ対を含む2つの公開データセットに対して評価する。
  論文  参考訳（メタデータ） (2024-03-11T12:51:37Z)
• Multi-Scale Attention for Audio Question Answering [9.254814692650523]
  AQA (Audio Question answering) は、シーン理解を探索するために広く使用されるプロキシタスクである。 既存の手法は主に視覚的質問応答タスクの構造を単純なパターンで音声に拡張する。 本稿では,非同期ハイブリッドアテンションモジュールとマルチスケールウィンドウアテンションモジュールからなるマルチスケールウィンドウアテンションフュージョンモデルを提案する。
  論文  参考訳（メタデータ） (2023-05-29T10:06:58Z)
• NuScenes-QA: A Multi-modal Visual Question Answering Benchmark for Autonomous Driving Scenario [77.14723238359318]
  NuScenesQAは、自動運転シナリオにおけるVQAの最初のベンチマークであり、34Kの視覚シーンと460Kの質問応答ペアを含んでいる。 既存の3D検出アノテーションを利用してシーングラフと質問テンプレートを手動で作成する。 先進的な3D検出とVQA技術を用いた一連のベースラインを開発する。
  論文  参考訳（メタデータ） (2023-05-24T07:40:50Z)
• Target-Aware Spatio-Temporal Reasoning via Answering Questions in Dynamics Audio-Visual Scenarios [7.938379811969159]
  本稿では,音声-視覚的質問応答(AVQA)のための新たな目標認識型共同時間グラウンドネットワークを提案する。 ターゲット認識型空間接地モジュール(TSG)と単一ストリーム型音声視覚時空間接地モジュール(JTG)の2つのキーコンポーネントで構成されている。 JTGは、音声と視覚の融合と質問認識の時間的接地を、より単純な単一ストリームアーキテクチャで一つのモジュールに組み込む。
  論文  参考訳（メタデータ） (2023-05-21T08:21:36Z)
• Learning to Answer Questions in Dynamic Audio-Visual Scenarios [81.19017026999218]
  本稿では,視覚的物体の異なる音と映像の関連性に関する質問に答えることを目的としたAVQAタスクに着目した。 我々のデータセットには、様々なモダリティと質問タイプにまたがる45万以上の質問応答ペアが含まれています。 A-SIC, V-SIC, AVQA のアプローチでは, AVQA は多感性知覚の恩恵を受けており, モデルでは近年の A-SIC, V-SIC, AVQA のアプローチよりも優れていた。
  論文  参考訳（メタデータ） (2022-03-26T13:03:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。