論文の概要: Multi-Modal Scene Graph with Kolmogorov-Arnold Experts for Audio-Visual Question Answering

• arxiv url: http://arxiv.org/abs/2511.23304v1
• Date: Fri, 28 Nov 2025 16:03:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-01 19:47:55.972012
• Title: Multi-Modal Scene Graph with Kolmogorov-Arnold Experts for Audio-Visual Question Answering
• Title（参考訳）: Kolmogorov-Arnold エキスパートによるマルチモーダルシーングラフによる音声・ビジュアル質問応答
• Authors: Zijian Fu, Changsheng Lv, Mengshi Qi, Huadong Ma,
• Abstract要約: Kolmogorov-Arnold Expert Network for Audio-Visual Question Answering (SHRIKE) を用いたマルチモーダルシーングラフを提案する。 この課題は、映像シーンから情報を抽出し、融合させることによって、人間の推論を模倣することを目的としている。 MUSIC-AVQA と MUSIC-AVQA v2 のベンチマークを用いて,そのモデルの評価を行った。
• 参考スコア（独自算出の注目度）: 47.06208819547327
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a novel Multi-Modal Scene Graph with Kolmogorov-Arnold Expert Network for Audio-Visual Question Answering (SHRIKE). The task aims to mimic human reasoning by extracting and fusing information from audio-visual scenes, with the main challenge being the identification of question-relevant cues from the complex audio-visual content. Existing methods fail to capture the structural information within video, and suffer from insufficient fine-grained modeling of multi-modal features. To address these issues, we are the first to introduce a new multi-modal scene graph that explicitly models the objects and their relationship as a visually grounded, structured representation of the audio-visual scene. Furthermore, we design a Kolmogorov-Arnold Network~(KAN)-based Mixture of Experts (MoE) to enhance the expressive power of the temporal integration stage. This enables more fine-grained modeling of cross-modal interactions within the question-aware fused audio-visual representation, leading to capture richer and more nuanced patterns and then improve temporal reasoning performance. We evaluate the model on the established MUSIC-AVQA and MUSIC-AVQA v2 benchmarks, where it achieves state-of-the-art performance. Code and model checkpoints will be publicly released.
• Abstract（参考訳）: 本稿では,Kolmogorov-Arnold Expert Network for Audio-Visual Question Answering (SHRIKE) を用いたマルチモーダルシーングラフを提案する。 この課題は,複雑な映像コンテンツから質問関連手がかりを識別することであり,映像シーンから情報を抽出し,融合させることによって人間の推論を模倣することを目的としている。 既存の手法では、ビデオ内の構造情報をキャプチャできず、マルチモーダル特徴の詳細なモデリングが不十分である。 これらの問題に対処するために、私たちは、オブジェクトとその関係を視覚的に基盤とした構造化されたオーディオ視覚シーンの表現として明示的にモデル化する、新しいマルチモーダルシーングラフを初めて導入しました。 さらに,コンモゴロフ・アルノルドネットワーク~(KAN)に基づくMixture of Experts(MoE)を設計し,時間統合段階の表現力を高める。 これにより、質問認識された融合音声視覚表現内の相互モーダル相互作用のよりきめ細かいモデリングが可能になり、よりリッチでニュアンスなパターンをキャプチャし、時間的推論性能を向上させることができる。 MUSIC-AVQA と MUSIC-AVQA v2 のベンチマークを用いて,そのモデルの評価を行った。 コードとモデルチェックポイントが公開される。

関連論文リスト

• Query-centric Audio-Visual Cognition Network for Moment Retrieval, Segmentation and Step-Captioning [56.873534081386]
  ビデオ検索、モーメント検索、モーメントセグメンテーション、ステップキャプションを含む新しいトピックHIRESTが紹介されている。 3つのタスクに対して信頼性の高いマルチモーダル表現を構築するために,クエリ中心の音声視覚認知ネットワークを提案する。 これにより、ユーザが優先するコンテンツを認識し、3つのタスクに対してクエリ中心の音声視覚表現を実現することができる。
  論文  参考訳（メタデータ） (2024-12-18T06:43:06Z)
• SaSR-Net: Source-Aware Semantic Representation Network for Enhancing Audio-Visual Question Answering [53.00674706030977]
  本稿では,AVQA(Audio-Visual Question Answering)のための新モデルSaSR-Netについて紹介する。 SaSR-Netは、ソースを学習可能なトークンを使用して、音声視覚要素と対応する質問を効率的にキャプチャし、アライメントする。 Music-AVQAとAVQA-Yangデータセットの実験は、SaSR-Netが最先端のAVQAメソッドより優れていることを示している。
  論文  参考訳（メタデータ） (2024-11-07T18:12:49Z)
• CAT: Enhancing Multimodal Large Language Model to Answer Questions in Dynamic Audio-Visual Scenarios [69.94398424864595]
  本稿では,リッチで複雑なダイナミック・オーディオ・ビジュアル・コンポーネントからなるシナリオにおいて,質問に答えることの課題に焦点をあてる。 本稿では,MLLM(Multimodal Large Language Models)を3つの方法で拡張するCATを紹介する。 CATは混合マルチモーダルデータセットでトレーニングされており、オーディオと視覚のシナリオで直接適用することができる。
  論文  参考訳（メタデータ） (2024-03-07T16:31:02Z)
• Fine-grained Audio-Visual Joint Representations for Multimodal Large Language Models [25.660343393359565]
  本稿では,マルチモーダル大言語モデル(LLM)のための微細な音声-視覚共同表現(FAVOR)学習フレームワークを提案する。 FAVORは、音声入力ストリーム内の音声および音声イベントと、視覚入力ストリーム内の画像またはビデオを、フレームレベルで同時に知覚する。 FAVORのインタラクティブなデモはhttps://github.com/BriansIDP/AudioVisualLLM.gitで公開されている。
  論文  参考訳（メタデータ） (2023-10-09T17:00:20Z)
• Where and When: Space-Time Attention for Audio-Visual Explanations [42.093794819606444]
  音声と視覚データの相乗的なダイナミクスを空間と時間の両方で明らかにする、新しい時空注目ネットワークを提案する。 本モデルでは,音声・視覚的映像イベントの予測を可能とし,関連する視覚的手がかりがどこに現れるのかをローカライズすることで,その決定を正当化する。
  論文  参考訳（メタデータ） (2021-05-04T14:16:55Z)
• Audio-visual Speech Separation with Adversarially Disentangled Visual Representation [23.38624506211003]
  音声分離は、複数の同時話者による音声の混合から個々の音声を分離することを目的としている。 本モデルでは,顔検出器を用いて現場の話者数を検出し,視覚情報を用いて順列化問題を回避する。 提案モデルは,最先端のオーディオのみのモデルと3つのオーディオ視覚モデルより優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-29T10:48:42Z)
• Look, Listen, and Attend: Co-Attention Network for Self-Supervised Audio-Visual Representation Learning [17.6311804187027]
  音声と視覚イベントの相関関係は、ニューラルネットワークをトレーニングするための自由教師付き情報として利用することができる。 本稿では,非競合ビデオから汎用的なクロスモーダル表現を学習するためのコアテンション機構を備えた,新しい自己教師型フレームワークを提案する。 実験の結果,従来の手法に比べてパラメータが少なめでありながら,プレテキストタスク上での最先端性能が得られた。
  論文  参考訳（メタデータ） (2020-08-13T10:08:12Z)
• Dense-Caption Matching and Frame-Selection Gating for Temporal Localization in VideoQA [96.10612095576333]
  本稿では,マルチモーダルな入力源を効果的に統合し,時間的関連情報から質問に答えるビデオ質問応答モデルを提案する。 また,2レベルアテンション(単語・オブジェクト・フレームレベル),異なるソース(ビデオ・高密度キャプション)に対するマルチヘッド自己統合,ゲートへのより関連性の高い情報伝達などで構成されている。 当社のモデルは,各モデルコンポーネントが大きな利益をもたらす,難易度の高いTVQAデータセット上で評価され,全体的なモデルでは,最先端のモデルよりも大きなマージンで優れています。
  論文  参考訳（メタデータ） (2020-05-13T16:35:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。