論文の概要: Qwen-MusicAVQA-7B: A Multimodal Model for Music Audio-Visual QA

• arxiv url: http://arxiv.org/abs/2608.11329v1
• Date: Tue, 11 Aug 2026 18:28:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.33335
• Title: Qwen-MusicAVQA-7B: A Multimodal Model for Music Audio-Visual QA
• Title（参考訳）: Qwen-MusicAVQA-7B:音楽オーディオビジュアルQAのためのマルチモーダルモデル
• Abstract要約: 音楽音声・視覚的質問応答において,軽量な代替手段が有効であることを示す。 Qwen-MusicAVQA-7Bは、学習された線形射影を通して凍結したウィスパーエンコーダをQwen2-VL-7B-Instructに接続する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A common approach to adding audio to a vision-language model is to train or adapt a large omni-modal system. We show that a lightweight alternative can be highly effective for music audio-visual question answering (AVQA). Qwen-MusicAVQA-7B connects a frozen Whisper encoder to Qwen2-VL-7B-Instruct through learned linear projections. The same frozen encoder processes both the video's music track and a TTS-spoken question through separate projectors, while the language model fuses visual frames, music, and question audio through pretrained self-attention, with no task-specific fusion network. On MUSIC-AVQA, our system reaches 96.0% +/- 3.9% accuracy across three independent training seeds on the 7,402-question available-video test subset. Our central finding is that downstream accuracy tracks how much fine-grained local temporal information the audio representation preserves. In a matched 32-token comparison, a stride-pooled Whisper frame sequence outperforms a globally pooled PANNs representation expanded to the same budget by 26 percentage points, even though PANNs sees at least as much audio and uses a far larger projector. The effect is not simply sequence versus vector: within Whisper alone, reducing temporal resolution at a fixed token budget costs a comparable amount. Under matched data and inputs, fine-tuned Qwen2.5-Omni-7B reaches 80.9%, against 95.9% for our 30 s variant; because the systems differ in backbone and adaptation, this is a system-level comparison. Accuracy remains high on sampled head and tail splits of the rephrased MUSIC-AVQA-R benchmark (96.5% and 95.6%). Because both encoders stay frozen and the music features are cached, the entire adaptation is cheap to train: the complete two-stage AVQA run takes approximately 5 hours on a single A100 80GB, and every run reported here fits on that one GPU.
• Abstract（参考訳）: 視覚言語モデルに音声を追加する一般的なアプローチは、大規模なオムニモダルシステムの訓練または適応である。 本稿では,軽量な代替手段が,音声・視覚的質問応答(AVQA)に有効であることを示す。 Qwen-MusicAVQA-7Bは、学習された線形射影を通して凍結したウィスパーエンコーダをQwen2-VL-7B-Instructに接続する。 同じフリーズエンコーダは、ビデオの音楽トラックとTS-Spokenの質問の両方を別々のプロジェクタを通して処理し、言語モデルは、タスク固有の融合ネットワークなしで、事前訓練された自己意図によって視覚的フレーム、音楽、質問音声を融合する。 MUSIC-AVQA では、7,402 の検索可能なビデオテストサブセット上で3つの独立した訓練種に対して96.0%+/-3.9%の精度に達する。 我々の中心的な発見は、下流の精度が、音声表現がどれだけきめ細かな時間情報を保持するかを追跡することである。 一致した32tokenの比較では、ストライドプールされたWhisperフレームシーケンスは、PANNが少なくともオーディオを多く見ていて、はるかに大きなプロジェクタを使用しているにもかかわらず、グローバルにプールされたPANNの表現を26パーセンテージで同じ予算に拡張する。 この効果は単にシーケンス対ベクトルではなく、ウィスパー内だけで、固定されたトークン予算における時間分解能を減少させるには、同等のコストがかかる。 一致したデータと入力の下で、Qwen2.5-Omni-7Bの微調整は80.9%、30 sの変種は95.9%に達する。 MUSIC-AVQA-Rベンチマーク(96.5%と95.6%)のサンプルヘッドとテール分割の精度は依然として高い。 2段階のAVQAの実行は、1つのA100 80GBで約5時間かかり、ここで報告されているすべての実行はその1つのGPUに適合する。

関連論文リスト

• TraceAV-Bench: Benchmarking Multi-Hop Trajectory Reasoning over Long Audio-Visual Videos [13.9567665031159]
  実世界の音声・視覚的理解には、疎く、時間的に分散し、視覚と聴覚の流れにまたがる証拠の連鎖が必要である。 TraceAV-Benchは、長時間の視覚的軌跡とマルチモーダル幻覚の堅牢性に対して、マルチホップ推論を共同で評価する最初のベンチマークである。
  論文  参考訳（メタデータ） (2026-05-08T11:06:43Z)
• TalkVerse: Democratizing Minute-Long Audio-Driven Video Generation [45.08904139559434]
  本研究では,音声駆動音声ビデオ生成のための大規模オープンコーパスであるTalkVerseを紹介する。 TalkVerseは230万の高解像度(720p/1080p)のオーディオビデオ同期クリップを提供する。 これらは透明なパイプラインを通じて60k時間以上のビデオから収集される。
  論文  参考訳（メタデータ） (2025-12-16T22:01:08Z)
• AMAuT: A Flexible and Efficient Multiview Audio Transformer Framework Trained from Scratch [0.3728263002609659]
  本稿では,AMAuT(Augmentation-driven Multiview Audio Transformer)を紹介する。 AMAuTは任意のサンプルレートとオーディオ長をサポートしながら、事前訓練された重量への依存を取り除く。 AudioMNIST、SpeechCommands V1 & V2、VocalSound、CochlSceneの5つの公開ベンチマークの実験では、AMAuTが99.8%のアキュラシーを達成したことが示されている。
  論文  参考訳（メタデータ） (2025-10-22T08:41:59Z)
• AudioMarathon: A Comprehensive Benchmark for Long-Context Audio Understanding and Efficiency in Audio LLMs [53.248502396225724]
  AudioMarathonは、ロングフォームオーディオの理解と推論の効率を評価するために設計されたベンチマークである。 我々は、最先端のLALMを評価し、音声の長さが大きくなるにつれて、明らかな性能低下を観察する。 その結果、現在のLALM間での大きなギャップが示され、時間的推論の改善の必要性が浮き彫りになった。
  論文  参考訳（メタデータ） (2025-10-08T17:50:16Z)
• MAGNET: A Multi-agent Framework for Finding Audio-Visual Needles by Reasoning over Multi-Video Haystacks [67.31276358668424]
  AV-HaystacksQAという新しいタスクを導入し、クエリに応答して、異なるビデオにまたがる有能なセグメントを識別し、それらをリンクして最も有意義な回答を生成する。 AVHaystacksは、マルチビデオ検索および時間的グラウンドタスクにおけるLMMの能力を評価するために設計された3100の注釈付きQAペアからなるオーディオビジュアルベンチマークである。 提案するAVHaystackのQAタスクにおけるBLEU@4およびGPT評価スコアの基準値よりも89%と65%の相対的な改善を実現し、モデルに依存しないマルチエージェントフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-08T06:34:29Z)
• Enhance Generation Quality of Flow Matching V2A Model via Multi-Step CoT-Like Guidance and Combined Preference Optimization [11.637343484707014]
  本稿では,Chain-of-Perform(CoP)誘導学習を用いたマルチステージ・マルチモーダル・エンドツーエンド生成フレームワークを提案する。 我々は、高品質な音響効果の発生を保証するために、ステップバイステップのガイダンスに従う多段階トレーニングフレームワークを実装した。 第3に、ステップバイステップの音響効果生成を支援するために、ビデオでガイドされたマルチモーダルデータセットを開発する。
  論文  参考訳（メタデータ） (2025-03-28T07:32:14Z)
• Frieren: Efficient Video-to-Audio Generation Network with Rectified Flow Matching [51.70360630470263]
  Video-to-audio (V2A) は、サイレントビデオからコンテンツマッチング音声を合成することを目的としている。 本稿では,修正フローマッチングに基づくV2AモデルであるFrierenを提案する。 実験により、フリーレンは世代品質と時間的アライメントの両方で最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-06-01T06:40:22Z)
• AdVerb: Visually Guided Audio Dereverberation [49.958724234969445]
  本稿では,新しいオーディオ・ビジュアル・デバーベレーション・フレームワークであるAdVerbを紹介する。 残響音に加えて視覚的手がかりを用いてクリーンオーディオを推定する。
  論文  参考訳（メタデータ） (2023-08-23T18:20:59Z)
• Learning to Answer Questions in Dynamic Audio-Visual Scenarios [81.19017026999218]
  本稿では,視覚的物体の異なる音と映像の関連性に関する質問に答えることを目的としたAVQAタスクに着目した。 我々のデータセットには、様々なモダリティと質問タイプにまたがる45万以上の質問応答ペアが含まれています。 A-SIC, V-SIC, AVQA のアプローチでは, AVQA は多感性知覚の恩恵を受けており, モデルでは近年の A-SIC, V-SIC, AVQA のアプローチよりも優れていた。
  論文  参考訳（メタデータ） (2022-03-26T13:03:42Z)
• Real-time Speaker counting in a cocktail party scenario using Attention-guided Convolutional Neural Network [60.99112031408449]
  重なり合う音声におけるアクティブ話者数を推定するために,CNN(Real-time, Single-channel attention-guided Convolutional Neural Network)を提案する。 提案システムは,CNNモデルを用いて音声スペクトルから高レベル情報を抽出する。 WSJコーパスを用いた重畳音声のシミュレーション実験により,従来の時間平均プーリングに比べて,注意解がほぼ3%向上することが示されている。
  論文  参考訳（メタデータ） (2021-10-30T19:24:57Z)
• Look and Listen: A Multi-modality Late Fusion Approach to Scene Classification for Autonomous Machines [5.452798072984612]
  本研究の新規性は,画像と音声が深層融合の過程において相互に補完するシーン分類への多様性アプローチである。 このアプローチは、16,000のデータオブジェクトの2つの同期およびバランスの取れたデータセットからなる、難しい分類問題に対して実証される。 単一モダリティが異常なデータポイントによって混同される可能性がある状況は、より高次な統合によって修正されていることを示す。
  論文  参考訳（メタデータ） (2020-07-11T16:47:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。