論文の概要: OP-CAD: On-Policy Clean-Audio Distillation for Robust Audio-Visual Reasoning

• arxiv url: http://arxiv.org/abs/2609.39150v1
• Date: Wed, 30 Sep 2026 07:16:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.347611
• Title: OP-CAD: On-Policy Clean-Audio Distillation for Robust Audio-Visual Reasoning
• Title（参考訳）: OP-CAD:ロバストなオーディオ-ビジュアル推論のためのオンラインクリーンオーディオ蒸留
• Abstract要約: 大規模言語モデルは外部ノイズに遭遇し、その知覚とマルチモーダル入力の理解を妨げる。 本研究では,環境騒音下での質問応答と競合音声に着目し,音声・視覚的理解におけるロバスト性について検討する。 本稿では,音楽・視覚の堅牢な理解のためのカリキュラムベースの特権的自己蒸留フレームワークOP-CADを紹介する。
• 参考スコア（独自算出の注目度）: 35.386698222987214
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Omni-modal large language models deployed in real-world environments encounter external noise that can interfere with their perception and understanding of multimodal inputs. We study their robustness in audio-visual understanding, focusing on question answering under environmental noise and competing speech. The challenge is to resist acoustic interference while preserving useful audio evidence. On-policy distillation provides dense teacher feedback on student-generated responses, but uniform token weighting does not explicitly prioritize positions affected by acoustic interference. We introduce OP-CAD (On-Policy Clean-Audio Distillation), a curriculum-based privileged self-distillation framework for robust audio-visual understanding. Training progresses from mild to severe environmental noise and competing speech, with selective token-level supervision at each stage. The student generates responses from corrupted audio-visual input, while a frozen teacher uses clean audio and the verified answer to supervise the same response prefixes. To allocate this supervision, OP-CAD compares teacher predictions under clean, corrupted, and visual-only contexts without revealing the answer. These matched comparisons measure sensitivity to audio removal and corruption; a bounded weighting rule emphasizes positions identified by either signal while retaining supervision throughout the response. OP-CAD outperforms the compared methods across all evaluated noise conditions. Paired analyses further show improved preservation of clean-correct answers under strong interference, with no observed aggregate clean-accuracy penalty. These results demonstrate the value of directing clean-teacher supervision toward acoustically sensitive predictions for robust audio-visual reasoning.
• Abstract（参考訳）: 実環境に展開されるオムニモーダルな大言語モデルは、その知覚やマルチモーダル入力の理解を妨げる外部ノイズに遭遇する。 本研究では,環境騒音下での質問応答と競合音声に着目し,音声・視覚的理解におけるロバスト性について検討する。 この課題は、音響的干渉に抵抗し、有用な音声証拠を保存することである。 オンライン蒸留は、学生が生成した反応に密着した教師のフィードバックを与えるが、均一なトークン重み付けは、音響干渉による位置を明示的に優先順位付けしない。 本稿では,音楽視覚理解のためのカリキュラムベースの特権的自己蒸留フレームワークOP-CAD(On-Policy Clean-Audio Distillation)を紹介する。 訓練は軽度から重度な環境騒音と競合する音声から進行し、各段階で選択的なトークンレベルの監督を行う。 学生は、劣化した音声視覚入力から応答を生成し、凍結した教師は、クリーンオーディオと検証された回答を使用して、同じ応答プレフィックスを監督する。 この監督を割り当てるために、OP-CADは、答えを明かさずに、クリーンで、破損した、視覚のみのコンテキスト下での教師の予測と比較する。 これらの一致した比較は、音声の除去と破損に対する感度を測定する; 境界重み付け規則は、応答全体を通して監督を維持しながら、どちらの信号によっても特定される位置を強調する。 OP-CADは、評価された全ての騒音条件で比較した手法より優れる。 ペアリング分析では、強い干渉下での清潔な回答の保存が改善し、総括的清潔さのペナルティは観察されなかった。 これらの結果から,教師の指導を音響に敏感な予測に向けることの価値が示唆された。

関連論文リスト

• CoLMbo-SV: A Grounded Language Model for Explainable Speaker Verification [54.830557377967274]
  我々は,強い話者識別と構造的,音響的な比較報告を組み合わせた話者言語モデルであるtextbfCoLMbo-SVを提案する。 事前訓練された話者エンコーダを言語モデルに接続し、明示的な音響測定を提供することにより、CoLMbo-SVは、その報告で発声された証拠に対する検証を制限することなく、音声比較を検査できるようにする。
  論文  参考訳（メタデータ） (2026-09-27T04:51:53Z)
• Reward-Tilted On-Policy Distillation for Acoustic Grounding in Audio-Language Models [14.758953449150262]
  音声言語モデル(ALM)は、音声の理解を弱めながら、テキストのショートカットを利用して質問に答える。 音響接地性を高めるために, RT-OPD (Reward-Tilted On-Policy Distillation) を提案する。 我々の3BモデルはMMAUで72.72%の精度を達成し、MMAUは比較された3Bモデルの中で最高であり、いくつかの7Bモデルと8Bモデルと競合する。
  論文  参考訳（メタデータ） (2026-09-23T20:43:32Z)
• Reinforcement Learning with Evolving Rubrics as Rewards for Audio Reasoning [57.5472764796581]
  本稿では,自己進化型報酬で音声推論を監督する強化学習フレームワークであるAudioRubricsを紹介する。 AudioRubricsは、サンプルごとのルーブリックを生波形から合成し、モデル自身のロールアウト、再生、グループごとのリウェイト基準で条件付けする。 解析の結果,ジェネレータと判定器の能力でゲインがスケールし,AudioRubricsは安定な推論長に収束し,縮退と成長の両面を回避できることがわかった。
  論文  参考訳（メタデータ） (2026-08-03T19:46:13Z)
• EchoDistill:Alignment Noisy-to-Clean Self-Distillation for Robust Audio LLMs [43.824076052614835]
  Echodistillはアライメントベースのノイズからクリーンな自己蒸留フレームワークである。 複雑な雑音下でのAudio Large Language Modelのセマンティックな信頼性とタスク性能を大幅に改善する。
  論文  参考訳（メタデータ） (2026-05-11T06:30:25Z)
• Speech-Hands: A Self-Reflection Voice Agentic Approach to Speech Recognition and Audio Reasoning with Omni Perception [142.4692205981783]
  我々は,外部の音声知覚をいつ信頼するか,いつ外部の音声知覚を相談するかを知るという,一貫したスキルを学習する音声認識フレームワークを導入する。 音声認識と外部の音声理解タスクの両方でオムニモデルを鼻で微調整することは、しばしば性能を低下させる。 これを解決するために、我々のフレームワークであるSpeech-Handsは、問題を明示的な自己回帰決定として再考する。この学習可能なプリミティブは、モデルが欠陥のある外部候補によって脱線されるのを防ぐのに有効である。
  論文  参考訳（メタデータ） (2026-01-14T12:06:50Z)
• Multi-Stage Speaker Diarization for Noisy Classrooms [1.4549461207028445]
  本研究では,NvidiaのNeMoダイアリゼーションパイプラインを用いた多段ダイアリゼーションモデルの有効性を検討した。 ダイアリゼーション精度に対する聴覚の影響を評価し,様々な音声活動検出モデルを比較した。 また、フレームレベルのVAD予測と自動音声認識(ASR)ワードレベルのタイムスタンプを統合するハイブリッドVAD手法についても検討する。
  論文  参考訳（メタデータ） (2025-05-16T05:35:06Z)
• PL-EESR: Perceptual Loss Based END-TO-END Robust Speaker Representation Extraction [90.55375210094995]
  音声強調は、背景雑音の抑制による音声信号の知覚品質の向上を目的としている。 本稿では,頑健な話者表現抽出のためのエンドツーエンドディープラーニングフレームワークPL-EESRを提案する。
  論文  参考訳（メタデータ） (2021-10-03T07:05:29Z)
• Multi-task self-supervised learning for Robust Speech Recognition [75.11748484288229]
  本稿では,雑音および残響環境下での頑健な音声認識のためのPASE+を提案する。 我々は、様々なランダムな乱れで入力信号を汚染するオンライン音声歪みモジュールを用いる。 次に,再帰型ネットワークと畳み込み型ネットワークを効率よく組み合わせて,短時間および長期の音声力学をよりよく学習する改良型エンコーダを提案する。
  論文  参考訳（メタデータ） (2020-01-25T00:24:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。