論文の概要: EchoDistill:Alignment Noisy-to-Clean Self-Distillation for Robust Audio LLMs

• arxiv url: http://arxiv.org/abs/2605.23954v1
• Date: Mon, 11 May 2026 06:30:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 02:55:42.973316
• Title: EchoDistill:Alignment Noisy-to-Clean Self-Distillation for Robust Audio LLMs
• Title（参考訳）: EchoDistill:ロバストオーディオLLMのためのアライメントノイズ-クリーン自己蒸留
• Authors: Liang Lin, Chunxi Luo, Kaiwen Luo, Jie Zhang, Jin Wang, Yuanhe Zhang, Cai Yuchen, Qiankun Li, Gongli Xi, Zhenhong Zhou, Kun Wang, Junhao Dong,
• Abstract要約: Echodistillはアライメントベースのノイズからクリーンな自己蒸留フレームワークである。 複雑な雑音下でのAudio Large Language Modelのセマンティックな信頼性とタスク性能を大幅に改善する。
• 参考スコア（独自算出の注目度）: 43.824076052614835
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Audio Large Language Models (ALLMs) are highly vulnerable to real-world noise, which often induces severe semantic drift and hallucinations. Existing robustness methods primarily rely on waveform-level acoustic enhancement, answer-level supervision, or the internal suppression of noise representations. To address these issues, we propose echodistill, an alignment-based noisy-to-clean self-distillation framework. Echodistill leverages a frozen clean-audio teacher to provide semantic references for an inference-time noisy-audio student. Specifically, the student samples candidate responses under noisy conditions to expose its test-time behavior. These trajectories are then optimized via group-relative policy optimization (GRPO), where the token-level consistency with the teacher acts as a reward bonus. By aligning the noisy student's candidate responses with clean semantic evidence, and applying audio-aware reward shaping, our method encourages reasoning trajectories that are both correct and genuinely acoustically grounded. Echodistill significantly improves the semantic reliability and task performance of Audio LLMs under complex noise, without introducing any additional inference costs. Extensive experiments show that: (I) Compared with the strongest baseline, echodistill achieves average improvements of 4.18\%$\uparrow$ in GSR under strong noise. (II) Ablation results on Qwen-Omni further show that echodistill improves over the GRPO-only variant by 3.02\%$\uparrow$ in Acc, 3.89\%$\uparrow$ in Noisy, and 4.53\%$\uparrow$ in GSR on average. Our codes are available at https://anonymous.4open.science/r/echodistill-10DE.
• Abstract（参考訳）: オーディオ大言語モデル(ALLM)は現実世界の騒音に対して非常に脆弱であり、しばしば重度のセマンティックドリフトと幻覚を引き起こす。 既存のロバストネス法は、主に波形レベルの音響強調、応答レベルの監督、あるいはノイズ表現の内部抑制に依存している。 これらの問題に対処するために、アライメントに基づくノイズ・クリーンな自己蒸留フレームワークであるエコーディスティルを提案する。 Echodistillは、凍結したクリーンオーディオの教師を利用して、推論時間ノイズのあるオーディオの学生にセマンティックリファレンスを提供する。 具体的には、学生がノイズのある条件下で候補の反応をサンプリングし、テストタイムの振る舞いを露呈する。 これらのトラジェクトリはグループ相対ポリシー最適化(GRPO)によって最適化され、そこでは教師とのトークンレベルの一貫性が報酬のボーナスとして機能する。 雑音のある学生の候補を清潔な意味的証拠と整合させ、音声認識による報酬形成を適用することにより、正確かつ真に音響的根拠を持つ軌跡の推論を奨励する。 Echodistillは複雑な雑音下でのオーディオLLMのセマンティックな信頼性とタスク性能を、追加の推論コストを導入することなく大幅に改善する。 I)強いベースラインと比較して、エコー希釈は強い雑音下でGSRの4.18\%$\uparrow$の平均的な改善を達成する。 (II) Qwen-Omniのアブレーション結果は、GRPOのみの変種に対して、Accの3.02\%$\uparrow$、Noisyの3.89\%$\uparrow$、GSRの4.53\%$\uparrow$によりエコー希釈が改善されることを示している。 私たちのコードはhttps://anonymous.4open.science/r/echodistill-10DEで公開されています。

関連論文リスト

• NoiseRater: Meta-Learned Noise Valuation for Diffusion Model Training [81.58321000203712]
  NoiseRaterは、拡散モデルトレーニングにおけるインスタンスレベルのノイズ評価のためのメタラーニングフレームワークである。 NoiseRaterは、重要度スコアをデータとタイムステップで条件付けられた個々のノイズ実現に割り当てる。 FFHQとImageNetの実験では、すべてのノイズサンプルが等しく寄与するわけではない。
  論文  参考訳（メタデータ） (2026-05-02T19:43:16Z)
• Pre-train to Gain: Robust Learning Without Clean Labels [1.1582652820340928]
  ノイズの多いラベルでディープネットワークを訓練すると、一般化が悪く、精度が低下する。 ラベルなしで特徴抽出器のバックボーンを事前トレーニングすることで、クリーンなラベルのサブセットを必要とせずに、よりノイズの強いモデルをトレーニングできる。 提案手法は,低雑音レベルにおけるImageNet事前学習モデルに匹敵する結果を得たが,高雑音条件下ではかなり優れていた。
  論文  参考訳（メタデータ） (2025-11-25T20:48:07Z)
• Real-Time Speech Enhancement via a Hybrid ViT: A Dual-Input Acoustic-Image Feature Fusion [1.376408511310322]
  音声品質と知性はノイズの多い環境で著しく劣化する。 本稿では,単一チャネル雑音抑圧問題に対処するトランスフォーマーに基づく新しい学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-14T19:27:42Z)
• Towards Robust Few-shot Point Cloud Semantic Segmentation [57.075074484313]
  ショットポイントのクラウドセマンティックセグメンテーションは、少数のサポートセットのサンプルだけで、新しい見えないクラスに迅速に適応するようにモデルをトレーニングすることを目的としている。 本稿では,識別的特徴表現を学習するためのコンポーネントレベルクリーンノイズ分離(CCNS)表現学習を提案する。 また,MDNS(Multi-scale Degree-based Noise Suppression)方式を提案する。
  論文  参考訳（メタデータ） (2023-09-20T11:40:10Z)
• Inference and Denoise: Causal Inference-based Neural Speech Enhancement [83.4641575757706]
  本研究では、雑音の存在を介入としてモデル化することにより、因果推論パラダイムにおける音声強調(SE)課題に対処する。 提案した因果推論に基づく音声強調(CISE)は,ノイズ検出器を用いて間欠雑音音声中のクリーンフレームとノイズフレームを分離し,両フレームセットを2つのマスクベース拡張モジュール(EM)に割り当て,ノイズ条件SEを実行する。
  論文  参考訳（メタデータ） (2022-11-02T15:03:50Z)
• Improving Noise Robustness of Contrastive Speech Representation Learning with Speech Reconstruction [109.44933866397123]
  実環境における音声認識システムの実現には,雑音の堅牢性が不可欠である。 雑音認識のための自己教師型フレームワークにより学習したノイズロスト表現を用いる。 ラベル付きデータのわずか16%で報告された最高の教師付きアプローチに匹敵するパフォーマンスを実現した。
  論文  参考訳（メタデータ） (2021-10-28T20:39:02Z)
• Training Classifiers that are Universally Robust to All Label Noise Levels [91.13870793906968]
  ディープニューラルネットワークは、ラベルノイズの存在下で過度に適合する傾向がある。 ポジティヴ・アンラベルラーニングの新たなサブカテゴリを取り入れた蒸留ベースのフレームワークを提案する。 我々の枠組みは概して中～高騒音レベルにおいて優れています。
  論文  参考訳（メタデータ） (2021-05-27T13:49:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。