Fugu-MT 論文翻訳(概要): Reinforcement Learning with Evolving Rubrics as Rewards for Audio Reasoning

論文の概要: Reinforcement Learning with Evolving Rubrics as Rewards for Audio Reasoning

arxiv url: http://arxiv.org/abs/2608.02831v1
Date: Mon, 03 Aug 2026 19:46:13 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-05 15:30:22.936588
Title: Reinforcement Learning with Evolving Rubrics as Rewards for Audio Reasoning
Title（参考訳）: 進化するルービックによる強化学習
Abstract要約: 本稿では,自己進化型報酬で音声推論を監督する強化学習フレームワークであるAudioRubricsを紹介する。 AudioRubricsは、サンプルごとのルーブリックを生波形から合成し、モデル自身のロールアウト、再生、グループごとのリウェイト基準で条件付けする。解析の結果,ジェネレータと判定器の能力でゲインがスケールし,AudioRubricsは安定な推論長に収束し,縮退と成長の両面を回避できることがわかった。
参考スコア（独自算出の注目度）: 57.5472764796581
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Audio reasoning is essential for machine understanding of the acoustic world. Reinforcement learning with verifiable rewards can elicit such reasoning, yet existing reward designs are complementary in their limitations: outcome-based rewards supervise only the final answer and let the model reach it without attending to the audio, whereas process-based rewards score the reasoning itself but rely on coarse, hand-crafted, and fixed criteria that neither adapt to each question nor stay grounded in the acoustic evidence. Moreover, questions differ in what they demand, with some hinging on perception and others on multi-step reasoning, and any static criterion weakens as the policy improves. Supervising the reasoning process with fine-grained, audio-grounded, and adaptive rewards is therefore crucial, yet challenging since such rewards are impractical to design by hand for every sample. To this end, we introduce AudioRubrics, a reinforcement learning framework that supervises audio reasoning with self-evolving, audio-grounded rubric rewards. AudioRubrics synthesizes per-sample rubrics from the raw waveform and, conditioned on the model's own rollouts, regenerates and reweights criteria per group, supplying a continuous learning signal that keeps targeting the current policy's weaknesses as static criteria saturate. Comprehensive evaluations across three audio reasoning benchmarks reveal that AudioRubrics substantially outperforms a wide range of open-source and training-based baselines. Furthermore, our analysis shows that the gains scale with the capability of the rubric generator and judge, and AudioRubrics converges to a stable reasoning length that avoids both degenerate collapse and unbounded growth. The improvement in audio perception further demonstrates the effectiveness of anchoring supervision in the acoustic evidence. Our project page is available at https://audiorubrics.github.io.
Abstract（参考訳）: 音響世界の機械的理解には音声推論が不可欠である。結果に基づく報酬は最終回答のみを監督し、音声に従わずにモデルに到達させるのに対して、プロセスベースの報酬は推論そのものをスコアするが、粗い、手作りで固定された基準に依存し、各質問に適応せず、音響的証拠に基づかない。さらに、質問は彼らが何を要求するかによって異なり、認識やその他の多段階の推論に影響を与え、政策が改善するにつれて静的な基準は弱まる。そのため、細粒度、オーディオ接地、適応的な報酬を伴う推論プロセスの監督は重要であるが、全てのサンプルに対してこのような報酬は手作業で設計するには実用的ではない。この目的のために,自己進化型オーディオグラウンド型ルーリック報酬を用いた音声推論を指導する強化学習フレームワークであるAudioRubricsを紹介した。 AudioRubricsは、生の波形からサンプルごとのルーブリックを合成し、モデル自身のロールアウトに条件付け、グループごとの再生とリウェイト基準を調整し、現在のポリシーの弱点を飽和した静的な基準としてターゲットし続ける継続的な学習信号を提供する。 3つのオーディオ推論ベンチマークの総合的な評価によると、AudioRubricsは、幅広いオープンソースとトレーニングベースのベースラインをかなり上回っている。さらに, 解析の結果, ごみ発生器と判定器の能力によるゲインのスケール, およびAudioRubricsは, 縮退崩壊と非有界成長の両方を避ける安定な推論長に収束することがわかった。音声知覚の改善は、音響的エビデンスにおけるアンカー管理の有効性をさらに示している。プロジェクトのページはhttps://audiorubrics.github.io.comで公開されている。

関連論文リスト

AffectOmni: RL-Verifiable People-Centric Grounded Affective Reasoning for Social and Art-Related Scenes [59.134503227559634]
マルチモーダル大言語モデル(MLLM)は,VQAとシーン理解において高い性能を発揮する。モデルは、マイクロ表現やボディランゲージのような人中心の手がかりを無視しながら、正しい答えを予測できる。本稿では、感情的推論を検証可能なフレームワークであるAffect Omniを提案する。
論文参考訳（メタデータ） (2026-08-24T11:25:04Z)
X$^3$-OPD: Distilling Reasoning into Large Audio-Language Models via On-Policy Alignment [38.53954341285787]
X$3$-OPDは、大規模なオーディオ言語モデルのためのクロスモーダルなオンライン蒸留フレームワークである。強力なテキスト教師から音声学習の学生に推論能力を伝達する。 X$3$-OPDは、音声による推論と思考の連鎖的品質を大幅に改善する。
論文参考訳（メタデータ） (2026-07-23T17:35:20Z)
Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
論文参考訳（メタデータ） (2026-06-17T17:54:04Z)
AnyAudio-Judge: A Dynamic Rubric-Based Benchmark and Evaluator for Audio Instruction Following [17.52339026461815]
本稿では,複雑な音声キャプションを可変個の独立した検証可能なバイナリルーブリックアイテムに適応的に分解する動的ルーブリック評価パラダイムを提案する。我々はこの能力をAnyAudio-Judge Benchでベンチマークする。実験により、AnyAudio-Judgeは、最先端のベースラインに比べて、ゼロショットアライメントの検出を著しく向上する。
論文参考訳（メタデータ） (2026-06-02T04:00:32Z)
Audio-DeepThinker: Progressive Reasoning-Aware Reinforcement Learning for High-Quality Chain-of-Thought Emergence in Audio Language Models [33.669071786618495]
既存の音声推論の手法は、教師付きチェーン・オブ・ファインチューニングや強化学習に依存している。本稿では,2つの中核的アイデアに基づくフレームワークであるAudio-DeepThinkerを提案する。ステージ1は基本的音響QAを訓練し、基本的推論パターンを育成し、ステージ2は音響的に挑戦的な境界ケースにシフトする。 Audio-DeepThinkerはMMAR(74.0%)、MMAU-test-mini(78.5%)、MMSU(77.26%)の最先端結果を達成する
論文参考訳（メタデータ） (2026-04-20T12:43:00Z)
Beyond Transcription: Unified Audio Schema for Perception-Aware AudioLLMs [53.41256816230278]
最近のオーディオ大言語モデル(AudioLLMs)は、顕著な性能逆転を示す。複雑な推論タスクには優れるが、音の微妙な知覚では一貫して性能が劣る。音声情報を3つの明示的な構成要素に整理する総合的かつ構造化された監視フレームワークであるUnified Audio (UAS)を提案する。
論文参考訳（メタデータ） (2026-04-14T09:30:12Z)
Balancing Faithfulness and Performance in Reasoning via Multi-Listener Soft Execution [79.98699884805636]
Reasoning Execution by Multiple Listeners (REMUL) は多人数の強化学習手法である。 REMULは、推論が他の当事者に従えるかがより忠実になるという仮説に基づいている。スピーカーは、リスナーにとって明らかな推論を生み出すことで報われます。
論文参考訳（メタデータ） (2026-02-18T02:55:55Z)
Step-Audio-R1 Technical Report [70.37077572409319]
本稿では,音声領域における推論能力の解放に成功した最初の音声推論モデルであるStep-Audio-R1を紹介する。私たちのモデルは、Gemini 2.5 Proを抜いて、最先端のGemini 3 Proに匹敵するパフォーマンスを実現した、強力なオーディオ推論能力を示しています。
論文参考訳（メタデータ） (2025-11-19T20:12:50Z)
AURA: A Fine-Grained Benchmark and Decomposed Metric for Audio-Visual Reasoning [3.949628618389608]
AURAは、Audio-Visual Large Language Models (AV-LLMs) とOmni-Modal Language Models (OLMs) のクロスモーダル推論能力を評価するためのベンチマークである。 AURAには、因果性、音色とピッチ、テンポとAV同期、未解決性、暗黙の気遣い、スキルプロファイリングといった6つの困難な認知領域に関する質問が含まれている。本稿では,理性評価のための頑健なツールの欠如に対処する新しい計量AuraScoreを提案する。
論文参考訳（メタデータ） (2025-08-10T20:06:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。