論文の概要: LEAF: Growing Trees Without Branching for Speech-Aware Large Language Model Post-Training

• arxiv url: http://arxiv.org/abs/2606.07610v1
• Date: Fri, 29 May 2026 15:50:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 07:09:36.776901
• Title: LEAF: Growing Trees Without Branching for Speech-Aware Large Language Model Post-Training
• Title（参考訳）: LEAF: 音声認識後の大規模言語モデルのための分岐のない成長木
• Abstract要約: Low-rank Exploration with Adaptive Forking (LEAF)は、オンラインブランチや追加のデコードなしにこの構造を復元する、ふりかえりツリーベースのRLメソッドである。 LEAFは、完全なレスポンスをサンプリングし、高次境界を選択し、共有プレフィックスによる応答をグループ化し、子孫報酬を使用して、スパンレベルのアドバンテージを割り当てる。 LEAFは、同じロールアウトおよび低ランク適応予算の下で、音声質問応答と音声翻訳ベンチマークのGRPOよりも改善されている。
• 参考スコア（独自算出の注目度）: 39.027499185272355
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: State-of-the-art GRPO-style methods for speech-aware large language model post-training suffer from coarse credit assignment, broadcasting the same terminal-reward advantage to every token in a response. This ignores useful structure within rollout batches, where speech-conditioned completions often share prefixes before diverging at important decisions. We propose Low-rank Exploration with Adaptive Forking (LEAF), a retrospective tree-based RL method that recovers this structure without online branching or additional decoding. LEAF samples complete responses, selects high-surprisal boundaries, groups responses by shared prefixes, and assigns span-level advantages using descendant rewards. We theoretically justify LEAF's span-level credit assignment and boundary-selection design. Empirically, LEAF improves over GRPO across speech question answering and speech translation benchmarks under the same rollout and low-rank adaptation budget. Notably, smaller LEAF-trained models outperform current state-of-the-art, full-parameter baselines.
• Abstract（参考訳）: 音声認識後の大規模言語モデルのための最先端のGRPOスタイルの手法は、粗悪なクレジット割り当てに悩まされ、応答中の全てのトークンに対して同じ端末・リワードの利点をブロードキャストする。 これはロールアウトバッチ内の有用な構造を無視し、スピーチ条件付き完了はしばしば重要な決定を下す前にプレフィックスを共有する。 オンライン分岐や追加の復号なしにこの構造を復元する回帰木を用いたRL法であるLEAF(Low-rank Exploration with Adaptive Forking)を提案する。 LEAFは、完全なレスポンスをサンプリングし、高次境界を選択し、共有プレフィックスによる応答をグループ化し、子孫報酬を使用して、スパンレベルのアドバンテージを割り当てる。 理論的にはLEAFのスパンレベルクレジット割り当てとバウンダリ選択設計を正当化する。 LEAFは、同じロールアウトおよび低ランク適応予算の下で、音声質問応答と音声翻訳ベンチマークのGRPOよりも改善されている。 特に、LEAFで訓練された小型モデルは、現在の最先端のフルパラメータベースラインを上回っている。

関連論文リスト

• From Trajectories to Prefixes: Reusing Teacher Trajectories via Replayed Prefixes and Online Continuation [44.217915003266825]
  Prefix-GRPOは、小さな言語モデルのための強化学習フレームワークである。 教師の軌跡をリプレイアラインのプレフィックスクエリとオンライン継続に分解する。 プレフィックス学習と継続学習を同じポリシー最適化形式に統合する。
  論文  参考訳（メタデータ） (2026-07-03T05:07:22Z)
• ZEBRA: Zero-Shot Entropy-Regularized Prompt Learning for Base-to-Novel Generalization in Audio-Language Models [4.180844569001697]
  ZEBRAは、ゼロショットロジットとプロンプトラーニングロジットを融合するプラグイン・アンド・プレイフレームワークであり、ベースクラスへのオーバーフィットを減らすために自己エントロピー正規化を採用している。 ZEBRAは、高いベース精度を維持しながら、新しいクラスの性能を一貫して改善し、標準のプロンプト学習と比較して、ベースとノーベルのギャップを著しく低減する。
  論文  参考訳（メタデータ） (2026-06-30T12:40:45Z)
• PRESTO: Prefix-Aligned Tree Drafting for Diffusion Speculative Decoding [98.71600061506206]
  PRESTOは、木ベースのドラフトを拡散ドラフトラに拡張する、原則化されたフレームワークである。 PRESTOは、最先端の専用拡散プロダクタSD上で、平均1.5タイムのエンドツーエンドスループットのスピードアップを達成する。
  論文  参考訳（メタデータ） (2026-06-20T14:32:14Z)
• ASPIRin: Action Space Projection for Interactivity-Optimized Reinforcement Learning in Full-Duplex Speech Language Models [49.18708573170585]
  経験的な評価は、ASPIRinがターンテイキング、バックチャネル、一時停止処理をまたいで対話性を最適化していることを示している。 ASPIRin degrade turn to say when when when to fall when. ASPIRin degrade turn to say when when to say。
  論文  参考訳（メタデータ） (2026-04-11T07:07:08Z)
• Bootstrapping Exploration with Group-Level Natural Language Feedback in Reinforcement Learning [56.29188272643489]
  GOLFは,グループレベルの言語フィードバックを利用して探索を誘導するRLフレームワークである。 GOLFは、エラーを特定したり、目標とする修正を提案したりする外部批判を集約し、代替部分的なアイデアと多様な障害パターンを提供するグループ内の試みを行う。 検証可能なベンチマークと検証できないベンチマークの両方の実験は、GOLFが優れた性能と探索効率を達成することを示している。
  論文  参考訳（メタデータ） (2026-03-04T20:53:17Z)
• Think, Verbalize, then Speak: Bridging Complex Thoughts and Comprehensible Speech [41.625380059502675]
  Think-Verbalize-Speakは、音声配信から推論を分離するフレームワークである。 また、インクリメンタルおよび非同期の要約に基づく遅延効率の高い動詞化器ReVerTについても紹介する。 複数のベンチマークによる実験結果から,本手法は音声の自然さと簡潔さを推論に最小限の影響で向上させることが示された。
  論文  参考訳（メタデータ） (2025-09-19T14:34:22Z)
• RecBase: Generative Foundation Model Pretraining for Zero-Shot Recommendation [78.01030342481246]
  RecBaseは、レコメンデーション指向の目的によって事前訓練されたドメインに依存しない基礎モデルである。 アイテムを階層的な概念識別子にエンコードする統一されたアイテムトークンを導入します。 我々のモデルは、ゼロショットおよびクロスドメインレコメンデーションタスクにおいて、LLMのベースラインの最大7Bパラメータのパフォーマンスを一致または超過します。
  論文  参考訳（メタデータ） (2025-09-03T08:33:43Z)
• Effective Large Language Model Adaptation for Improved Grounding and Citation Generation [48.07830615309543]
  本稿では,検索した文の応答を基底にして,引用を提供することにより,大規模言語モデル(LLM)の改善に焦点を当てる。 我々は、全体論的観点から基盤を改善する新しいフレームワーク AGREE を提案する。 我々のフレームワークは, LLMを調整し, その要求を自己評価し, 検索した文書に正確な引用を提供する。
  論文  参考訳（メタデータ） (2023-11-16T03:22:25Z)
• LongFNT: Long-form Speech Recognition with Factorized Neural Transducer [64.75547712366784]
  文レベルの長文特徴を語彙予測器の出力と直接融合するLongFNT-Textアーキテクチャを提案する。 また,LongFNT法の有効性を,相対単語誤り率(WER)が19%,GigaSpeechコーパスが12%,LongFNT法が19%であった。
  論文  参考訳（メタデータ） (2022-11-17T08:48:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。