論文の概要: RL with Learnable Textual Feedback: A Bilevel Approach

• arxiv url: http://arxiv.org/abs/2605.24547v1
• Date: Sat, 23 May 2026 12:28:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:18.229062
• Title: RL with Learnable Textual Feedback: A Bilevel Approach
• Title（参考訳）: 学習可能なテキストフィードバックを用いたRL:双方向アプローチ
• Abstract要約: We formalize a Stackelberg bilevel program and derive bilevel Natural Language Actor-Critic (Bi-NAC) Bi-NACは批評家と共同で報酬改善のためのフィードバックと、それを利用するアクターを訓練する。 MATH-500、MBPP、GPQA全体で、Bi-NACはRLおよび固定臨界基底線のサンプルおよびパラメータ効率を改善している。
• 参考スコア（独自算出の注目度）: 21.859437980060463
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning with verifiable rewards can improve LLM reasoning, but learning remains sample-inefficient when terminal rewards are sparse. This has motivated a growing line of work on RL with textual feedback, where a critic model generates natural language feedback to guide a reasoning model (the actor), augmenting scalar rewards with richer learning signals. However, existing methods typically treat feedback as fixed or auxiliary, which misses a key property: feedback should not merely be correct, but should improve the policy (actor model) when provided in context. This motivates a paradigm of learnable textual feedback for RL. Yet the learnability and usefulness of feedback depend on the policy's ability to learn from it, making RL with learnable feedback an inherently bilevel problem. We formalize this coupling as a Stackelberg bilevel program and derive Bilevel Natural Language Actor-Critic (Bi-NAC), which jointly trains a critic to generate reward-improving feedback and an actor to exploit it. Across MATH-500, MBPP, and GPQA, Bi-NAC improves sample and parameter efficiency over RL and fixed-critic baselines: our 2B model outperforms the 3B GRPO baseline, achieving 46.6% versus 41.4% on MATH-500, while our 6B model surpasses the 7B GRPO baseline, achieving 49.3% versus 43.6% on GPQA.
• Abstract（参考訳）: 検証可能な報酬による強化学習は、LCM推論を改善することができるが、終末報酬が不足している場合、学習はサンプル非効率のままである。 批判モデルは、推論モデル(アクター)を導くために自然言語フィードバックを生成し、より豊かな学習信号でスカラー報酬を増大させる。 しかし、既存のメソッドは通常、フィードバックを固定または補助的なものとして扱うが、これは重要な特性を欠いている: フィードバックは単に正しいだけでなく、コンテキストで提供されるポリシー(アクターモデル)を改善するべきである。 これはRLの学習可能なテキストフィードバックのパラダイムを動機付けている。 しかし、フィードバックの学習可能性と有用性は、それから学ぶ政策の能力に依存するため、学習可能なフィードバックを持つRLは本質的に2段階の問題である。 我々は、この結合をスタックベルベルクの双レベルプログラムとして形式化し、双レベル自然言語アクター批判(Bi-NAC)を導出する。 MATH-500, MBPP, GPQA全体で, Bi-NAC は RL と固定クリニックベースラインよりもサンプリング効率とパラメータ効率が向上し, GPQA では 49.3% と 43.6% を上回り, MATH-500 では 46.6% と 41.4% を上回り, GPQA では 6B が 7B GRPO ベースラインを上回り, 49.3% と 43.6% を上回りました。

関連論文リスト

• Sampling via Decision-Flow: Training-Free Extraction of Improved Latent Reasoning Paths in Large Language Models [1.8231916504534451]
  決定フローサンプリング(DF-Sample)は、トレーニングフリーでデータフリーな推論時間フレームワークである。 DF-Sampleは3つのモデルと4つのベンチマークで一貫してベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-09-11T00:48:45Z)
• Multi-Turn Reinforcement Learning for Tool-Calling Agents with Iterative Reward Calibration [0.0]
  マルチターンタスクにおける強化学習を伴う訓練ツール呼び出しエージェントは依然として困難である。 本稿では,MT-GRPO と GTPO を用いて,現実的なカスタマーサービスタスクにおけるツールコールエージェントのトレーニングを行う。
  論文  参考訳（メタデータ） (2026-04-03T08:36:03Z)
• Expanding the Capabilities of Reinforcement Learning via Text Feedback [49.561885700139676]
  テキストフィードバックをトレーニング中に利用できるが、推論では利用できないマルチターンRLセットアップであるテキストフィードバック(RLTF)を形式化する。 そこで本研究では, 自己蒸留法(RLTF-SD)と, フィードバック条件付き第2ターン世代に適合するように単一ターンポリシーを訓練するフィードバックモデリング法(RLTF-FM)の2つの手法を提案する。 以上の結果から,両手法はベンチマークにおいて強いベースラインを一貫して上回っていることが明らかとなった。
  論文  参考訳（メタデータ） (2026-02-02T18:56:56Z)
• Critique-RL: Training Language Models for Critiquing through Two-Stage Reinforcement Learning [89.60378227969643]
  より強力な監督を伴わないクオリティク言語モデルを開発するためのオンラインRLアプローチであるCrytique-RLを提案する。 提案手法は,アクターが応答を生成し,批評家がフィードバックを提供し,アクターがそれに応じて応答を洗練する,という2段階のパラダイムに基づいている。 さまざまなタスクやモデルに対する実験では、Cristique-RLが大幅なパフォーマンス改善を実現している。
  論文  参考訳（メタデータ） (2025-10-28T11:37:01Z)
• LANPO: Bootstrapping Language and Numerical Feedback for Reinforcement Learning in LLMs [73.27182315028021]
  LANPOは、フィードバックの役割をきれいに分離するフレームワークである。 我々の研究は、歴史体験をLLM RLループに統合する堅牢な方法を提供し、より効果的でデータ効率のよい学習エージェントを作成します。
  論文  参考訳（メタデータ） (2025-10-18T15:51:19Z)
• Critique-GRPO: Advancing LLM Reasoning with Natural Language and Numerical Feedback [59.078756231841574]
  Critique-GRPOは、自然言語と数値フィードバックを統合して効果的なポリシー最適化を行うオンラインRLフレームワークである。 批判-GRPOは、教師付き学習とRLに基づく微調整法を8つの難解な数学、STEM、一般的な推論タスクで一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2025-06-03T17:39:02Z)
• Exploring the Limit of Outcome Reward for Learning Mathematical Reasoning [65.2421542320293]
  推論能力は汎用知能の重要な構成要素である。 OpenAIのoシリーズモデルなどのプロプライエタリ企業による最近の進歩は、推論タスクに顕著な進歩をもたらした。 本稿では、数学的推論タスクのための textbfOutcome textbfREwtextbfArd ベースの強化 textbfLearning により達成できる性能限界を追求する新しい RL フレームワーク OREAL を提案する。
  論文  参考訳（メタデータ） (2025-02-10T18:57:29Z)
• A Critical Evaluation of AI Feedback for Aligning Large Language Models [60.42291111149438]
  教師が既存のRLAIFパイプラインより優れていることを示す。 より一般的には、RLAIFの利得は、ベースモデルファミリ、テスト時間評価プロトコル、批判モデルによって大きく異なることが分かる。
  論文  参考訳（メタデータ） (2024-02-19T18:53:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。