論文の概要: RL with Learnable Textual Feedback: A Bilevel Approach

• arxiv url: http://arxiv.org/abs/2605.24547v1
• Date: Sat, 23 May 2026 12:28:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:18.229062
• Title: RL with Learnable Textual Feedback: A Bilevel Approach
• Title（参考訳）: 学習可能なテキストフィードバックを用いたRL:双方向アプローチ
• Authors: Utsav Singh, Sidhaarth Sredharan, Souradip Chakraborty, Amrit Singh Bedi,
• Abstract要約: We formalize a Stackelberg bilevel program and derive bilevel Natural Language Actor-Critic (Bi-NAC) Bi-NACは批評家と共同で報酬改善のためのフィードバックと、それを利用するアクターを訓練する。 MATH-500、MBPP、GPQA全体で、Bi-NACはRLおよび固定臨界基底線のサンプルおよびパラメータ効率を改善している。
• 参考スコア（独自算出の注目度）: 21.859437980060463
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning with verifiable rewards can improve LLM reasoning, but learning remains sample-inefficient when terminal rewards are sparse. This has motivated a growing line of work on RL with textual feedback, where a critic model generates natural language feedback to guide a reasoning model (the actor), augmenting scalar rewards with richer learning signals. However, existing methods typically treat feedback as fixed or auxiliary, which misses a key property: feedback should not merely be correct, but should improve the policy (actor model) when provided in context. This motivates a paradigm of learnable textual feedback for RL. Yet the learnability and usefulness of feedback depend on the policy's ability to learn from it, making RL with learnable feedback an inherently bilevel problem. We formalize this coupling as a Stackelberg bilevel program and derive Bilevel Natural Language Actor-Critic (Bi-NAC), which jointly trains a critic to generate reward-improving feedback and an actor to exploit it. Across MATH-500, MBPP, and GPQA, Bi-NAC improves sample and parameter efficiency over RL and fixed-critic baselines: our 2B model outperforms the 3B GRPO baseline, achieving 46.6% versus 41.4% on MATH-500, while our 6B model surpasses the 7B GRPO baseline, achieving 49.3% versus 43.6% on GPQA.
• Abstract（参考訳）: 検証可能な報酬による強化学習は、LCM推論を改善することができるが、終末報酬が不足している場合、学習はサンプル非効率のままである。 批判モデルは、推論モデル(アクター)を導くために自然言語フィードバックを生成し、より豊かな学習信号でスカラー報酬を増大させる。 しかし、既存のメソッドは通常、フィードバックを固定または補助的なものとして扱うが、これは重要な特性を欠いている: フィードバックは単に正しいだけでなく、コンテキストで提供されるポリシー(アクターモデル)を改善するべきである。 これはRLの学習可能なテキストフィードバックのパラダイムを動機付けている。 しかし、フィードバックの学習可能性と有用性は、それから学ぶ政策の能力に依存するため、学習可能なフィードバックを持つRLは本質的に2段階の問題である。 我々は、この結合をスタックベルベルクの双レベルプログラムとして形式化し、双レベル自然言語アクター批判(Bi-NAC)を導出する。 MATH-500, MBPP, GPQA全体で, Bi-NAC は RL と固定クリニックベースラインよりもサンプリング効率とパラメータ効率が向上し, GPQA では 49.3% と 43.6% を上回り, MATH-500 では 46.6% と 41.4% を上回り, GPQA では 6B が 7B GRPO ベースラインを上回り, 49.3% と 43.6% を上回りました。

関連論文リスト

• Critique-GRPO: Advancing LLM Reasoning with Natural Language and Numerical Feedback [59.078756231841574]
  Critique-GRPOは、自然言語と数値フィードバックを統合して効果的なポリシー最適化を行うオンラインRLフレームワークである。 批判-GRPOは、教師付き学習とRLに基づく微調整法を8つの難解な数学、STEM、一般的な推論タスクで一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2025-06-03T17:39:02Z)
• Exploring the Limit of Outcome Reward for Learning Mathematical Reasoning [65.2421542320293]
  推論能力は汎用知能の重要な構成要素である。 OpenAIのoシリーズモデルなどのプロプライエタリ企業による最近の進歩は、推論タスクに顕著な進歩をもたらした。 本稿では、数学的推論タスクのための textbfOutcome textbfREwtextbfArd ベースの強化 textbfLearning により達成できる性能限界を追求する新しい RL フレームワーク OREAL を提案する。
  論文  参考訳（メタデータ） (2025-02-10T18:57:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。