論文の概要: Using Experience Twice: Dynamic Process Rubrics for Privileged Token-Level Credit Assignment

• arxiv url: http://arxiv.org/abs/2611.06543v2
• Date: Thu, 05 Nov 2026 12:21:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.406888
• Title: Using Experience Twice: Dynamic Process Rubrics for Privileged Token-Level Credit Assignment
• Title（参考訳）: 経験2: プリヴィレグドトークンレベルクレジットアサインメントのための動的プロセスルーブリック
• Abstract要約: オンライン自己蒸留(ORSD)は、濃密なトークンレベルの監視にルーブリックを使用する。 ORSDはQwen3-1.7BとQwen3-4Bの両方の最終タスク性能を同じ環境干渉予算で向上させる。
• 参考スコア（独自算出の注目度）: 15.022471468377217
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Agent trajectories often contain both successful decisions and failed attempts, yet optimization with sparse trajectory-level rewards struggles to identify which critical decisions should be reinforced or suppressed. We observe that meaningful distinctions among on-policy trajectories can be distilled into natural-language process rubrics and used as process supervision signals. Based on this insight, we propose Online Rubric Self-Distillation (ORSD), which leverages self-derived process rubrics for dense token-level supervision, thereby augmenting outcome-centric reinforcement learning. Specifically, the current policy independently generates multiple rubric bundles at each step according to the same group of trajectories, extracting candidate process rubrics from cross-trajectory behavioral differences. A frozen verifier then evaluates all rubric items against each trajectory in the group, and selects one candidate bundle based on bundle-level alignment between rubric satisfaction and task success. ORSD treats the selected rubric bundle as privileged information during training, then compares the log-likelihoods of the original tokens with and without the rubric. The resulting likelihood gap provides token-specific process credit, which is added to the original trajectory-level GRPO advantage through additive advantage shaping. ORSD thus bridges trajectory-level outcome supervision and fine-grained process supervision, enabling token-level credit assignment using process signals. Extensive experiments on ALFWorld and WebShop show that ORSD accelerates policy improvement and boosts final task performance for both Qwen3-1.7B and Qwen3-4B under the same environment-interaction budget. Our code is available at https://github.com/AnnaXChun/ORSD.
• Abstract（参考訳）: エージェント・トラジェクトリは、成功した決定と失敗した試みの両方を含むことが多いが、スパース・トラジェクトリレベルの報酬による最適化は、どの決定が強化または抑制されるべきかを特定するのに苦労する。 本研究は, オンライントラジェクトリ間の有意義な区別を自然言語のプロセスルーリックに蒸留し, プロセス監視信号として用いることを観察する。 この知見に基づいて、自己由来のプロセスルーブリックを高密度トークンレベルの監視に活用し、結果中心の強化学習を強化するオンラインルーブリック自己蒸留(ORSD)を提案する。 具体的には、現行のポリシーは、同一の軌道群に従って各ステップで複数のルーリック束を独立に生成し、軌跡間の挙動差から候補過程ルーリックを抽出する。 凍結検証器は、群の各軌跡に対してすべてのルーリックアイテムを評価し、ルーリック満足度とタスク成功の間のバンドルレベルアライメントに基づいて1つの候補バンドルを選択する。 ORSDは選択したルーブリックバンドルをトレーニング中に特権情報として扱い、元のトークンのログライクな部分とルーブリックなしで比較する。 結果として生じる可能性のギャップはトークン固有のプロセスクレジットを提供する。 これにより、ORSDはトラジェクトリレベルの結果監視ときめ細かいプロセス監視をブリッジし、プロセス信号を用いたトークンレベルのクレジット割り当てを可能にする。 ALFWorldとWebShopの大規模な実験により、ORSDはポリシーの改善を加速し、Qwen3-1.7BとQwen3-4Bの両方の最終的なタスク性能を同じ環境干渉予算下で向上させることが示された。 私たちのコードはhttps://github.com/AnnaXChun/ORSDで公開されています。

関連論文リスト

• DeltaTTG: Training Multi-Turn Agents with a Token-to-Go Progress Meter [39.94868478094406]
  報酬を伴う強化学習は、個々のステップについてはほとんど語らない疎い端末報酬に依存します。 デルタTTGを導入し、共有進捗計を用いて再利用可能な進捗信号を学習する。 アクタートレーニング中、フリーズメータの見積もりの変化は、報酬を変更することなく、ステップ間で結果に起因したアドバンテージを推定する。
  論文  参考訳（メタデータ） (2026-10-13T03:49:32Z)
• SPO++: Stream-Aligned Policy Optimization for Asynchronous Agentic RL [6.238212335422264]
  グループ相対強化学習は、同じプロンプトの兄弟ロールアウトを待つ。 トラジェクトリセンタリングは一般的に,アクターが消費するトークン重み付け量を中心にしないことを示す。 また、学習者の受取命令ではなく、それを生成する政策イベントによって、プロンプトエビデンスを整理する。
  論文  参考訳（メタデータ） (2026-08-25T17:52:19Z)
• Contrastive Branch Policy Optimization [16.16893757028268]
  検証可能な報酬(RLVR)による強化学習は、言語モデルが外部ツールとのマルチターンインタラクションを学習することを可能にする。 既存の方法は、固定されたロールアウト予算を割り当て、分岐結果をトークンレベルのクレジットに変換する、という2つの異なる問題を分割する傾向があります。 本稿では,この2つの問題を解消し,それぞれに専用のメカニズムを割り当てる,コントラスト分岐政策最適化(CBPO)を紹介する。
  論文  参考訳（メタデータ） (2026-08-25T09:25:55Z)
• Shared Prefixes, Better Credit: Adaptive Routing for Multi-Agent Reasoning [72.49938949082117]
  MAR(Multi-agent reasoning)は、反復的な解交換と改良を通じて推論の信頼性を向上させる。 既存の適応MARメソッドは通常、クエリレベルのラベルやトラジェクトリレベルのリターンからルーティング決定を学習する。 効率的な適応MARのための共有操作型クレジット割り当てフレームワークであるTreeCreditを提案する。
  論文  参考訳（メタデータ） (2026-08-03T14:22:23Z)
• Hierarchical Residual Policy Optimization for Generative Recommendations [46.030303420508254]
  本稿では,アイテムレベルの結果を高密度なトークン整合学習信号に変換するポストトレーニングフレームワークを提案する。 大規模な商用システムにおける公開データセットとオンラインA/Bテストの実験は、セッションレベルのユーティリティと重要なビジネスメトリクスが一貫して向上していることを示している。
  論文  参考訳（メタデータ） (2026-08-01T16:33:15Z)
• Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
  我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。 その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
  論文  参考訳（メタデータ） (2026-06-17T17:54:04Z)
• Localizing Credit at the Divergence: Path-Conditioned Self-Distillation for LLM Reasoning [12.363923974156636]
  検証可能な報酬からの強化学習は、ロールアウト毎に1つのスカラーを割り当てる。 オンラインの自己蒸留は、特権情報に基づいて同じモデルを教師として振る舞うことでこの問題に対処する。 本研究では,教師がピアロールアウトに成功したことを条件に,HSD(Hindsight Self-Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-06-14T03:37:27Z)
• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• ARBOR: Online Process Rewards via a Reusable Rubric Buffer for Search Agents [48.80766702702854]
  LLMベースの検索エージェントは、主に結果のみの報酬で訓練され、検索プロセス自体は監督されていない。 この信号は、全てのサンプル軌跡が同じ正当性を共有する結果同質な群に対して退化し、群内の優位性はゼロとなり、勾配は得られない。 ARBOR(Adaptive Buffer for Online Reward)は,クエリ間で共有されるルーリックメモリを維持する再利用可能なプロセス・リワードフレームワークである。
  論文  参考訳（メタデータ） (2026-06-02T06:58:54Z)
• MatchTIR: Fine-Grained Supervision for Tool-Integrated Reasoning via Bipartite Matching [60.886768806064936]
  Tool-Integrated Reasoningは、外部ツールのインタラクションと推論ステップをインターリーブすることで、大規模な言語モデルで複雑なタスクに対処することを可能にする。 既存の強化学習法は、結果や軌道レベルの報酬に依存し、軌道内のすべてのステップに一様の利点を割り当てる。 両部間マッチングに基づくターンレベルの報酬割当と二重レベルの優位性推定によるきめ細かい監視を実現するフレームワークであるMatchTIRを提案する。
  論文  参考訳（メタデータ） (2026-01-15T18:59:23Z)
• TreePS-RAG: Tree-based Process Supervision for Reinforcement Learning in Agentic RAG [71.06073770344732]
  エージェント検索強化生成(RAG)は、推論と情報検索の多段階的な相互作用として質問応答を定式化する。 エージェントRAGのためのオンラインツリーベースRLフレームワークであるTreePS-RAGについて述べる。
  論文  参考訳（メタデータ） (2026-01-11T14:07:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。