論文の概要: PEARL: Process-Experience Aware Reinforcement Learning for Multi-Turn Agents

• arxiv url: http://arxiv.org/abs/2610.14636v1
• Date: Sat, 10 Oct 2026 06:35:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.084854
• Title: PEARL: Process-Experience Aware Reinforcement Learning for Multi-Turn Agents
• Title（参考訳）: PEARL:マルチスレッドエージェントのためのプロセス体験型強化学習
• Abstract要約: 我々はPEARL(Process Aware Reinforcement Learning)を導入し、追加の批判なしに地域クレジットの割り当てを改善する。 これらの決定機能は、最近の失敗と成功の記憶にまとめて、繰り返し発生するローカルパターンを特定する。 AppWorldでは、PEARLは通常のタスクとチャレンジタスクのARPOよりも4Bと8Bのスケールで改善されている。
• 参考スコア（独自算出の注目度）: 13.57261467424948
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Terminal rewards make multi-turn agents trainable without step-level annotations, but group-relative advantages provide little guidance about which intermediate decisions to adjust. Failed trajectories also contain reasonable actions, while unfavorable decision patterns can recur as training proceeds. We introduce PEARL (Process-Experience Aware Reinforcement Learning), which improves local credit assignment without an additional critic. Given two continuations from the same history with different outcomes, PEARL locates their first divergence and builds a feature representation of each branch's local decision. It clusters these decision features in recent failure and success memories to identify recurring local patterns. Using this pattern memory, PEARL selectively strengthens negative advantages at lower-reward decisions, while leaving positive advantages and the base policy optimizer unchanged. On AppWorld, PEARL improves over ARPO on Normal and Challenge tasks at both 4B and 8B scales. On ALFWorld, it achieves 97.9% mean success at 4B, 2.7 points above the strongest baseline, while remaining competitive at 8B. Ablations of shaping location, success-bank filtering, and memory window support the value of selective, recurring-pattern-based updates.
• Abstract（参考訳）: ターミナル報酬は、ステップレベルのアノテーションなしでマルチターンエージェントをトレーニング可能にするが、グループ相対的なアドバンテージは、どの中間決定を調整するかについてのガイダンスをほとんど提供しない。 失敗する軌跡には合理的な行動も含まれるが、トレーニングが進むにつれて、好ましくない決定パターンが再帰することがある。 我々はPEARL(Process-Experience Aware Reinforcement Learning)を導入し、追加の批判なしに、ローカルクレジットの割り当てを改善する。 異なる結果で同じ歴史から2つの連続が与えられると、PEARLは最初の分岐を見つけ、各ブランチの局所的な決定の特徴表現を構築する。 これらの決定機能は、最近の失敗と成功の記憶にまとめて、繰り返し発生するローカルパターンを特定する。 このパターンメモリを使用することで、PEARLは低逆決定における負の利点を選択的に強化する一方で、正の利点と基本方針の最適化は変わらない。 AppWorldでは、PEARLは通常のタスクとチャレンジタスクのARPOよりも4Bと8Bのスケールで改善されている。 ALFWorldでは4Bで97.9%、最強のベースラインを2.7ポイント上回り、8Bで競争力を維持している。 シェーピング位置、成功銀行フィルタリング、メモリウィンドウの異常は、選択された繰り返しパターンベースの更新の価値をサポートする。

関連論文リスト

• Process Reward Informed Tree Rollout for Effective Multi-Turn RL [58.392997761968566]
  長期のエージェントタスクでは、均一なロールアウト戦略は、非形式的なデッドエンドの試みに予算を無駄にする可能性がある。 本稿では,マルチターンエージェントRLの品質を意識したロールアウトフレームワークであるProcess-Scorer Guided Adaptive Tree Rollout (PATR)を提案する。 PATRはタスクに適したプロセスフィードバックを使用して部分的軌跡をスコアし、将来性のある状態から選択的に分岐し、共有プレフィックスを再利用し、無駄なサンプリングを減らすために経路を保守的に停止する。
  論文  参考訳（メタデータ） (2026-07-17T04:16:58Z)
• ARBOR: Online Process Rewards via a Reusable Rubric Buffer for Search Agents [48.80766702702854]
  LLMベースの検索エージェントは、主に結果のみの報酬で訓練され、検索プロセス自体は監督されていない。 この信号は、全てのサンプル軌跡が同じ正当性を共有する結果同質な群に対して退化し、群内の優位性はゼロとなり、勾配は得られない。 ARBOR(Adaptive Buffer for Online Reward)は,クエリ間で共有されるルーリックメモリを維持する再利用可能なプロセス・リワードフレームワークである。
  論文  参考訳（メタデータ） (2026-06-02T06:58:54Z)
• StepOPSD: Step-Aware Online Preference Distillation for Agent Reinforcement Learning [6.365332042924078]
  本稿では,ロールアウト後の自己蒸留フレームワークであるStepOPSDについて紹介する。 StepOPSDは、軌跡をアクション中心のステップセグメントに分解し、後見豊かな教師コンテキスト下でそれらを再構成する。 より小さい_clipは広範囲に安定化された局所信頼領域として作用するが、最適な大域混合強度_mixはタスク依存のままである。
  論文  参考訳（メタデータ） (2026-05-26T15:07:03Z)
• What and When to Distill: Selective Hindsight Distillation for Multi-Turn Agents [70.6980022118038]
  強化学習は、緩やかなタスク報酬からLLMエージェントを訓練することができるが、長期的なクレジット割り当ては依然として困難である。 既存の方法は、ステップごとの環境フィードバックを完全に活用することなく、軌道レベルの報酬やプロキシ信号に依存している。 環境重み付け学習フレームワークであるSERLを紹介する。
  論文  参考訳（メタデータ） (2026-05-19T07:00:55Z)
• It Takes 8 Tokens: Weak-to-Strong Off-Policy RL via Auxiliary Branches [8.39540138414135]
  検証可能な報酬を伴う強化学習は、大規模言語モデルにおける推論を強化するための標準的なアプローチとして現れている。 本稿では、この制限を、より弱いが計算効率のよい補助モデルによって、ポリシーの探索が通知される、弱いから強い学習パラダイムによって克服することを提案する。 W2SPOは、短い補助セグメントを8個のトークンで中間ターゲットモデル軌道に注入し、ターゲットモデルがこれらの分岐状態から推論パスを完了させる、オフポリシーRL法である。
  論文  参考訳（メタデータ） (2026-05-07T13:16:09Z)
• TIPS: Turn-Level Information-Potential Reward Shaping for Search-Augmented LLMs [29.64044161352673]
  TIPS(Turn-Level Information Potential Reward Shaping)を紹介する。 TIPSは、教師モデルの下で正しい回答が増加する可能性に基づいて、各推論とツールコールセグメントに高密度でターンレベルの報酬を割り当てるフレームワークである。 TIPSはGRPO/PPOベースラインを一貫して上回り、トレーニング安定性を大幅に向上させる。
  論文  参考訳（メタデータ） (2026-03-11T17:45:14Z)
• Rewarding the Rare: Uniqueness-Aware RL for Creative Problem Solving in LLMs [126.45104018441698]
  強化学習(RL)は、大規模言語モデル(LLM)の訓練後の中心パラダイムとなっている。 この失敗は、解の集合の多様性よりもむしろ局所的なトークンの振る舞いを規則化することに起因すると我々は主張する。 我々は,まれなハイレベル戦略を示す正しいソリューションを明示的に報酬する,ロールアウトレベルの目標であるUniqueness-Aware Reinforcement Learningを提案する。
  論文  参考訳（メタデータ） (2026-01-13T17:48:43Z)
• Enhancing the Outcome Reward-based RL Training of MLLMs with Self-Consistency Sampling [90.87033586963828]
  マルチモーダル大言語モデル(MLLM)のステップ・バイ・ステップ推論を洗練させる手段としては,アウトカム・リワード強化学習(RL)が一般的であり,ますます重要になっている。 この問題を修正するために,自己整合サンプリング(SCS)を提案する。 Qwen2.5-VL-7B-インストラクトに基づいて、SCSは、無視できる余分な計算を伴う6つのマルチモーダルベンチマークにおいて、最大7.7ポイントの精度を向上する。
  論文  参考訳（メタデータ） (2025-11-13T18:59:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。