論文の概要: Learning from Relative Action Credit for Escaping Local Minima

• arxiv url: http://arxiv.org/abs/2610.38034v1
• Date: Tue, 27 Oct 2026 22:38:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.341874
• Title: Learning from Relative Action Credit for Escaping Local Minima
• Title（参考訳）: 局所性ミニマから逃れるための相対的行動クレジットからの学習
• Abstract要約: 強化学習は、事前訓練や実証データなしで、相互作用だけで操作スキルを学ぶロボットの約束を守ります。 実際には、PPOのような政治手法は、長期にわたるコンタクトリッチなタスクでは日常的に停止する。 我々は、PPOを動作条件付き値批評家に拡張し、実行された動作と同時にサンプリングされた代替手段を比較し、学習信号を支援する。
• 参考スコア（独自算出の注目度）: 3.898986379270827
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning holds the promise of robots that learn manipulation skills from interaction alone, without pretrained priors or demonstration data. In practice, on-policy methods such as PPO routinely stall on long-horizon, contact-rich tasks: dense reward shaping carries the policy through stages, yet stitching them together and discovering sparsely rewarded events rarely succeeds. We trace this failure to the missing action discrimination in state-value credit assignment: a state-value critic judges progress only by episode outcomes, so when the policy converges to a partial solution all outcomes coincide, and improvement stops because no action can prove better than another. We therefore extend PPO with an action conditioned value critic which, can compare the executed action with alternatives sampled at the same state and aid the learning signal. Combined with Generalized Advantage Estimation and a bound on exploration noise, we show how the extended algorithm escapes the plateau and completes precise peg insertion within a training budget where PPO with identical exploration fails.
• Abstract（参考訳）: 強化学習は、事前訓練や実証データなしで、相互作用だけで操作スキルを学ぶロボットの約束を守ります。 実際には、PPOのような政治上の手法は、しばしば長期にわたる、接触に富んだタスクで停滞する:密集した報酬形成は、段階的にポリシーを伝達するが、それらを縫い合わせ、わずかに報酬の少ない出来事を発見することはめったに成功しない。 国家価値の批判者は、エピソード結果のみによって進行を判断するので、政策が部分的な解決策に収束すると、すべての結果が一致し、アクションが他のものより優れていることを証明できないため、改善は停止する。 したがって、PPOを動作条件付き値批判で拡張し、実行された動作と同時にサンプリングされた代替手段を比較し、学習信号を支援することができる。 一般化アドバンテージ推定と探索ノイズのバウンドを組み合わせることで,拡張アルゴリズムが高原を脱出し,同一探索を伴うPPOが失敗するトレーニング予算内で正確なペグ挿入を完了したことを示す。

関連論文リスト

• Learning from Mixed-Quality Deployment Experience for Robot Manipulation [38.40191079621045]
  本研究では,ロボットポリシーの混合品質体験を活用するための予測行動チャンク学習を提案する。 PACLは、時間的に拡張されたアクションシーケンスを評価し、将来の潜伏予測で時間差学習を強化するチャンクレベルの批判を学習する。 実験の結果,PACLはトレーニング済みのポリシーを一貫して改善し,強力な模倣学習やオフライン強化学習のベースラインを上回っていることがわかった。
  論文  参考訳（メタデータ） (2026-09-24T04:08:59Z)
• Reconciling Process Supervision with Outcome-Based Credit in Agentic Policy Optimization [13.354353071601379]
  我々は、特権付き監督を成果ベースアクションクレジットに変換するTASPOを紹介する。 3つのエージェントベンチマークで、TASPOはGRPOよりも10.6%改善し、目に見えないタスクを一般化する。
  論文  参考訳（メタデータ） (2026-08-31T16:51:50Z)
• Learning Process Rewards via Success Visitation Matching for Efficient RL [54.67547527674048]
  本稿では,スパース結果報酬を高密度プロセス報酬に変換するための簡単な手法を提案する。 我々のアプローチは、以前の成功と失敗のエピソードを区別するために差別者を訓練することに依存しています。 この報酬は、タスクの成功に対応するものだけでなく、すべての州への訪問に対応するポリシーをインセンティブにすることで、タスク完了に向けた進捗が進められているかどうかについての深いフィードバックを提供する。
  論文  参考訳（メタデータ） (2026-06-22T17:30:24Z)
• LAFP: Preserving Latent Action Structure in Latent Policy Learning via Flow Matching [15.922360971421654]
  スケーラブルな潜在ポリシー学習のための潜在アクションフローポリシー(LAFP)を提案する。 LAFPは、下流の模倣学習タスクにおいて、従来手法よりも一貫して優れている。 LAFPは1倍のオーバヘッドを発生させる。
  論文  参考訳（メタデータ） (2026-06-09T07:49:49Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• Trajectory-Aware Eligibility Traces for Off-Policy Reinforcement Learning [44.50394347326546]
  多段階リターンからのオフ政治学習は、サンプル効率の強化学習に不可欠である。 オフ政治バイアスは、決定ごとに修正されるが、トレースが完全にカットされると、その効果は逆転できない。 本稿では,多段階演算子を提案する。
  論文  参考訳（メタデータ） (2023-01-26T18:57:41Z)
• A State-Distribution Matching Approach to Non-Episodic Reinforcement Learning [61.406020873047794]
  現実世界の応用への大きなハードルは、エピソード的な環境でのアルゴリズムの開発である。 提案手法は,提案する実証実験における状態分布に一致するように後方方針を訓練する手法である。 実験の結果,MEDALは3つのスパース・リワード連続制御タスクにおいて先行手法と一致し,性能が向上することがわかった。
  論文  参考訳（メタデータ） (2022-05-11T00:06:29Z)
• Off-policy Reinforcement Learning with Optimistic Exploration and Distribution Correction [73.77593805292194]
  我々は、政治以外のアクター批判的枠組みにおいて、批評家のほぼ上位信頼度を最大化するために、別の調査政策を訓練する。 最近導入されたDICEフレームワークを応用して、非政治アクター犯罪訓練のための分布補正比を学習する。
  論文  参考訳（メタデータ） (2021-10-22T22:07:51Z)
• Off-policy Evaluation in Infinite-Horizon Reinforcement Learning with Latent Confounders [62.54431888432302]
  無限水平エルゴードマルコフ決定過程におけるOPE問題について考察する。 我々は、状態と行動の潜在変数モデルのみを考慮すれば、政策値が政治外のデータから特定できることを示す。
  論文  参考訳（メタデータ） (2020-07-27T22:19:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。