論文の概要: Offline Policy Evaluation for Manipulation Policies via Discounted Liveness Formulation

• arxiv url: http://arxiv.org/abs/2605.11479v1
• Date: Tue, 12 May 2026 03:54:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.55683
• Title: Offline Policy Evaluation for Manipulation Policies via Discounted Liveness Formulation
• Title（参考訳）: 分散型肝臓定式化によるマニピュレーション政策のオフライン政策評価
• Authors: Hao Wang, Joshua Bowden, Colton Crosby, Somil Bansal,
• Abstract要約: 政策評価は、ロボット政策のための開発およびデプロイメントパイプラインの基本的な構成要素である。 現代の操作システムでは、報酬がスパースであることが多いため、この問題は特に困難である。 本稿では,ライブネスに基づくBellman演算子に基づくスパース報酬からオフラインポリシー評価を行うフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 8.147063021125538
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Policy evaluation is a fundamental component of the development and deployment pipeline for robotic policies. In modern manipulation systems, this problem is particularly challenging: rewards are often sparse, task progression of evaluation rollouts are often non-monotonic as the policies exhibit recovery behaviors, and evaluation rollouts are necessarily of finite length. This finite length introduces truncation bias, breaking the infinite-horizon assumptions underlying standard methods relying on Bellman equations/principle of optimality. In this work, we propose a framework for offline policy evaluation from sparse rewards based on a liveness-based Bellman operator. Our formulation interprets policy evaluation as a task-completion problem and yields a conservative fixed-point value function that is robust to finite-horizon truncation. We analyze the theoretical properties of the proposed operator, including contraction guarantees, and show how it encodes task progression while mitigating truncation bias. We evaluate our method on two simulated manipulation tasks using both a Vision-Language-Action model and a diffusion policy, and a cloth folding task using human demonstrations. Empirical results demonstrate that our approach more accurately reflects task progress and substantially reduces truncation bias, outperforming classical baselines such as TD(0) and Monte Carlo policy evaluation.
• Abstract（参考訳）: 政策評価は、ロボット政策のための開発およびデプロイメントパイプラインの基本的な構成要素である。 現代の操作システムでは、報酬は希薄であり、評価ロールアウトのタスク進行は、ポリシーが回復挙動を示すため、しばしば単調であり、評価ロールアウトは、必ずしも有限長である。 この有限長はトランケーションバイアスを導入し、ベルマン方程式/最適性の原理に依存する標準法に基づく無限水平仮定を破る。 本研究では,実生活に基づくBellman演算子に基づくスパース報酬からオフラインポリシー評価を行うフレームワークを提案する。 我々の定式化は、政策評価をタスク補完問題として解釈し、有限水平トランケーションに頑健な保守的不動点値関数を生成する。 提案手法は,契約保証を含む演算子の理論的特性を解析し,トランケーションバイアスを緩和しながらタスク進行を符号化する方法を示す。 本研究では,視覚・言語・行動モデルと拡散ポリシーと,人間の実演による布の折り畳み作業の両方を用いて,2つの模擬操作タスクについて評価を行った。 実験の結果,提案手法はタスクの進行をより正確に反映し,トランケーションバイアスを著しく低減し,TD(0)やモンテカルロの政策評価などの古典的ベースラインを上回った。

関連論文リスト

• Decoupled Q-Chunking [63.864222078287575]
  チャンクされた批評家は、個々のアクションではなく、短いアクションシーケンス("チャンク")の価値を見積もって、価値のバックアップをスピードアップします。 私たちの重要な洞察は、批判者のチャンクの長さをポリシーのチャンクの長さから切り離すことで、ポリシーがより短いアクションチャンクを乗り越えることを可能にすることです。 この設計は、オープンループのサブ最適化と長いアクションチャンクに対するアクションチャンクポリシーの学習の難しさを両立させながら、マルチステップ値伝搬の利点を保っている。
  論文  参考訳（メタデータ） (2025-12-11T18:52:51Z)
• Generalizing Behavior via Inverse Reinforcement Learning with Closed-Form Reward Centroids [37.79354987519793]
  本研究では,実証を通じて提供される専門家の行動を,新たな環境や追加制約に一般化する問題について検討する。 本稿では,ある有界部分集合における報酬によって引き起こされる「平均」ポリシーを選択する,新しい原理的基準を提案する。
  論文  参考訳（メタデータ） (2025-09-15T14:53:54Z)
• Off-Policy Evaluation with Policy-Dependent Optimization Response [90.28758112893054]
  我々は,テキスト政治に依存した線形最適化応答を用いた非政治評価のための新しいフレームワークを開発した。 摂動法による政策依存推定のための非バイアス推定器を構築する。 因果介入を最適化するための一般的なアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2022-02-25T20:25:37Z)
• Provable Benefits of Actor-Critic Methods for Offline Reinforcement Learning [85.50033812217254]
  アクター批判法はオフラインの強化学習に広く用いられているが、理論的にはそれほどよく理解されていない。 ペシミズムの原理を自然に取り入れた新しいオフラインアクター批判アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-08-19T17:27:29Z)
• Doubly Robust Off-Policy Value and Gradient Estimation for Deterministic Policies [80.42316902296832]
  本研究では,行動継続時の非政治データから決定論的政策の政策値と勾配を推定する。 この設定では、密度比が存在しないため、標準重要度サンプリングとポリシー値と勾配の2倍の頑健な推定が失敗する。 異なるカーネル化アプローチに基づく2つの新しい頑健な推定器を提案する。
  論文  参考訳（メタデータ） (2020-06-06T15:52:05Z)
• Efficient Evaluation of Natural Stochastic Policies in Offline Reinforcement Learning [80.42316902296832]
  行動政策から逸脱した観点から定義される自然政策の効果的な非政治的評価について検討する。 これは、ほとんどの著作が明示された政策の評価を考慮に入れている、政治外の評価に関する文献から逸脱している。
  論文  参考訳（メタデータ） (2020-06-06T15:08:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。