論文の概要: Generative Policy Improvement from Observational Data

• arxiv url: http://arxiv.org/abs/2610.23436v1
• Date: Fri, 16 Oct 2026 13:20:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.9374
• Title: Generative Policy Improvement from Observational Data
• Title（参考訳）: 観測データによる生成的政策改善
• Abstract要約: PolicyLiftは、観測データから構造化されたアクションで生成ポリシーを改善するためのフレームワークである。 本稿では,アクションコードに対するポリシーの改善が,元々のアクション空間における誘導ポリシーの改善を保証することを理論的に示す。
• 参考スコア（独自算出の注目度）: 58.95974626211867
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study how to improve decision policies from observational data to generate better actions when actions are complex, structured objects, such as text messages or images. This task is subject to two major challenges: (i) action-level overlap is often too weak for reliable off-policy evaluation and improvement, and (ii) generating new structured actions often requires expensive training or fine-tuning (e.g., of an LLM) and can be ill-defined due to information loss in action representations. To address both, we propose PolicyLift, a three-stage framework for generative policy improvement with structured actions from observational data. In Stage 1, PolicyLift learns a small set of discrete action codes that capture high-level strategies in the observed action space and are tailored to support policy improvement under limited overlap. In Stage 2, it learns a context-dependent policy over these action codes. At deployment time, Stage 3 "lifts" the learned code-level policy back to the original action space by generating actions from the historical behavior system in a code-conditioned way. We show theoretically that improving the policy over action codes guarantees improvement of the induced policy in the original action space. We demonstrate PolicyLift across experiments in synthetic and real-world text generation tasks with consistent policy improvements over the behavior policy.
• Abstract（参考訳）: 本研究では,行動が複雑で,テキストや画像などの構造化されたオブジェクトに対して,より優れた行動を生成するために,観測データから意思決定ポリシーを改善する方法について検討する。 この課題には2つの大きな課題がある。 (i)行動レベルの重複は、信頼性の高い非政治評価・改善には弱すぎる場合が多く、 (II)新しい構造化されたアクションを生成するには、高価なトレーニングや微調整(例えば、LLM)が必要であり、アクション表現の情報が失われることにより、誤った定義が可能である。 両課題に対処するため,観測データからの構造化行動を用いた3段階の政策改善フレームワークであるPhysicalLiftを提案する。 ステージ1では、PocialLiftは、観察されたアクション空間のハイレベルな戦略を捉え、限られた重複の下でポリシー改善をサポートするように調整された、小さな個別のアクションコードを学ぶ。 ステージ2では、これらのアクションコードに対してコンテキスト依存のポリシーを学ぶ。 デプロイ時に、Stage 3は、学習したコードレベルのポリシーを元のアクション空間に"リフト"し、コード条件付き方法で過去の行動システムからアクションを生成する。 本稿では,アクションコードに対するポリシーの改善が,元々のアクション空間における誘導ポリシーの改善を保証することを理論的に示す。 我々は、行動ポリシーに対する一貫したポリシー改善を伴う、合成および実世界のテキスト生成タスクにおける実験を横断的に実証する。

関連論文リスト

• POTEC: Off-Policy Learning for Large Action Spaces via Two-Stage Policy Decomposition [40.851324484481275]
  大規模離散行動空間における文脈的バンディット政策の非政治的学習について検討する。 本稿では,2段階ポリシー分解によるポリシー最適化という新しい2段階アルゴリズムを提案する。 特に大規模かつ構造化された行動空間において,POTECはOPLの有効性を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2024-02-09T03:01:13Z)
• Iteratively Refined Behavior Regularization for Offline Reinforcement Learning [57.10922880400715]
  本稿では,保守的政策反復に基づく行動規則化を大幅に強化する新しいアルゴリズムを提案する。 行動規則化に使用される基準ポリシーを反復的に洗練することにより、保守的な政策更新は徐々に改善される。 D4RLベンチマークの実験結果から,本手法は従来のタスクのベースラインよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2023-06-09T07:46:24Z)
• Offline Reinforcement Learning with Closed-Form Policy Improvement Operators [88.54210578912554]
  行動制約付きポリシー最適化は、オフライン強化学習に対処するための成功パラダイムであることが示されている。 本稿では,閉形式政策改善演算子を提案する。 我々は、標準的なD4RLベンチマークにおいて、最先端アルゴリズムに対するそれらの効果を実証的に実証した。
  論文  参考訳（メタデータ） (2022-11-29T06:29:26Z)
• Mutual Information Regularized Offline Reinforcement Learning [76.05299071490913]
  我々は、データセットにおける状態と行動間の相互情報の観点から、オフラインRLにアプローチする新しいMISAフレームワークを提案する。 この下位境界の最適化は、オフラインデータセット上での一段階改善されたポリシーの可能性の最大化と等価であることを示す。 MISAの3つの異なる変種を導入し、より厳密な相互情報によりオフラインのRL性能が向上することを示した。
  論文  参考訳（メタデータ） (2022-10-14T03:22:43Z)
• Supervised Off-Policy Ranking [145.3039527243585]
  オフポリシー評価(OPE)は、他のポリシーによって生成されたデータを活用して、ターゲットポリシーを評価する。 本稿では,訓練方針と既知の実績を正しくランク付けすることで,政策スコアリングモデルを学習する教師付き非政治ランキングを提案する。 本手法は,上位3つのポリシーのうち,最良と最良の双方のランク相関と性能差の両面から,強力なベースラインOPE法より優れる。
  論文  参考訳（メタデータ） (2021-07-03T07:01:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。