論文の概要: PrefPI: Preference-Guided Steering into Out-of-Distribution Behaviors

• arxiv url: http://arxiv.org/abs/2609.40165v1
• Date: Wed, 30 Sep 2026 16:58:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:28.117714
• Title: PrefPI: Preference-Guided Steering into Out-of-Distribution Behaviors
• Title（参考訳）: PrefPI: 優先ガイドによるアウト・オブ・ディストリビューション行動へのステアリング
• Abstract要約: PrefPI(Preference-Guided Policy Iteration)は、事前訓練された生成ロボットポリシーを操るための反復的なフレームワークである。 特にPrefPIは、実際のハードウェアでは10.7cmから19.8cmに増加し、好みラベルの軌道はわずか150本である。
• 参考スコア（独自算出の注目度）: 13.23914921356941
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present PrefPI (Preference-Guided Policy Iteration), an iterative framework for steering pretrained generative robot policies using only relative preferences over self-generated trajectories. Unlike prior preference-learning methods that primarily sharpen modes already represented by the policy, we study steering beyond the initial effective support, where desired behaviors are rarely or never observed under the initial policy. Our key idea is to formulate preference learning as preference-conditioned generative modeling: preferred trajectories define a conditional distribution, whose density ratio with the broader behavior prior provides an implicit preference signal amplified by classifier-free guidance (CFG). Repeating this preference-conditioned modeling and guidance step yields a form of preference-guided policy iteration, turning incremental improvements toward previously inaccessible behaviors. Across diffusion policies and the PI0.5 flow- matching VLA in simulation and the real world, PrefPI produces substantial behavioral shifts with limited feedback. In particular, PrefPI increases object transport height from 10.7 cm to 19.8 cm on real hardware with only 150 preference-labeled trajectories.
• Abstract（参考訳）: 提案するPrefPI(Preference-Guided Policy Iteration)は,自己生成軌道に対する相対的嗜好のみを用いて,事前学習された生成ロボットポリシーを操る反復的フレームワークである。 従来の嗜好学習手法と異なり,初期方針の下では,望ましい行動がほとんど見られず,決して観察されないような,初期的効果的な支援以上のステアリングについて検討している。 優先トラジェクトリは、より広い振る舞いに対する密度比が、分類器フリーガイダンス(CFG)によって増幅された暗黙の選好信号を提供する条件分布を定義する。 この嗜好条件のモデリングとガイダンスのステップを繰り返すことで、優先順位付けされたポリシーのイテレーションの形式が得られます。 シミュレーションおよび実世界における拡散ポリシとPI0.5フローマッチングVLAの相反して、PrefPIは限られたフィードバックでかなりの挙動変化を発生させる。 特にPrefPIは、実際のハードウェアでは10.7cmから19.8cmに増加し、好みラベルの軌道はわずか150本である。

関連論文リスト

• Steering Generative Robot Policies with Lexicographic Preferences [17.61600932655699]
  我々は,凍結した生成ロボットポリシーを,配置目標を尊重する推論時間で操ることができることを示した。 提案手法は、調整した重み付きサムベースラインに対する成功、トラバータビリティ、および優先順守を改善することを実証する。 制御された操作研究により、固定重みが所望の順序に一致するような設定では、動的バリアが同等の性能に達することが示されている。
  論文  参考訳（メタデータ） (2026-09-14T04:27:07Z)
• PAWS: Preference Learning with Advantage-Weighted Segments [61.590521943273]
  本稿では,セグメントレベルの優位関数を用いて,ポリシー更新を直接行うセグメントベース優先学習手法を提案する。 シミュレーションされたロボット操作と移動タスクの実験は、PAWSが既存のPbRLアプローチを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-06-10T12:00:17Z)
• SiMPO: Measure Matching for Online Diffusion Reinforcement Learning [52.46919717963149]
  一般単調関数を持つ拡散RLにおける再重み付けスキームを一般化する,シンプルで統一的なフレームワークであるSiMPOを紹介する。 SiMPOは2段階の測度マッチングレンズを介して拡散RLを再考する。 我々は、負の再重み付けが準最適行動から政策を積極的に反映していることを示す幾何学的解釈を提供する。
  論文  参考訳（メタデータ） (2026-03-10T22:01:13Z)
• How Sampling Shapes LLM Alignment: From One-Shot Optima to Iterative Dynamics [65.67654005892469]
  適切なインスタンス依存サンプリングは、より強力なランキング保証を得られる一方で、スキュードオン政治サンプリングは、構造化された嗜好の下で過剰な濃度を誘導できることを示す。 次に、学習したポリシーが将来のサンプリングおよび参照ポリシーにフィードバックする反復的なアライメントダイナミクスを分析する。 我々の理論的な洞察は直接選好最適化にまで拡張され、我々が捉えた現象はより広範な選好アライメント手法に共通していることを示している。
  論文  参考訳（メタデータ） (2026-02-12T17:11:08Z)
• RecNet: Self-Evolving Preference Propagation for Agentic Recommender Systems [109.9061591263748]
  RecNetは、レコメンデータシステムのための自己進化的な好みの伝達フレームワークである。 関連ユーザやアイテム間で、リアルタイムの好み更新を積極的に伝達する。 逆相では、フィードバック駆動の伝搬最適化機構がマルチエージェント強化学習フレームワークをシミュレートする。
  論文  参考訳（メタデータ） (2026-01-29T12:14:31Z)
• Model-Based Policy Adaptation for Closed-Loop End-to-End Autonomous Driving [54.46325690390831]
  本稿では,事前学習したE2E運転エージェントのロバスト性と安全性を高めるための汎用フレームワークとして,モデルベースポリシー適応(MPA)を提案する。 MPAは、ジオメトリ一貫性のあるシミュレーションエンジンを用いて、まず様々な対物軌道を生成する。 MPAは拡散ベースのポリシーアダプタを訓練し、基本方針の予測を洗練させ、Q値モデルを多段階に分けて長期的な結果を評価する。
  論文  参考訳（メタデータ） (2025-11-26T17:01:41Z)
• EXPO: Stable Reinforcement Learning with Expressive Policies [74.30151915786233]
  2つのパラメータ化ポリシーで値の最大化を実現するために,サンプル効率のよいオンライン強化学習アルゴリズムを提案する。 提案手法は, 従来手法に比べて試料効率を最大2～3倍向上させる。
  論文  参考訳（メタデータ） (2025-07-10T17:57:46Z)
• On-the-fly Preference Alignment via Principle-Guided Decoding [27.50204023448716]
  モデル出力を推論中に人間の好みに合わせるために、OPAD(Principle-Guided Decoding)によるオンザフライの優先度アライメントを導入する。 OPADは、一般的なタスクとパーソナライズされたアライメントタスクの両方において、競争力または優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-02-20T02:23:09Z)
• Forward KL Regularized Preference Optimization for Aligning Diffusion Policies [8.958830452149789]
  拡散政策の学習における中心的な問題は、様々なタスクにおいて、政策の出力と人間の意図を一致させることである。 そこで本稿では,拡散ポリシーを優先事項と整合させる新しいフレームワーク,フォワードKL正規化参照最適化を提案する。 その結果,提案手法は好みとの整合性が優れ,従来の最先端アルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2024-09-09T13:56:03Z)
• Preferred-Action-Optimized Diffusion Policies for Offline Reinforcement Learning [19.533619091287676]
  オフライン強化学習のための優先行動最適化拡散政策を提案する。 特に、表現的条件拡散モデルを用いて、行動ポリシーの多様な分布を表現する。 実験により,提案手法は従来のオフラインRL法と比較して,競争力や性能に優れることを示した。
  論文  参考訳（メタデータ） (2024-05-29T03:19:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。