論文の概要: Steering Generative Robot Policies with Lexicographic Preferences
- arxiv url: http://arxiv.org/abs/2609.15014v1
- Date: Mon, 14 Sep 2026 04:27:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:06.07009
- Title: Steering Generative Robot Policies with Lexicographic Preferences
- Title（参考訳）: Lexicographic Preferencesを用いたステアリング生成ロボット政策
- Abstract要約: 我々は,凍結した生成ロボットポリシーを,配置目標を尊重する推論時間で操ることができることを示した。
提案手法は、調整した重み付きサムベースラインに対する成功、トラバータビリティ、および優先順守を改善することを実証する。
制御された操作研究により、固定重みが所望の順序に一致するような設定では、動的バリアが同等の性能に達することが示されている。
- 参考スコア（独自算出の注目度）: 17.61600932655699
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pretrained generative robot policies can produce effective behaviors across diverse environments, but deployment can lead to requirements and preferences that may not have been represented during training. Furthermore, at deployment, an operator, user, or application may assign these requirements and preferences a priority order that can vary across deployments. For example, embodiment-specific feasibility constraints may need to be satisfied first, while user-specific preferences guide behavior among the feasible options. We show that a frozen generative robot policy---based on either diffusion or flow matching---can be steered at inference time to respect such lexicographically ordered deployment objectives. To achieve this, we introduce two modifications to the sampler. First, we apply dynamic-barrier guidance to sampled trajectories, constraining lower-priority updates so that higher-priority costs do not increase (up to first order). Second, we select the executed sample using a cascade that successively filters candidate samples according to each priority level. The policy weights remain unchanged. On a navigation benchmark, we demonstrate that our method improves success, traversability, and preference compliance over the frozen policy, and achieves substantially better compliance than tuned weighted-sum baselines. The same method transfers to a flow-matching manipulation policy on LIBERO, where it improves compliance without reducing task success. A controlled manipulation study further shows that, in settings where a fixed weight can match the desired ordering, the dynamic barrier reaches comparable best performance over a substantially wider range of parameter settings.
- Abstract（参考訳）: 事前訓練された生成ロボットポリシーは、多様な環境にまたがる効果的な行動を生み出すことができるが、デプロイは、トレーニング中に表現されなかったかもしれない要求や嗜好につながる可能性がある。
さらに、デプロイ時には、オペレータ、ユーザ、あるいはアプリケーションがこれらの要件を割り当て、デプロイ毎に異なる優先順位を付けることができる。
例えば、具体化固有の実現可能性制約は、まず満足する必要があり、一方、ユーザ固有の嗜好は、実現可能な選択肢の振る舞いをガイドする。
本研究では, 拡散・流速のいずれにも基づく凍結型生成ロボットのポリシーを, 語彙的に順序づけられた展開目標を尊重するために, 推定時刻に定式化できることを示す。
これを実現するために,サンプルに2つの修正を加えている。
まず、サンプリングされた軌道に動的バリア誘導を適用し、低優先度更新を制限し、高優先度コストが(一階まで)増加しないようにする。
第2に、各優先度レベルに応じて候補サンプルを逐次フィルタリングするカスケードを用いて、実行されたサンプルを選択する。
政策の重みは変わっていない。
ナビゲーションベンチマークでは、凍結したポリシーに対する成功、トラバータビリティ、優先順守を改善し、重み付けされたサマーベースラインよりもはるかに優れたコンプライアンスを実現する。
同じ方法がLIBEROのフローマッチング操作ポリシに転送され、タスクの成功を低減せずにコンプライアンスが改善される。
制御された操作研究により、固定重みが所望の順序に一致するような設定では、動的障壁はパラメータ設定よりもはるかに広い範囲で同等のパフォーマンスに達することが示されている。
関連論文リスト
- Learning Not to Optimize: Physics-Informed Action-Space Reshaping for Intent-Based Network Control [50.46501177871741]
LNOQRD は小物候補を75.9% で削減し、90.8% でニアオラクルのカバレッジを維持している。
実験の結果、LNOQRDは実用性と意図の満足度が最も高く、かつ、法律違反が最低で、世代後レイテンシが低いことがわかった。
論文 参考訳（メタデータ） (2026-08-02T00:27:01Z) - PriGo: Test-Time Primitive Guidance to Diffusion and Flow Policies for Adaptive Robotic Manipulation [28.358317763869664]
PriGoは、堅牢なロボット操作のためのプリミティブ誘導テストタイム適応フレームワークである。
本稿では,観測結果から直接原始分布を推定する軽量プリミティブ予測モジュールPANetを紹介する。
以前のプリミティブ条件のアプローチとは異なり、PriGoは完全にテスト時に動作し、事前訓練された拡散とフローポリシーにシームレスに統合できる。
論文 参考訳（メタデータ） (2026-07-08T07:08:11Z) - Grounding Generative Policies in Physics: Optimization-Guided Diffusion for Robot Control [41.782471938706344]
タスク空間のロボットポリシーでは、生成された把握、ウェイポイント、トラジェクトリは分散的に有効だが実現不可能である。
動作生成を物理的実現可能性に結合する推論時間最適化フレームワークを提案する。
本研究では,到達性と衝突回避制約とコントローラレベルの追従性制約を併用した動的操作によるデクスタラスグリップ合成法の評価を行った。
論文 参考訳（メタデータ） (2026-06-23T06:49:30Z) - TapSampling: Inference-Time Sampling with a Task-Progress-Understanding Verifier for Robotic Manipulation [61.35569005726248]
既存の具体的制御研究は、トレーニングデータとモデルサイズをスケールすることで、顕著なパフォーマンス向上を示す。
拡散や自己回帰モデルのような非決定論的生成モデルは、エンボディドコントロールの分野で広く採用されている。
推測時間サンプリングのためのプラグイン・アンド・プレイフレームワークである textbfTapSampling を提案する。
論文 参考訳（メタデータ） (2026-05-25T08:03:31Z) - Listwise Preference Diffusion Optimization for User Behavior Trajectories Prediction [41.53271688465831]
ユーザ行動軌跡予測(UBTP)を,長期ユーザの嗜好を明示的にモデル化するタスク設定として定式化する。
項目列全体に対して構造化された嗜好を直接最適化する拡散に基づくトレーニングフレームワークであるリスワイズ・ディフュージョン・最適化(LPDO)を導入する。
多段階の予測品質を厳密に評価するために、正確な軌跡合意を計測するタスク特異的な逐次マッチング(SeqMatch)を提案し、確率的忠実度を評価するパープレキシティ(PPL)を採用する。
論文 参考訳（メタデータ） (2025-11-01T12:16:24Z) - Customize Multi-modal RAI Guardrails with Precedent-based predictions [55.63757336900865]
マルチモーダルガードレールは、ユーザ定義ポリシーに基づいて、画像コンテンツを効果的にフィルタリングする必要がある。
既存の微調整手法は、通常、事前に定義されたポリシーの条件予測を行う。
本稿では、入力に類似した先行データポイントの推論過程である「先行情報」に対する条件モデルの判断を提案する。
論文 参考訳（メタデータ） (2025-07-28T03:45:34Z) - Dense Policy: Bidirectional Autoregressive Learning of Actions [51.60428100831717]
本稿では,行動予測における自己回帰的政策の新たなパラダイムを確立するために,Dense Policyと呼ばれる双方向拡張学習手法を提案する。
軽量なエンコーダのみのアーキテクチャを使用して、アクションシーケンスを初期単一フレームからターゲットシーケンスへ粗い方法で反復的に展開する。
実験により、我々の密集した政策は自己回帰学習能力に優れており、既存の全体的生成ポリシーを超越できることが示された。
論文 参考訳（メタデータ） (2025-03-17T14:28:08Z) - Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。
個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。
数発のステアライメントのための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-12-18T16:14:59Z) - Learning Optimal Deterministic Policies with Stochastic Policy Gradients [62.81324245896716]
政策勾配法(PG法)は連続強化学習(RL法)問題に対処する手法として成功している。
一般的には、収束(ハイパー)政治は、決定論的バージョンをデプロイするためにのみ学習される。
本稿では,サンプルの複雑性とデプロイされた決定論的ポリシのパフォーマンスのトレードオフを最適化するために,学習に使用する探索レベルの調整方法を示す。
論文 参考訳（メタデータ） (2024-05-03T16:45:15Z) - Extremum-Seeking Action Selection for Accelerating Policy Optimization [18.162794442835413]
連続空間の制御のための強化学習は、典型的にはガウス分布のような高エントロピーポリシーを用いて局所的な探索と性能の最適化を推定する。
本稿では,ESC(Extremum-Seeking Control)に基づく適応制御を付加することで,モデルフリーなRL設定におけるアクション選択を改善することを提案する。
本手法は, 各種制御学習環境において, 学習効率を向上させるために, 標準方針最適化において容易に追加することができる。
論文 参考訳（メタデータ） (2024-04-02T02:39:17Z) - First Order Constrained Optimization in Policy Space [19.00289722198614]
政策空間における一階制約最適化(FOCOPS)という新しい手法を提案する。
FOCOPSは、エージェントの全体的な報酬を最大化し、エージェントが一連のコスト制約を満たすことを保証します。
我々は,ロボット機関車の一連の作業において,簡単なアプローチがより良い性能を達成するという実証的な証拠を提供する。
論文 参考訳（メタデータ） (2020-02-16T05:07:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。