論文の概要: One Policy, Many Styles: Where to Aggregate Preferences for Steerable Humanoid Control?
- arxiv url: http://arxiv.org/abs/2610.28925v1
- Date: Tue, 20 Oct 2026 20:59:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 00:40:06.145932
- Title: One Policy, Many Styles: Where to Aggregate Preferences for Steerable Humanoid Control?
- Title（参考訳）: 一つのポリシーと多くのスタイル: ステアブルなヒューマノイド制御の選好をどこに集約するか?
- Abstract要約: 現代のロボットエージェントは、単一のポリシーによって、ユーザの好みを変えることなく、実行時の動作スタイルを調整できる、ステアブルコントロールをサポートすることがますます期待されている。
評価には、Preference Reward Responsiveness(PRR)とカバレッジとユーティリティメトリクスを組み合わせる。
すべての環境や基準において、アグリゲーションレベルが最善を尽くすことはない。
実験により、凝集目標が早期に幅広い行動応答を生じるが、他の目的に意図しない変化がより大きいことが示される一方で、凝集目標が後に応答性に対する何らかのコストで制御精度を向上させることが示されている。
- 参考スコア（独自算出の注目度）: 20.737136234642666
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern robotic agents are increasingly expected to support steerable control, where a single policy can adjust its behavioral style at runtime under changing user preferences. Preference-conditioned reinforcement learning provides this interface, but conditioning alone does not ensure that a requested behavior change is strong, does not leak into unrelated behaviors, and does not compromise task performance. Our evaluation combines Preference Reward Responsiveness (PRR) with coverage and utility metrics. We use these measures to compare reward-level, advantage-level, loss-level, and PCGrad-based aggregation across two humanoid-control frameworks. No aggregation level performs best across all environments and criteria. Experiments show that aggregating objectives early produces a wider range of behavioral responses but greater unintended changes in other objectives, while aggregating them later improves control precision at some cost to responsiveness.
- Abstract（参考訳）: 現代のロボットエージェントは、単一のポリシーによって、ユーザの好みを変えることなく、実行時の動作スタイルを調整できる、ステアブルコントロールをサポートすることがますます期待されている。
優先条件強化学習はこのインターフェースを提供するが、条件付けだけでは要求された振る舞いの変化が強く、無関係な振る舞いに漏れず、タスクのパフォーマンスを損なわない。
評価では、Preference Reward Responsiveness(PRR)とカバレッジとユーティリティメトリクスを組み合わせた。
これらを用いて,2つのヒューマノイド制御フレームワーク間の報酬レベル,利益レベル,損失レベル,PCGradベースのアグリゲーションを比較した。
すべての環境や基準において、アグリゲーションレベルが最善を尽くすことはない。
実験により、凝集目標が早期に幅広い行動応答を生じるが、他の目的に意図しない変化がより大きいことが示される一方で、凝集目標が後に応答性に対する何らかのコストで制御精度を向上させることが示されている。
関連論文リスト
- Steering Generative Robot Policies with Lexicographic Preferences [17.61600932655699]
我々は,凍結した生成ロボットポリシーを,配置目標を尊重する推論時間で操ることができることを示した。
提案手法は、調整した重み付きサムベースラインに対する成功、トラバータビリティ、および優先順守を改善することを実証する。
制御された操作研究により、固定重みが所望の順序に一致するような設定では、動的バリアが同等の性能に達することが示されている。
論文 参考訳（メタデータ） (2026-09-14T04:27:07Z) - Controllability in preference-conditioned multi-objective reinforcement learning [3.967027179068453]
多目的強化学習(MORL)により、ユーザは目的の相対的重要性の観点から結果よりも好みを表現できる。
標準メトリクスは、好みの変化がエージェントの振る舞いを意図した方法で確実に変化させるかどうかを把握できない。
論文 参考訳（メタデータ） (2026-05-11T13:58:49Z) - Learning What Matters Now: Dynamic Preference Inference under Contextual Shifts [8.986181114282559]
本研究は,文脈とともにドリフトする未観測潜伏変数が優先重みを持つ場合の逐次決定問題について検討する。
本稿では,エージェントが嗜好重みに対する確率論的信念を維持する枠組みである動的選好推論(DPI)を提案する。
DPIはその推論された嗜好を新しいレシエーションに適応させ、固定ウェイトや封筒ベースラインよりも高いポストシフト性能を達成する。
論文 参考訳（メタデータ） (2026-03-24T05:22:04Z) - Conformal Policy Control [50.46542384484142]
我々は、安全な参照ポリシーを、最適化されているが未試験のポリシーの確率的規制として使う方法を示す。
保守的な最適化方法とは異なり、ユーザーが正しいモデルクラスを識別したとは仮定しない。
自然言語質問応答から生体分子工学まで,本研究の応用実験は,デプロイ開始当初から安全な探索が可能であることを示唆している。
論文 参考訳（メタデータ） (2026-03-02T18:54:36Z) - FDPP: Fine-tune Diffusion Policy with Human Preference [57.44575105114056]
人間の嗜好を考慮した微調整拡散政策は、嗜好に基づく学習を通して報酬関数を学習する。
この報酬は、訓練済みの政策を強化学習で微調整するために使われる。
実験により、FDPPは性能を損なうことなく、効果的にポリシーの動作をカスタマイズできることが示されている。
論文 参考訳（メタデータ） (2025-01-14T17:15:27Z) - How Generalizable Is My Behavior Cloning Policy? A Statistical Approach to Trustworthy Performance Evaluation [17.638831964639834]
行動クローニングポリシーは、人間のデモンストレーションから学ぶことで複雑なタスクを解決することに成功している。
本稿では,任意の環境下でのロボット性能について,より低バウンドなフレームワークを提案する。
実験では,シミュレーションとハードウェアの両方におけるビジュモータ操作のポリシーを評価する。
論文 参考訳（メタデータ） (2024-05-08T22:00:35Z) - Learnable Behavior Control: Breaking Atari Human World Records via Sample-Efficient Behavior Selection [80.35510218548693]
本稿では,LBC(Learable Behavioral Control)と呼ばれるフレームワークを提案する。
我々のエージェントは10077.52%の平均正規化スコアを達成し、1Bのトレーニングフレーム内で24人の世界記録を突破した。
論文 参考訳（メタデータ） (2023-05-09T08:00:23Z) - Improper Learning with Gradient-based Policy Optimization [62.50997487685586]
未知のマルコフ決定過程に対して学習者がmベースコントローラを与えられる不適切な強化学習設定を考える。
制御器の不適切な混合のクラス上で動作する勾配に基づくアプローチを提案する。
論文 参考訳（メタデータ） (2021-02-16T14:53:55Z) - Offline Contextual Bandits with Overparameterized Models [52.788628474552276]
オフラインの文脈的盗賊にも同じ現象が起こるかどうかを問う。
この相違は, 目的の強調安定性によるものであることを示す。
大規模なニューラルネットワークを用いた実験では、アクション安定な値ベース目標と不安定なポリシベース目標とのギャップは、大きなパフォーマンス差をもたらす。
論文 参考訳（メタデータ） (2020-06-27T13:52:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。