論文の概要: Learning Safe Agent Behaviour from Human Preferences and Justifications via World Models
- arxiv url: http://arxiv.org/abs/2607.13172v1
- Date: Tue, 14 Jul 2026 18:22:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-16 16:39:12.562722
- Title: Learning Safe Agent Behaviour from Human Preferences and Justifications via World Models
- Title（参考訳）: 人間の選好と世界モデルによる正当化から安全なエージェントの行動を学ぶ
- Abstract要約: 我々は、安全なトレーニングとデプロイメントの両方のための人間中心の方法であるDROPJを紹介します。
まず、実世界の軌道のデータセットから世界モデル(学習シミュレータ)を学習する。
人間が学習したシミュレータでゲームをし、いくつかの情報的シミュレートされた軌跡を抽出する。
次に、これらの正当化された好みから報酬モデルをトレーニングし、それをワールドモデルと一緒に使用して、エージェントを直接デプロイします。
- 参考スコア（独自算出の注目度）: 10.47361214312137
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We address the problem of safely training an agent policy and deploying a good and safe policy, in settings where the environment dynamics are unknown and no suitable reward function is available. In the context of safety-critical environments, we consider traditional reinforcement learning impractical and resort to the resource of human input. We introduce DROPJ, a human-centred method for both safe training and deployment. We first learn a world model (a learned simulator) from a dataset of prior real-world trajectories. A human then plays the game in this learned simulator to extract several informative simulated trajectories. From these, we sample pairs of simulated trajectory segments and elicit from a human their preference over these segments, as well as a reason (justification) for their choice. We then train a reward model from these justified preferences and use it, together with the world model, to directly deploy the agent using model predictive control. Running real-user experiments, we find that generating informative simulated trajectories from a user significantly reduces the computational cost during training compared to other strategies, and can also improve the performance during deployment. In the context of training within a learned simulator, we show that the use of preferences rather than other types of feedback substantially improves the performance during deployment. We further demonstrate that safety justifications accompanying preferences can significantly enhance safety or prioritise user-prescribed aspects of safety associated with them during deployment.
- Abstract（参考訳）: 環境のダイナミクスが不明で適切な報酬関数が存在しない環境で、エージェントポリシーを安全にトレーニングし、安全で安全なポリシーをデプロイする問題に対処する。
安全クリティカルな環境においては、従来の強化学習は非現実的であり、人間の入力の資源に頼っている。
我々は、安全なトレーニングとデプロイメントの両方のための人間中心の方法であるDROPJを紹介します。
まず、実世界の軌道のデータセットから世界モデル(学習シミュレータ)を学習する。
人間が学習したシミュレータでゲームをし、いくつかの情報的シミュレートされた軌跡を抽出する。
これらから、擬似軌道セグメントのペアをサンプリングし、これらのセグメントに対するヒトの好みを抽出し、その選択の理由(正当性)を導出する。
次に、これらの正当化された嗜好から報酬モデルをトレーニングし、それを世界モデルと共に使用し、モデル予測制御を使用してエージェントを直接デプロイする。
実ユーザ実験を行えば,ユーザから情報的シミュレートされたトラジェクトリを生成することで,トレーニング中の計算コストが他の戦略に比べて大幅に低減され,デプロイメント時の性能も向上することがわかった。
学習シミュレータ内でのトレーニングでは、他のタイプのフィードバックよりも好みを使うことによって、デプロイメント時のパフォーマンスが大幅に向上することを示す。
さらに, 優先事項に伴う安全性の正当性は, デプロイ中に利用者が規定した安全性の安全性を著しく向上させるか, あるいは優先させる可能性があることを実証する。
関連論文リスト
- Advantage-Driven Explicit Memory for Social Navigation [12.557252183063]
重要な事象につながる前のステップを明示的にインデックスする非パラメトリックメモリを備えた新しいナビゲーションエージェントを提案する。
ソーシャルナビゲーションの文脈では、エージェントがスパースで高コストの障害を維持する能力を向上させることが示される。
我々は、レンダリングと非視覚的群衆シミュレーションを組み合わせたシミュレーションでエージェントを訓練し、そのエージェントがOOD社会行動に対して堅牢であることを示す。
論文 参考訳（メタデータ） (2026-08-26T10:27:08Z) - Autonomous Continual Learning of Computer-Use Agents for Environment Adaptation [57.65688895630163]
ACuRLは自律的なカリキュラム強化学習フレームワークで、エージェントを人間データゼロの特定の環境に継続的に適応させる。
本研究では,環境内学習と環境横断学習の両方を効果的に実現し,既存の環境を忘れずに4～22%の性能向上を実現した。
論文 参考訳（メタデータ） (2026-02-10T23:06:02Z) - Semantic-Metric Bayesian Risk Fields: Learning Robot Safety from Human Videos with a VLM Prior [10.193047117743221]
人間は安全を二元信号ではなく、連続的、文脈に依存したリスクの概念として解釈する。
本研究は、安全な人間のデモビデオとVLM常識から直接監督される暗黙の人間のリスクモデルを抽出する枠組みを提案する。
論文 参考訳（メタデータ） (2025-12-09T04:19:58Z) - SPACeR: Self-Play Anchoring with Centralized Reference Models [50.55045557371374]
Simエージェントポリシーは、現実的で、人間らしく、高速で、マルチエージェント設定でスケーラブルである。
大規模な拡散モデルやトークン化モデルを用いた模倣学習の最近の進歩は、人間の運転データから直接行動を把握することができることを示している。
本研究では,事前訓練されたトークン化自己回帰運動モデルを利用したSPACeRを提案する。
論文 参考訳（メタデータ） (2025-10-20T19:53:02Z) - Autonomous Vehicle Controllers From End-to-End Differentiable Simulation [57.278726604424556]
そこで我々は,AVコントローラのトレーニングにAPG(analytic Policy gradients)アプローチを適用可能なシミュレータを提案し,その設計を行う。
提案するフレームワークは, エージェントがより根底的なポリシーを学ぶのを助けるために, 環境力学の勾配を役立てる, エンド・ツー・エンドの訓練ループに, 微分可能シミュレータを組み込む。
ダイナミクスにおけるパフォーマンスとノイズに対する堅牢性の大幅な改善と、全体としてより直感的なヒューマンライクな処理が見られます。
論文 参考訳（メタデータ） (2024-09-12T11:50:06Z) - ReGentS: Real-World Safety-Critical Driving Scenario Generation Made Stable [88.08120417169971]
機械学習に基づく自律運転システムは、現実世界のデータでは稀な安全クリティカルなシナリオで課題に直面していることが多い。
この研究は、軌道最適化によって複雑な現実世界の通常のシナリオを変更することによって、安全クリティカルな運転シナリオを生成することを検討する。
提案手法は、頑健なプランナーの訓練には役に立たない非現実的な発散軌道と避けられない衝突シナリオに対処する。
論文 参考訳（メタデータ） (2024-09-12T08:26:33Z) - Real-World Humanoid Locomotion with Reinforcement Learning [92.85934954371099]
実世界におけるヒューマノイド移動に対する完全学習型アプローチを提案する。
コントローラーは様々な屋外の地形の上を歩けるし、外乱に対して頑丈で、状況に応じて適応できる。
論文 参考訳（メタデータ） (2023-03-06T18:59:09Z) - Off Environment Evaluation Using Convex Risk Minimization [0.0]
本稿では,シミュレータと対象領域間のモデルミスマッチを推定する凸リスク最小化アルゴリズムを提案する。
対象領域におけるRLエージェントの性能を評価するために,シミュレータとともにこの推定器を使用できることを示す。
論文 参考訳（メタデータ） (2021-12-21T21:31:54Z) - Reactive and Safe Road User Simulations using Neural Barrier
Certificates [9.961324632236499]
本稿では,本来の目的を組み込まずに安全性を確保するリアクティブエージェントモデルを提案する。
我々の学習した道路利用者シミュレーションモデルは、安全性を大幅に向上させることができる。
我々の学習された反応剤は、目に見えない交通条件を一般化する。
論文 参考訳（メタデータ） (2021-09-14T13:45:37Z) - TrafficSim: Learning to Simulate Realistic Multi-Agent Behaviors [74.67698916175614]
リアル交通シミュレーションのためのマルチエージェント行動モデルであるTrafficSimを提案する。
特に、暗黙の潜在変数モデルを利用して、共同アクターポリシーをパラメータ化する。
TrafficSimは、多様なベースラインと比較して、より現実的で多様なトラフィックシナリオを生成します。
論文 参考訳（メタデータ） (2021-01-17T00:29:30Z) - Guided Uncertainty-Aware Policy Optimization: Combining Learning and
Model-Based Strategies for Sample-Efficient Policy Learning [75.56839075060819]
従来のロボットのアプローチは、環境の正確なモデル、タスクの実行方法の詳細な説明、現在の状態を追跡するための堅牢な認識システムに依存している。
強化学習アプローチは、タスクを記述するための報酬信号だけで、生の感覚入力から直接操作することができるが、非常にサンプル非効率で脆弱である。
本研究では,ロボットの知覚・運動パイプラインにおける不正確さを克服できる一般的な手法を得るために,モデルに基づく手法の強みと学習に基づく手法の柔軟性を組み合わせる。
論文 参考訳（メタデータ） (2020-05-21T19:47:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。