論文の概要: When World Models Lie: Adaptive Safety Analysis Under Wrong Imaginations
- arxiv url: http://arxiv.org/abs/2609.34300v1
- Date: Mon, 28 Sep 2026 04:44:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 22:01:40.716214
- Title: When World Models Lie: Adaptive Safety Analysis Under Wrong Imaginations
- Title（参考訳）: 世界のモデルが嘘をついたとき:間違ったイマジネーションの下でのアダプティブ・セーフティ分析
- Abstract要約: 直接観測されたワールドモデル誤差を用いて安全性推論を校正する適応型潜時安全フィルタを提案する。
提案手法は適応型コンフォーマル推論を用いて,予測状態と観測推定状態の差によるオンライン不確実性集合を構築する。
提案手法は, 最先端の潜伏型安全フィルタと比較して, 故障を著しく低減することを示す。
- 参考スコア（独自算出の注目度）: 7.37070292776087
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: World models offer a powerful substrate for safety reasoning in high-dimensional robotic systems, but they are also fallible: their predictions can be biased, miscalibrated, or confidently wrong. This creates a central challenge for latent-space safety filters, which often learn Hamilton-Jacobi safety value functions on the dynamics of a world model. If the world model is incorrect, the resulting value function can inherit its errors and produce overconfident safety estimates. Existing latent safety filters often rely on auxiliary signals such as ensemble disagreement or value-target consistency residuals for adaptation, but these signals can remain small even when the world model's predictions deviate from observations. We propose an adaptive latent safety filter that calibrates safety reasoning using directly observed world-model error. Our method uses Adaptive Conformal Inference to construct online uncertainty sets from discrepancies between predicted and observation-inferred latent states, then evaluates safety pessimistically by minimizing the learned value function over these sets. This allows the filter to remain minimally conservative when the world model is accurate, while becoming more cautious when observations reveal model mismatch. We provide a finite-time coverage guarantee for the adaptive uncertainty radius. Through simulation and hardware experiments, we show that our method significantly reduces failures relative to state-of-the-art latent safety filters while preserving task completion.
- Abstract（参考訳）: 世界モデルは、高次元ロボットシステムにおける安全性推論のための強力な基盤を提供するが、それらは失敗しかねない。
これは、世界モデルの力学におけるハミルトン・ヤコビの安全性値関数をしばしば学習する潜在空間安全フィルタにとって、中心的な課題となる。
世界モデルが間違っていれば、結果の値関数はそのエラーを継承し、過信の安全性推定を生成することができる。
既存の潜伏型安全フィルタは、アンサンブルの不一致や値目標の整合性残差のような補助的な信号に依存していることが多いが、これらの信号は世界モデルの予測が観測から逸脱した場合でも小さいままである。
直接観測されたワールドモデル誤差を用いて安全性推論を校正する適応型潜時安全フィルタを提案する。
提案手法は適応型コンフォーマル推論を用いて,予測値と観測値の差によるオンライン不確実性集合を構築し,これらの集合に対する学習値関数の最小化により安全性を悲観的に評価する。
これにより、世界モデルが正確である場合には、フィルタは最小限の保守性を維持することができるが、観測結果がモデルミスマッチを明らかにすると、より慎重になる。
適応不確かさ半径に対する有限時間被覆保証を提供する。
シミュレーションおよびハードウェア実験により,本手法はタスク完了を保ちながら,最先端の潜時安全フィルタに対する障害を著しく低減することを示した。
関連論文リスト
- Do Models Share Safety Representations? Cross-Model Steering for Safe Visual Generation [52.122731171289665]
クロスモデル安全ステアリングのための最初のフレームワークを紹介する。
私たちのパイプラインは、ターゲット側の安全でないデータにアクセスしません。
多様なソース・ターゲット・モデル・ペア間のテキスト・ツー・イメージとテキスト・ツー・ビデオ生成におけるアプローチを評価する。
論文 参考訳（メタデータ） (2026-06-03T18:00:04Z) - Selective Safety Steering via Value-Filtered Decoding [54.87935112120107]
大型言語モデル(LLM)は人間の価値観に合わせるように訓練されているが、その世代は安全上の制約に反する可能性がある。
既存のデコード時のステアリング手法は、しばしば不要に介入し、ベースモデルの下で安全であった世代を変更する。
安全でない応答の安全性を向上しつつ、そのような不要な介入を減らすための新しいテストタイムステアリング手法を提案する。
論文 参考訳（メタデータ） (2026-05-14T12:13:08Z) - Rethinking Safety in LLM Fine-tuning: An Optimization Perspective [56.31306558218838]
我々は、本質的にトレードオフではなく、最適化の貧弱な選択が、しばしば安全上の問題を引き起こすことを示し、敵のプロンプトに対する有害な応答として測定する。
安全性能を保ったパラメータ空間における簡易指数移動平均(EMA)運動量法を提案する。
複数のデータセットにまたがるLlamaファミリーに関する実験は、安全性の問題が特別な介入なしに回避できることを実証している。
論文 参考訳（メタデータ） (2025-08-17T23:46:36Z) - Uncertainty-aware Latent Safety Filters for Avoiding Out-of-Distribution Failures [11.73424668815629]
本研究では,不確実性を考慮した潜伏型安全フィルタを導入し,ロボットを既知の障害や目に見えない障害から遠ざけている。
この不確実性認識型安全フィルタは,潜在的な安全でないシナリオを事前に検出し,安全かつ不分配な動作を確実に提案することを示す。
論文 参考訳（メタデータ） (2025-05-01T18:18:17Z) - LookAhead Tuning: Safer Language Models via Partial Answer Previews [62.529794567687354]
ファインチューニングにより、大きな言語モデルは特定のドメインに適応できるが、しばしば以前に確立された安全アライメントを損なう。
LookAhead Tuningは、微調整時の安全性を維持する軽量で効果的なデータ駆動型アプローチである。
論文 参考訳（メタデータ） (2025-03-24T18:11:42Z) - Generalizing Safety Beyond Collision-Avoidance via Latent-Space Reachability Analysis [6.267574471145217]
Hamilton-Jacobi (H) は、ロボットが安全でない状態を同時に検出し、アクションを生成するための厳格なフレームワークである。
生観測データを直接操作する潜在空間到達性であるLa Safety Filtersを提案する。
論文 参考訳（メタデータ） (2025-02-02T22:00:20Z) - Uncertainty Representations in State-Space Layers for Deep Reinforcement Learning under Partial Observability [59.758009422067]
線形状態空間モデルにおいて閉形式ガウス推論を行う独立なカルマンフィルタ層を提案する。
効率的な線形リカレント層と同様に、Kalmanフィルタ層は並列スキャンを使用してシーケンシャルデータを処理している。
実験により、不確実性推論が意思決定の鍵となる問題においてカルマンフィルタ層が優れており、他のステートフルモデルよりも優れていることが示された。
論文 参考訳（メタデータ） (2024-09-25T11:22:29Z) - What Makes and Breaks Safety Fine-tuning? A Mechanistic Study [64.9691741899956]
安全性の微調整は、大規模な言語モデル(LLM)を、安全なデプロイメントのための人間の好みに合わせるのに役立つ。
安全でない入力の健全な側面をキャプチャする合成データ生成フレームワークを設計する。
これを用いて,3つのよく知られた安全微調整手法について検討する。
論文 参考訳（メタデータ） (2024-07-14T16:12:57Z) - USC: Uncompromising Spatial Constraints for Safety-Oriented 3D Object Detectors in Autonomous Driving [7.355977594790584]
自律運転における3次元物体検出器の安全性指向性能について考察する。
本稿では,単純だが重要な局所化要件を特徴付ける空間的制約 (USC) について述べる。
既存のモデルに対する安全性指向の微調整を可能にするために,定量的な測定値を共通損失関数に組み込む。
論文 参考訳（メタデータ） (2022-09-21T14:03:08Z) - ProBF: Learning Probabilistic Safety Certificates with Barrier Functions [31.203344483485843]
制御バリア関数は、地平系力学にアクセスできれば安全を保証できる便利なツールである。
実際には、システムダイナミクスに関する不正確な知識があるため、安全でない振る舞いにつながる可能性があります。
本手法の有効性をSegwayとQuadrotorのシミュレーション実験により示す。
論文 参考訳（メタデータ） (2021-12-22T20:18:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。