論文の概要: Rethinking World Models for Safety-Critical Embodied Systems
- arxiv url: http://arxiv.org/abs/2609.03774v1
- Date: Thu, 03 Sep 2026 12:44:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-04 18:28:39.058844
- Title: Rethinking World Models for Safety-Critical Embodied Systems
- Title(参考訳): 安全クリティカル・エボダイドシステムのための世界モデルの再考
- Abstract要約: この視点は、現在の世界モデリングにおける3つの構造的ミスマッチを識別する。
我々は、安全クリティカルな実施システムのための意思決定中心の研究方向として、リスクインフォームド・ワールド・モデル(RIWM)を提案する。
- 参考スコア(独自算出の注目度): 3.802367963338718
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: World models have progressed from compact latent dynamics to generative, controllable, and interactive simulators of embodied environments. However, high predictive likelihood and visual fidelity do not necessarily ensure that a model preserves the evidence required for safe decision-making. This perspective identifies three structural mismatches in current world modeling: likelihood versus risk, prediction versus intervention, and finite-horizon prediction versus accumulated consequences. We propose the Risk-Informed World Model (RIWM) as a decision-centric research direction for safety-critical embodied systems. RIWM organizes world modeling around consequences, intervention, epistemic uncertainty, and recoverability, and integrates four interdependent capabilities: decision-relevant representation, counterfactual reasoning, safety-critical episodic memory, and runtime safety assurance. It distinguishes physical, social, and operational consequences while using epistemic uncertainty to qualify the evidence supporting action. We further discuss open challenges in identifying consequential futures, validating counterfactual reasoning, maintaining revisable safety memories, translating learned consequences into executable constraints, and determining when evidence is sufficient to act. This perspective argues that future world models should move beyond predicting likely futures toward identifying which futures matter, revising judgments through experience, and recognizing when to act, revise, sense, defer, or abstain.
- Abstract(参考訳): 世界モデルは、コンパクトな潜伏力学から、人工環境の生成的、制御可能、インタラクティブなシミュレータへと発展してきた。
しかし、高い予測可能性と視覚的忠実度は、モデルが安全な意思決定に必要な証拠を保存することを必ずしも保証しない。
この視点は、現在の世界モデリングにおける3つの構造的ミスマッチを識別する:可能性対リスク、予測対介入、累積結果対有限水平予測である。
我々は、安全クリティカルな実施システムのための意思決定中心の研究方向として、リスクインフォームド・ワールド・モデル(RIWM)を提案する。
RIWMは、結果、介入、疫学的不確実性、回復可能性に関する世界モデリングを組織し、意思決定関連表現、反ファクト推論、安全クリティカルなエピソード記憶、実行時安全保証の4つの相互依存機能を統合する。
心的不確実性を用いて行動を支持する証拠を検証しながら、身体的、社会的、および操作的な結果を区別する。
さらに、連関先を特定する上でのオープンな課題、反事実的推論の検証、修正可能な安全記憶の維持、学習結果の実行可能な制約への変換、そして証拠が作用するのに十分なタイミングの決定について論じる。
この視点は、未来のモデルは将来の予測を超えて、どの未来が重要かを特定し、経験を通して判断を改訂し、いつ行動し、修正し、センスし、延期するかを認識すべきであると主張している。
関連論文リスト
- World Models for Embodied Intelligence: From Plausible to Controllable to Actionable [100.13060753774657]
世界モデルは、隠れた状態を維持し、結果を予測し、介入を比較し、実行が期待から外れたときに適応することによって、インテリジェンスにおける知覚と意思決定を結びつける。
これは、どの予測能力が振る舞いを改善するかという、中心的な疑問を提起する。
可塑性モデルは、タスク関連時間的・幾何学的・物理的構造を保存し、制御可能なモデルは、介入がどのように構造を変えるかを予測し、アクション可能なモデルは、予測を計画、行動、学習、評価、検証、回復、データ選択において測定可能な利得に変換する。
論文 参考訳(メタデータ) (2026-09-15T06:22:42Z) - RiskWorld: Object-Centric Latent World Modeling for Autonomous Driving Risk Identification [30.32162964871242]
RiskWorldはオブジェクト中心の潜在世界モデルであり、エゴ車に対する各候補の想像上の進化からリスクを特定する。
ロールアウトをオブジェクトレベルのリスクスコアにデコードし、将来の予測と時間リスク予測を補助的にサポートする。
リスクベンチでは、リスクワールドが63.0%、フェイルアラームレートが2.1%である。
論文 参考訳(メタデータ) (2026-08-12T02:52:04Z) - The safety failures we are not instrumenting: a perspective on hidden safety-critical challenges in modern AI systems [26.594498540217568]
デプロイされたシステムでは、最も連続的な障害の多くは、目覚ましいよりも静かで、単一のアウトプットに局所化するのではなく、コンポーネントに分散し、障害として認識される前にエコシステムによって正規化される。
現代のAIシステムにおける中心的な安全性の課題は、モデルが有害な応答を放出するかどうかだけではなく、より広範な社会技術システムが、エラーが可視で、競合可能で、封じ込め可能で、回復可能な状態を維持しているかどうかである。
論文 参考訳(メタデータ) (2026-07-21T17:02:37Z) - Is the Future Compatible? Diagnosing Dynamic Consistency in World Action Models [28.165928090888986]
世界行動モデル(WAM)は、将来の観察と行動を予測することにより、想像上のロールアウトを通じて意思決定を可能にする。
動作状態の整合性、予測された動作と誘導された状態遷移の整合性を、WAMの信頼性の欠如の軸として同定する。
テスト時間選択のための価値のないコンセンサス戦略を導入し、予測される未来間での合意によって、候補のロールアウトをランク付けする。
論文 参考訳(メタデータ) (2026-05-08T09:44:43Z) - Uncertainty-Aware Vision-based Risk Object Identification via Conformal Risk Tube Prediction [7.840136094141999]
既存のアプローチは意思決定を行い、不確実性を無視します。
これらの課題にもかかわらず、現在の手法には、空間と時間にわたって共同でリスクの不確実性をモデル化する原則的な枠組みが欠如している。
本稿では, リスクの原則的不確実性を把握し, 真のリスクに対するカバレッジ保証を提供し, 不確実性を考慮した校正リスクスコアを生成するコンフォーマルリスク予測統一定式化を提案する。
論文 参考訳(メタデータ) (2026-03-25T04:13:42Z) - Risk-Aware World Model Predictive Control for Generalizable End-to-End Autonomous Driving [82.69496624372944]
「専門家のように運転するのが普通」は限定的な一般化に苦しむ。
E2E-ADシステムは専門家の行動監督なしに信頼できる判断を下せるか?
本稿では,リスクを意識した世界モデル予測制御という統合フレームワークを提案する。
論文 参考訳(メタデータ) (2026-02-26T17:32:30Z) - Multimodal Belief-Space Covariance Steering with Active Probing and Influence for Interactive Driving [14.159772216001954]
我々は、粗い離散意図と微妙な動きモードにまたがって人間の行動を構造化する階層的信念モデルを導入する。
人間の予測におけるマルチモーダルなあいまいさが安全を損なう可能性があることを識別するアクティブな探索戦略を開発する。
最後に、Conditional Value-at-Riskに基づく実行時リスク評価レイヤは、すべての調査アクションが影響の間、人間のリスク許容範囲内に留まることを保証します。
論文 参考訳(メタデータ) (2026-02-16T08:04:16Z) - From Passive Metric to Active Signal: The Evolving Role of Uncertainty Quantification in Large Language Models [77.04403907729738]
このサーベイは、受動的診断基準からリアルタイムモデル動作を導くアクティブ制御信号への不確実性の進化をグラフ化する。
3つのフロンティアにまたがるアクティブ制御信号として不確実性がいかに活用されているかを示す。
この調査は、次世代のスケーラブルで信頼性があり、信頼できるAIを構築するためには、新しい不確実性のトレンドを習得することが不可欠である、と論じている。
論文 参考訳(メタデータ) (2026-01-22T06:21:31Z) - Towards provable probabilistic safety for scalable embodied AI systems [79.31011047593492]
エンボディードAIシステムは、様々なアプリケーションでますます普及している。
複雑な運用環境での安全性確保は依然として大きな課題である。
このパースペクティブは、安全で大規模に実施されたAIシステムを安全クリティカルなアプリケーションに採用するための道筋を提供する。
論文 参考訳(メタデータ) (2025-06-05T15:46:25Z) - Know Where You're Uncertain When Planning with Multimodal Foundation Models: A Formal Framework [54.40508478482667]
認識と計画生成の不確実性を解消し、定量化し、緩和する包括的枠組みを提案する。
本稿では,知覚と意思決定の独特な性質に合わせた手法を提案する。
この不確実性分散フレームワークは, 変動率を最大40%削減し, タスク成功率をベースラインに比べて5%向上させることを示した。
論文 参考訳(メタデータ) (2024-11-03T17:32:00Z) - Risk-Sensitive Sequential Action Control with Multi-Modal Human
Trajectory Forecasting for Safe Crowd-Robot Interaction [55.569050872780224]
本稿では,リスクに敏感な最適制御に基づく安全な群集ロボットインタラクションのためのオンラインフレームワークを提案し,そのリスクをエントロピーリスク尺度でモデル化する。
私たちのモジュラーアプローチは、クラウドとロボットの相互作用を学習ベースの予測とモデルベースの制御に分離します。
シミュレーション研究と実世界の実験により、このフレームワークは、現場にいる50人以上の人間との衝突を避けながら、安全で効率的なナビゲーションを実現することができることが示された。
論文 参考訳(メタデータ) (2020-09-12T02:02:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。