論文の概要: Towards Safe World Models: Risks, Defenses, and Evaluation

• arxiv url: http://arxiv.org/abs/2610.13372v1
• Date: Fri, 09 Oct 2026 10:45:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.540164
• Title: Towards Safe World Models: Risks, Defenses, and Evaluation
• Title（参考訳）: 安全な世界モデルに向けて:リスク、防衛、評価
• Abstract要約: 本研究は,6段階ライフサイクルを中心とした世界モデルの安全性に関する文献を整理する。 我々は、非敵的障害、攻撃、防衛、評価プロトコル、ベンチマーク、デプロイメント条件を合成する。 私たちはこのフレームワークを使用して、クローズドループと運用上の安全性にモデルレベルの振る舞いを接続するために、クローズドループとどのアトリビューションが未解決であるかを特定する。
• 参考スコア（独自算出の注目度）: 46.987015027894024
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: World models support planning, control, learning from imagined experience, and model-mediated evaluation by predicting action-conditioned consequences. Their safety cannot be inferred from predictive accuracy alone: errors in observations, state and memory, dynamics, evaluation, execution, or feedback can propagate into unsafe decisions and persist through updates. This work organizes the literature on world-model safety around a six-stage lifecycle covering data and observations, state and memory, dynamics and imagination, evaluation and planning, action and control, and feedback and update. We synthesize non-adversarial failures, attacks, defenses, evaluation protocols, benchmarks, and deployment conditions, and distinguish evidence directness from outcome level. The current evidence corpus contains 163 cited works. We use the framework to identify where claims are supported, where attribution remains unresolved, and which measurements are needed to connect model-level behavior to closed-loop and operational safety.
• Abstract（参考訳）: 世界モデルは、計画、制御、想像された経験からの学習、行動条件による結果の予測によるモデルによる評価をサポートする。 観察、状態とメモリ、ダイナミクス、評価、実行、フィードバックのエラーは、安全でない決定へと伝播し、更新を通じて持続する。 この研究は、データと観測、状態と記憶、ダイナミクスと想像力、評価と計画、行動と制御、フィードバックと更新を含む6段階ライフサイクルに関する世界モデルの安全性に関する文献をまとめている。 我々は、非敵的障害、攻撃、防衛、評価プロトコル、ベンチマーク、展開条件を合成し、証拠の直接性を結果レベルと区別する。 現在のエビデンス・コーパスには163点が引用されている。 私たちはこのフレームワークを使用して、クローズドループと運用上の安全性にモデルレベルの振る舞いを接続するために、クローズドループとどのアトリビューションが未解決であるかを特定する。

関連論文リスト

• World Models for Embodied Intelligence: From Plausible to Controllable to Actionable [100.13060753774657]
  世界モデルは、隠れた状態を維持し、結果を予測し、介入を比較し、実行が期待から外れたときに適応することによって、インテリジェンスにおける知覚と意思決定を結びつける。 これは、どの予測能力が振る舞いを改善するかという、中心的な疑問を提起する。 可塑性モデルは、タスク関連時間的・幾何学的・物理的構造を保存し、制御可能なモデルは、介入がどのように構造を変えるかを予測し、アクション可能なモデルは、予測を計画、行動、学習、評価、検証、回復、データ選択において測定可能な利得に変換する。
  論文  参考訳（メタデータ） (2026-09-15T06:22:42Z)
• Safety in Self-Evolving Agents: A Survey [65.20955577335691]
  大きな言語モデル(LLM)は強力な汎用能力を示すが、そのパラメータは通常、デプロイ後に固定され、新しいインタラクションからの学習が制限される。 経験が再利用可能な状態になり、過去の出来事が将来の原因になり、ある文脈で無害な情報が後により大きな永続性、権威、あるいは範囲で決定に影響を与える可能性がある。 私たちは、再利用可能な影響を特定する移行中心のフレームワークであるSAVERを導入し、Adaptationは変更の仕方を捉え、Violationは破損した安全属性を特定し、障害が観測可能な露出マークを識別し、Responseは封じ込め、修復、取り消しを評価します。
  論文  参考訳（メタデータ） (2026-09-08T05:04:40Z)
• Rethinking World Models for Safety-Critical Embodied Systems [3.802367963338718]
  この視点は、現在の世界モデリングにおける3つの構造的ミスマッチを識別する。 我々は、安全クリティカルな実施システムのための意思決定中心の研究方向として、リスクインフォームド・ワールド・モデル(RIWM)を提案する。
  論文  参考訳（メタデータ） (2026-09-03T12:44:44Z)
• Security of World-Model-Based Embodied AI: A Lifecycle of Threats, Defenses, and Evaluation [15.943456899620053]
  この調査は、データ構築と表現学習、状態の接地と想像、軌道評価、実行、メモリとツールによる長期適応など、ライフサイクル全体の脅威をトレースする。 毒殺、バックドア、敵の例、センサーの密輸、迅速な注射、軌道操作、サプライチェーン攻撃は、世界国家を腐敗させたり、ダイナミクスを学んだり、余計な見積り、安全コストなど、異なる意味を持つ。 この調査は、ライフサイクル分類を提供し、既存の攻撃を世界モデルのセキュリティ特性にマッピングし、安全性障害の評価プロトコルを概説する。
  論文  参考訳（メタデータ） (2026-07-30T13:58:33Z)
• Towards Trustworthy Embodied Intelligence: A Systems Framework and Graded Trustworthiness Levels [53.63220028820581]
  身体的知性は、学習した知覚と意思決定をリアルタイムの計算、制御、物理的相互作用と統合する。 我々は,信頼に値するインテリジェンスを,特定のタスクを確実に実行するための持続能力として定義する。
  論文  参考訳（メタデータ） (2026-07-28T17:50:44Z)
• Security in the Fine-Tuning Lifecycle of Large Language Models: Threats, Defenses,Evaluation, and Future Directions [21.047807094226986]
  本稿では,大規模言語モデルの微調整セキュリティに関する体系的な調査を行う。 攻撃と防御を比較するライフサイクルベースのフレームワークを確立する。 我々は、重要なオープンな問題(構成ロバスト防衛、異相防衛構成、行動仮定を超えた埋め込み空間攻撃)を特定し、具体的な今後の研究方向性を提案する。
  論文  参考訳（メタデータ） (2026-05-24T13:34:47Z)
• Safety by Measurement: A Systematic Literature Review of AI Safety Evaluation Methods [0.0]
  この文献レビューは、急速に進化するAI安全性評価の分野を集約する。 それは、どの特性を計測するか、どのように測定するか、そしてこれらの測定がフレームワークにどのように統合されるかという、3つの次元に関する体系的な分類法を提案する。
  論文  参考訳（メタデータ） (2025-05-08T16:55:07Z)
• Safety at Scale: A Comprehensive Survey of Large Model and Agent Safety [296.5392512998251]
  我々は、敵攻撃、データ中毒、バックドア攻撃、ジェイルブレイクとプロンプトインジェクション攻撃、エネルギー遅延攻撃、データとモデル抽出攻撃、出現するエージェント固有の脅威を含む、大規模なモデルに対する安全脅威の包括的分類を提示する。 我々は、大規模なモデル安全性におけるオープンな課題を特定し、議論し、包括的な安全性評価、スケーラブルで効果的な防御機構、持続可能なデータプラクティスの必要性を強調します。
  論文  参考訳（メタデータ） (2025-02-02T05:14:22Z)
• A Unified Evaluation of Textual Backdoor Learning: Frameworks and Benchmarks [72.7373468905418]
  我々は,テキストバックドア学習の実装と評価を促進するオープンソースツールキットOpenBackdoorを開発した。 また,単純なクラスタリングに基づく防御ベースラインであるCUBEを提案する。
  論文  参考訳（メタデータ） (2022-06-17T02:29:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。