論文の概要: Where World Models Break: Natural-Input Failure Discovery
- arxiv url: http://arxiv.org/abs/2608.22421v1
- Date: Sun, 23 Aug 2026 13:53:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.765226
- Title: Where World Models Break: Natural-Input Failure Discovery
- Title(参考訳): 世界モデルが破滅する場所:自然界の失敗発見
- Abstract要約: 本研究では, 自然入力障害発見問題を定式化し, 重度の予測リスクを生じさせる環境変数条件と行動プレフィックスを求める。
本研究では,不確実性誘導型グローバルサーチと型付き局所置換器とのペアリングにより,有効な入力の基盤構造を利用するBassenLensを提案する。
- 参考スコア(独自算出の注目度): 13.330611636170103
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: World models predict action-conditioned futures and serve as critical internal simulators for downstream planning and control. However, catastrophic prediction failures of world models could dangerously propagate through the control pipeline, as subsequent agent or model training and decision-making depend heavily on the continuous environment evolution forecasted by these world models. Existing evaluations overlook this systemic risk: by aggregating average errors over benign generations from general queries, they fail to stress-test the model against catastrophic collapses under rare or unobserved condition-action combinations. To bridge this gap, we formalize the natural-input failure discovery problem: under a finite query budget, finding environment-valid conditions and action prefixes that induce severe prediction risk, verifying whether these failures reproduce on fresh seeds, and testing their persistence under nearby valid edits. Discovering such critical failures is computationally challenging, as valid condition-action combinations explode exponentially, rendering exhaustive search or standard sampling infeasible given the high cost of noisy rollouts. To tackle this, we propose BasinLens, which exploits the underlying structure of valid inputs, where each coordinate possesses environment-defined semantic types and admissible domains, by pairing uncertainty-guided global search with typed local replacements. Across diverse benchmarks and world-model families, BasinLens exposes reproducible and locally persistent failure modes that conventional evaluations fail to reveal, showing that average-case benchmarks can mask important vulnerabilities in world-model-driven control.
- Abstract(参考訳): 世界モデルは行動条件付き未来を予測し、下流の計画と制御のための重要な内部シミュレータとして機能する。
しかしながら、世界モデルの破滅的な予測失敗は、その後のエージェントやモデルトレーニングや意思決定は、これらの世界モデルによって予測される継続的環境の進化に大きく依存するため、制御パイプラインを通じて危険に伝播する可能性がある。
一般的なクエリから、良質な世代に対する平均エラーを集約することで、希少または未観測の条件-作用の組み合わせの下で破滅的な崩壊に対してモデルをストレステストすることができない。
このギャップを埋めるために、我々は、有限のクエリ予算の下で、深刻な予測リスクを誘発する環境に有意な条件と行動プレフィックスを見つけ、これらの障害が新鮮な種子で再現されるかどうかを検証し、それらの持続性を近くの有効な編集の下で検証する、自然入力障害発見問題を定式化する。
有効な条件-動作の組み合わせが指数関数的に爆発的に爆発し、ノイズの多いロールアウトのコストが高いため、徹底的な探索や標準サンプリングが不可能になるため、そのような臨界障害の発見は計算的に困難である。
そこで本研究では,各座標が環境定義のセマンティックタイプや許容可能なドメインを持つような,有効な入力の基盤となる構造を利用して,不確実性の誘導されたグローバル検索と型付き局所的な置換を組み合わせて提案する。
さまざまなベンチマークとワールドモデルファミリにわたって、BassenLensは、従来の評価では示さない再現可能な、局所的な障害モードを公開し、平均ケースベンチマークが、ワールドモデル駆動コントロールの重要な脆弱性を隠蔽することを示した。
関連論文リスト
- FMMO: Detecting the Divergence Between Local Attribution and Global Drift [2.007262412327553]
デプロイ後のドリフトは、アルゴリズム的な説明責任に重大なリスクをもたらす。
モデル信頼性が低下しても, 局所帰属法が誤導安定性を示すことを示す。
本研究では,局所的な説明安定とグローバルな分布シフトの相違を明らかにするために,FMMO(Model Monitoring and Observability)フレームワークを提案する。
論文 参考訳(メタデータ) (2026-09-05T16:25:59Z) - Covariance-Boosted Gaussian Processes for Spatiotemporal Irregularities [0.0]
本稿では,衛星ベースの拡張システムのための電離層モデリングにより,共分散ブーストガウス過程(CBGP)フレームワークを提案する。
CBGPモデルの有効性とロバスト性は、シミュレーションと実世界の両方のアプリケーションのサンプル外テストによって実証される。
南アメリカ上空の広範囲な電離圏嵐データセットのモデリングは、SBASの電離圏補正を計算する正確で信頼性の高い手段を示唆している。
論文 参考訳(メタデータ) (2026-07-25T03:24:04Z) - Estimating Rare Events in Language Models with Proper Evaluation [16.1901795614153]
GA-AMLS(Gradient Activation Adaptive Multi-Level Splitting)を導入する。
GA-AMLSは、言語モデルの連続活性化空間に希少なモンテカルロ法を適用する。
また、ゼロ推定に対して有限な適切なスコアリング規則であるシフトパワー・ブレグマン(SPB)ロス(英語版)を提案する。
論文 参考訳(メタデータ) (2026-07-20T19:07:43Z) - Foundational World Models Accurately Detect Bimanual Manipulator Failures [21.93685012734004]
我々は、事前学習された視覚基盤モデルの圧縮潜在空間内で、確率的、歴史的、世界モデルを訓練する。
このモデルは、整合予測フレームワーク内の非整合性スコアとして機能する予測と共に不確実性推定を出力する。
また,本手法の学習手法として,トレーニング可能なパラメータの約20分の1が必須であることを示す。
論文 参考訳(メタデータ) (2026-03-07T02:11:29Z) - ProbeLLM: Automating Principled Diagnosis of LLM Failures [89.44131968886184]
ProbeLLMはベンチマークに依存しない自動探索フレームワークで、個々の障害から構造的障害モードへの脆弱性発見を増大させる。
ProbeLLMは、検証可能なテストケースにプローブを制限し、ツールの拡張された生成と検証を活用することで、信頼性のある証拠として障害発見を根拠とする。
論文 参考訳(メタデータ) (2026-02-13T14:33:13Z) - Character as a Latent Variable in Large Language Models: A Mechanistic Account of Emergent Misalignment and Conditional Safety Failures [70.48661957773449]
創発的ミスアライメント(英: Emergent Misalignment)とは、狭い範囲のデータに対する微調整された大きな言語モデルによって、広範囲に不整合な振る舞いが引き起こされる障害モードを指す。
複数のドメインやモデルファミリにまたがって、特定の文字レベルの配置を示すデータの微調整モデルは、誤操作よりもはるかに強く、転送可能な微調整を誘導する。
論文 参考訳(メタデータ) (2026-01-30T15:28:42Z) - Revisiting Multivariate Time Series Forecasting with Missing Values [65.30332997607141]
現実の時系列では欠落値が一般的である。
現在のアプローチでは、計算モジュールを使用して、不足した値を補う、計算済みの予測フレームワークが開発されている。
このフレームワークは、致命的な問題を見落としている: 欠落した値に対して基礎的な真理は存在せず、予測精度を劣化させる可能性のあるエラーの影響を受けやすいようにしている。
本稿では,Information Bottleneck原則に基づく新しいフレームワークであるConsistency-Regularized Information Bottleneck(CRIB)を紹介する。
論文 参考訳(メタデータ) (2025-09-27T20:57:48Z) - TrustLoRA: Low-Rank Adaptation for Failure Detection under Out-of-distribution Data [62.22804234013273]
本稿では,共変量および意味的シフトの両条件下での拒絶による分類を統一し,促進する,単純な故障検出フレームワークを提案する。
キーとなる洞察は、障害固有の信頼性知識を低ランクアダプタで分離し、統合することにより、障害検出能力を効果的かつ柔軟に向上できるということです。
論文 参考訳(メタデータ) (2025-04-20T09:20:55Z) - Benchmarking the Spatial Robustness of DNNs via Natural and Adversarial Localized Corruptions [49.546479320670464]
本稿では,セグメンテーションモデルの空間的ロバスト性を評価するための特別な指標を紹介する。
本稿では,モデルロバスト性をより深く理解する手法として,地域対応型マルチアタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック分析を提案する。
その結果、モデルがこれらの2種類の脅威に異なる反応を示すことが明らかとなった。
論文 参考訳(メタデータ) (2025-04-02T11:37:39Z) - Reshaping the Online Data Buffering and Organizing Mechanism for Continual Test-Time Adaptation [49.53202761595912]
継続的なテスト時間適応は、訓練済みのソースモデルを適用して、教師なしのターゲットドメインを継続的に変更する。
我々は、オンライン環境、教師なしの自然、エラー蓄積や破滅的な忘れのリスクなど、このタスクの課題を分析する。
教師なしシングルパスデータストリームから重要サンプルを高い確実性で識別・集約する不確実性を考慮したバッファリング手法を提案する。
論文 参考訳(メタデータ) (2024-07-12T15:48:40Z) - Condition Monitoring with Incomplete Data: An Integrated Variational Autoencoder and Distance Metric Framework [2.7898966850590625]
本稿では,未確認データに対する故障検出と条件モニタリングのための新しい手法を提案する。
我々は変分オートエンコーダを用いて、以前に見られた新しい未知条件の確率分布をキャプチャする。
故障は、健康指標のしきい値を確立することで検出され、そのモデルが重大で見えない断層を高い精度で識別することができる。
論文 参考訳(メタデータ) (2024-04-08T22:20:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。