論文の概要: Beyond Plausible Prediction: Safety Sufficiency in Web World Models

• arxiv url: http://arxiv.org/abs/2610.40798v1
• Date: Thu, 29 Oct 2026 18:00:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.463267
• Title: Beyond Plausible Prediction: Safety Sufficiency in Web World Models
• Title（参考訳）: プラルーシブルな予測を超えて:Webワールドモデルにおける安全性の十分性
• Abstract要約: ウェブワールドモデルはエージェントが行動する前に候補行動の結果を予測する傾向にあるが、予測可能な未来は必ずしも正しい安全判断を支持するとは限らない。 いくつかのモデルは高度に非対称なオーソライゼーションの振る舞いを示し、低いフェイルセーフの実行と、解明可能なASKのケースのリコールを組み合わせている。 予測インターフェースが、UTEDされたり、ASKによる明確化を必要としたり、あるいはBLOCKEDでなければならないアクションを識別するために必要とされるポリシー決定情報を保存し公開するかどうか。
• 参考スコア（独自算出の注目度）: 61.50474448579379
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Web world models increasingly predict the consequences of candidate actions before agents act, yet a plausible predicted future does not necessarily support the correct safety decision. In a matched human evaluation of 3,000 predictions from ten frozen open models, 86.1% are judged semantically plausible. However, several models exhibit highly asymmetric authorisation behaviour, combining low false-safe execution with poor recall of clarifiable ASK cases and a strong preference for BLOCK. This motivates safety sufficiency: whether a predictive interface preserves and exposes the policy-decisive information required to distinguish actions that may be EXECUTED, require clarification through ASK, or should be BLOCKED. We introduce SafeWebWorld, a benchmark for evaluating safety sufficiency across five web-safety domains through action-conditioned futures, policy-decisive evidence, and policy-conditioned decisions. Under a controlled Security-Aligned Supervised Fine-Tuning protocol, evidence preservation can improve substantially while authorisation-sensitive decisions deteriorate. To determine whether this deterioration reflects loss of authorisation-sensitive score structure or a failure of the decision readout, we introduce Latent Authorisation Recovery (LAR). Frozen-score recalibration reveals substantial but backbone-dependent recovery, while paired recovery provides only a modest additional gain. Yet within-family and matched-authorisation evaluations remain poor, showing that aggregate recoverability does not imply robust fine-grained authorisation behaviour. Overall, plausible prediction, evidence preservation, and aggregate recovery are each insufficient on their own to establish robust authorisation.
• Abstract（参考訳）: ウェブワールドモデルは、エージェントが行動する前に候補者の行動の結果を予測する傾向にあるが、予測可能な未来は必ずしも正しい安全判断を支持していない。 10個の凍結オープンモデルから3000の予測をマッチングした人間の評価では、86.1%が意味論的に妥当であると判断される。 しかしながら、いくつかのモデルは高い非対称なオーソライゼーション行動を示し、低いフェイズセーフの実行と、解明可能なASKケースのリコールの貧弱さと、BLOCKの強い嗜好を組み合わせている。 予測インターフェースが、EXECUTEDである、ASKによる明確化を必要とする、またはBLOCKEDであるべきアクションを識別するために必要なポリシー決定情報を保持し、公開するかどうか。 セーフWebWorldは,行動条件付き未来,政策決定的証拠,政策条件付き決定を通じて,5つのWebセーフティドメインにわたる安全満足度を評価するためのベンチマークである。 制御されたSecurity-Aligned Supervised Fine-Tuningプロトコルの下では、エビデンス保存は大幅に改善され、認可に敏感な決定は悪化する。 この劣化は, 信頼度に敏感なスコア構造が失われることや, 決定読出の失敗を反映しているかどうかを判断するために, 遅延権威回復(LAR)を導入する。 凍結スコアのリカレーションは、実質的ではあるがバックボーンに依存したリカバリを示し、ペア化されたリカバリは、わずかに追加的な利得しか提供しない。 しかし、家族内および一致認可評価は依然として貧弱であり、集合的回復性は、きめ細かなオーソライゼーション動作を強固に示さないことを示している。 全体として、確実な予測、証拠保存、および集合的回復は、それぞれが不十分であり、堅牢な認可を確立する。

関連論文リスト

• What Benchmarks Don't Measure: The Case for Evaluating Abstention Competence in Autonomous Agents [2.8340200313563773]
  自律エージェントのベンチマークは、エージェントがタスクを完了したかどうかを計測するが、このフレーミングはエージェントが進むべきだったかどうかを体系的に見えない。 ヒューマンフィードバックの目的の下で訓練されたエージェントは、入力、証拠、あるいは安全に行動する許可がなくても、進行する構造的な傾向を発達させる。 本稿では,要求される情報が欠落している仕様ギャップ,世界国家が確認できない検証ギャップ,明示的な承認が与えられていない権限ギャップについて紹介する。
  論文  参考訳（メタデータ） (2026-06-01T23:52:56Z)
• Semantic Reward Collapse and the Preservation of Epistemic Integrity in Adaptive AI Systems [0.0]
  近年の強化学習の進歩により、大規模言語モデルのユーザビリティ、一貫性、安全性が大幅に向上した。 実行的確実性などの繰り返しの振る舞いは、スカラー化された選好最適化システム内の未解決構造問題を示唆している。 本稿では,SRC(Semantic Reward Collapse)を提案する。
  論文  参考訳（メタデータ） (2026-05-12T17:03:26Z)
• What Capable Agents Must Know: Selection Theorems for Robust Decision-Making under Uncertainty [1.6868147729303773]
  我々は「選択定理」を証明し、低い「平均的な後悔」がエージェントに予測的、構造化された内部状態を実装することを強制することを示す。 後悔は、最適当量に対する確率質量を制限することを示し、高マージンな結果の分離に必要な予測的区別を強制する。
  論文  参考訳（メタデータ） (2026-03-03T00:47:58Z)
• Confidential Guardian: Cryptographically Prohibiting the Abuse of Model Abstention [65.47632669243657]
  不正直な機関は、不確実性の観点からサービスを差別または不正に否定する機構を利用することができる。 我々は、ミラージュと呼ばれる不確実性誘導攻撃を導入することで、この脅威の実践性を実証する。 本研究では,参照データセット上のキャリブレーションメトリクスを分析し,人工的に抑制された信頼度を検出するフレームワークであるConfidential Guardianを提案する。
  論文  参考訳（メタデータ） (2025-05-29T19:47:50Z)
• On the Robustness of Adversarial Training Against Uncertainty Attacks [9.180552487186485]
  学習問題において、手元のタスクに固有のノイズは、ある程度の不確実性なく推論する可能性を妨げている。 本研究は、敵の例、すなわち、誤分類を引き起こす注意深く摂動されたサンプルに対する防御が、より安全で信頼性の高い不確実性推定を保証していることを実証的および理論的に明らかにする。 我々は,CIFAR-10およびImageNetデータセット上で,公開ベンチマークのRobustBenchから,複数の逆ロバストモデルを評価する。
  論文  参考訳（メタデータ） (2024-10-29T11:12:44Z)
• Criticality and Safety Margins for Reinforcement Learning [53.10194953873209]
  我々は,定量化基盤真理とユーザにとっての明確な意義の両面から,批判的枠組みを定めようとしている。 エージェントがn連続的ランダム動作に対するポリシーから逸脱した場合の報酬の減少として真臨界を導入する。 我々はまた、真の臨界と統計的に単調な関係を持つ低オーバーヘッド計量であるプロキシ臨界の概念も導入する。
  論文  参考訳（メタデータ） (2024-09-26T21:00:45Z)
• Safety Margins for Reinforcement Learning [53.10194953873209]
  安全マージンを生成するためにプロキシ臨界度メトリクスをどのように活用するかを示す。 Atari 環境での APE-X と A3C からの学習方針に対するアプローチを評価する。
  論文  参考訳（メタデータ） (2023-07-25T16:49:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。