論文の概要: False Reassurance in LLM Severe-Weather Guidance: A Replayable Evaluation Against Real NWS Alerts
- arxiv url: http://arxiv.org/abs/2611.05290v1
- Date: Tue, 03 Nov 2026 18:04:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-07 13:11:41.063644
- Title: False Reassurance in LLM Severe-Weather Guidance: A Replayable Evaluation Against Real NWS Alerts
- Title（参考訳）: LLM重度誘導における虚偽保証 : 実NWSアレルトに対する再生可能な評価
- Abstract要約: 公式の厳しい天候警報を見ることができないアシスタントは、警告がアクティブである間、条件が落ち着いていることをユーザーに知らせる。
我々は、この誤った安心感を、米国国家気象局(National Weather Service)の警告から作られた117件の冷凍ケースをリプレイすることで測定する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: An LLM assistant that cannot see official severe-weather alerts may tell users that conditions are calm while a warning is active. We call this false reassurance and measure it by replaying 117 frozen cases built from real U.S. National Weather Service (NWS) alerts (69 alert cases, 32 no-alert controls, 16 non-U.S. locations) through five conditions of a Claude-based preparedness pipeline that differ in alert access and prompt design. One rater hand-labeled all 342 alert-case responses under a seven-category scheme written after an initial binary pass, which we disclose. False reassurance was 0.0% for the production pipeline (0/66, 95% CI 0.0-5.5) and for the same alerts under a neutral prompt (0/69), 37.7% for a blind neutral prompt (26/69), and 44.9% when the blind prompt also told the model to disclose its blind spot (31/69). Every case was implicit; no response explicitly denied an alert. Real alerts removed false reassurance (paired McNemar p < 0.0001); the disclosure instruction did not (p = 0.40). An automated regex measure suggested the opposite and missed 53 of 57 true cases, so we do not use it. Alert data alone was not enough for safe behavior: with a neutral prompt the model raised some alarm on 87.5% of no-alert controls, against 0% under the production prompt, and a preregistered single-sentence ablation showed that one production instruction explains part of that gap. We also report two failures common to similar systems, NWS test products ingested as real alerts and a token budget that fails on complex cases, and we release the dataset, labels and code.
- Abstract（参考訳）: 公式の厳しい天気予報を見ることができないLLMアシスタントは、警告がアクティブである間、条件が落ち着いていることをユーザーに知らせる。
我々は、この偽の安全性を、実際の米国国家気象局(NWS)の警告(69件の警告ケース、32件の非アラートコントロール、16件の米国外のロケーション)から作られた117件の凍結したケースをクロードベースの準備パイプラインの5つの条件で再生して測定する。
1つのレーダは、初期バイナリパス後に書かれた7カテゴリのスキームの下で、342の警告ケースのレスポンスを手作業でラベル付けしました。
False reassurance は生産パイプライン (0/66, 95% CI 0.0-5.5) と中立的なプロンプト (0/69), 盲目な中立なプロンプト (26/69), 44.9% で、盲目なプロンプトも盲点 (31/69) を開示するようモデルに指示した。
いずれのケースも暗黙的であり、警告を明示的に否定する反応はなかった。
実際のアラートは偽の安全性(マクネマール p < 0.0001)を除去し、開示命令は行わなかった(p = 0.40)。
57例中53例は, 正解率と正解率の差が認められなかったため, 使用しなかった。
中立的なプロンプトにより、このモデルは87.5%の非アラート制御に対して、生産プロンプトの0%に対して警告を発し、事前登録された単一文アブレーションは、そのギャップの一部をある生産指示が説明していることを示した。
また、類似システムに共通する2つの障害を報告し、NWSテスト製品は実際のアラートとして取り込み、トークン予算は複雑なケースで失敗し、データセット、ラベル、コードをリリースします。
関連論文リスト
- When AI Finds Hidden Messages, Does It Report? [2.286543710998786]
無害で有害なメッセージは、メッセージコントロールのないROT13バージョンと一致している。
レポートの要求は、別のAIを受信者として識別するルール検出通知を増加させる。
論文 参考訳（メタデータ） (2026-10-07T08:32:07Z) - Case-Level Verification in Scanner-LLM Cascades: Overcoming the Alert Aggregation Bottleneck to Expand the FRR-TPR Trade-off Space [5.41531730877356]
動的アプリケーションセキュリティテスト(DAST)スキャナーは高いリコールを達成するが、多数の偽陽性を生成する。
LLMは、独立検出に使用される場合、非常に高いリコール(95.4%-100%)を達成するが、非常に高い偽陽性率(49.6%-85.0%)を示す。
ケースレベル毎の検証戦略を導入し、決定の粒度を警告レベルからインスタンスレベルにシフトします。
論文 参考訳（メタデータ） (2026-10-06T14:15:45Z) - The Price of Peeking: Anytime-Valid Leakage Detection on ML-KEM EM Traces [45.88028371034407]
本研究は, ベットによる検査に基づく漏洩検出について検討する。
13000～20000のサンプルに対して繰り返し表示される$|t|>4.5$は2.7-12.9%の複製で誤報を発生させた。
論文 参考訳（メタデータ） (2026-09-27T14:14:10Z) - Where the Numbers Come From: Auditing Evaluation in Provenance-Based Intrusion Detection [42.49426058823369]
証明に基づく侵入検知器のスコアを再現しても、そのアラームの出力やエンコーダが使用する情報についてそのスコアが何を言っているかは定かでない。
我々は、リリースした9つの実装を監査し、独自のコードを使用して4つの検出器を実行し、3つの測定効果を分離する。
論文 参考訳（メタデータ） (2026-09-27T13:01:02Z) - CURA: Certified Runtime Alarms for Computer-Use Agents [6.896160570537455]
セルフレポートは、デプロイが持つ最も安価な監視チャネルであり、有能なコンピュータ使用エージェントでは、監視が重要な場所を正確に失敗する。
361 OSWorldでは、当社のパイプライン、読み取り専用実現ゲート、プランナー、エグゼキュータが、平均タスクスコア82.9に達し、72.4人の参照を上回ります。
71の障害のうち64件(90%)は成功の主張で終わるが、約9100回の呼び出しで明確な失敗の余裕がないことを認めている。
Alarm-gated Mid-execution oversightが障害70件中23件をリカバリし、38日にフロンティア監視機を使用
論文 参考訳（メタデータ） (2026-08-28T00:50:47Z) - From Verdict to Diagnosis: Attributable Security Review of Pull Requests [37.704472942055126]
自動コードレビュアは、プルリクエスト(PR)のゲートとしてますます使われています。
しかし、評価は悪意のある変更をブロックするかどうかを測定する。
89個の悪意のあるPRと50個のペアの良性制御のメカニズム基底ベンチマークであるMalPR-Benchを提案する。
論文 参考訳（メタデータ） (2026-08-26T12:44:33Z) - SNIPTEST: Fuzzing Multi-Level Code Slices for Validating Vulnerabilities [5.543923005131487]
SNIPTESTは、静的分析警告を中心にコンパイルされたコードスライスを生成し、ファズする実行ベースの警告トリアージフレームワークである。
SNIPTESTを実世界の3つのプロジェクトに対して97の真の脆弱性と97の誤報のベンチマークで評価した。
論文 参考訳（メタデータ） (2026-08-18T05:47:13Z) - SafeClawBench: Separating Semantic, Audit-Evidence, and Sandbox Harm in Tool-Using LLM Agents [31.978790013349947]
SafeClawBenchは、600の制御された敵タスクを備えたツール使用エージェントセキュリティのためのベンチマークである。
5つのエージェントエンドポイントを4つのプロンプトレベルポリシーで評価する。
これらのエンドポイントは、異なる障害モードをキャプチャします。
論文 参考訳（メタデータ） (2026-06-16T18:04:45Z) - FineWAVE: Fine-Grained Warning Verification of Bugs for Automated Static Analysis Tools [18.927121513404924]
ASAT(Automated Static Analysis Tools)は、バグ検出を支援するために、時間とともに進化してきた。
これまでの研究は、報告された警告を検証するための学習ベースの方法を探究してきた。
我々は,バグに敏感な警告をきめ細かい粒度で検証する学習ベースアプローチであるFineWAVEを提案する。
論文 参考訳（メタデータ） (2024-03-24T06:21:35Z) - Sample-Efficient Safety Assurances using Conformal Prediction [57.92013073974406]
早期警戒システムは、安全でない状況が差し迫ったときに警告を提供することができる。
安全性を確実に向上させるためには、これらの警告システムは証明可能な偽陰性率を持つべきである。
本稿では,共形予測と呼ばれる統計的推論手法とロボット・環境力学シミュレータを組み合わせたフレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-28T23:00:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。