論文の概要: Detection Is Not Early Warning: Evaluating Token-Level Alarms on Language Model Failures
- arxiv url: http://arxiv.org/abs/2611.16803v1
- Date: Thu, 12 Nov 2026 13:43:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.481341
- Title: Detection Is Not Early Warning: Evaluating Token-Level Alarms on Language Model Failures
- Title(参考訳): 検出は早期警告ではない - 言語モデル失敗に対するToken-Level Alarmsの評価
- Abstract要約: PREWARNはアノテートされたオンセットを持つあらゆる障害に対する評価プロトコルである。
検証データに対する各モニタのしきい値を、アプリケーションに選択されたエラー率に校正する。
3つのタスクの開始に対してアラームを鳴らす。
- 参考スコア(独自算出の注目度): 19.056412789567574
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many failures of language models begin at a specific token, the onset. A monitor that reads the model during generation can classify the finished response, detect the failure once it is under way, or warn before it begins, and only a warning leaves time to stop or steer the generation. Monitors are usually evaluated with response-level metrics such as AUROC, which ignore when the monitor fires. We introduce PREWARN, an evaluation protocol for any failure with an annotated onset. It calibrates each monitor's threshold on validation data to an error rate chosen for the application, runs the monitor, and scores its alarms relative to the onset on all three tasks. As a case study we apply it to repetitive degeneration in three open language models, with early warning as the main task, using linear probes on activations and six untrained baselines. Response-level metrics saturate on this failure, and a rule that reads only the response length scores almost perfectly, while probes that AUROC ranks as equal warn very differently under PREWARN. Probes warn before the onset on most degenerate responses of two of the three models, low-rank adapters below the probe more than double the share of tokens just before the onset that it flags, largely by flagging degenerate responses long before the onset, and no untrained baseline warns much more often than random alarms. We release the probes with calibrated thresholds at https://huggingface.co/collections/marcodene/prewarn-degeneration-probes
- Abstract(参考訳): 言語モデルの多くの失敗は、特定のトークン、すなわち開始から始まる。
生成時にモデルを読み取るモニタは、完了した応答を分類したり、進行中の障害を検出したり、開始前に警告を発したりできる。
モニターは通常、AUROCのような応答レベルのメトリクスで評価される。
注釈付きオンセットによる障害評価プロトコルであるpreWARN を導入する。
検証データに対する各モニタのしきい値を、アプリケーションに選択されたエラー率に校正し、モニタを実行し、3つのタスクの開始に対してアラームをスコアする。
ケーススタディでは,3つのオープン言語モデルにおいて,アクティベーションに対する線形プローブと6つの未学習ベースラインを用いて,早期に警告を主課題とする反復的デジェネレーションに適用する。
応答レベルの指標はこの障害で飽和し、応答長のみを読み取るルールはほぼ完璧である一方、AUROCはpreWARNの下では同等に警告される。
プローブは3つのモデルのうち、ほとんどの退化反応の開始前に警告し、プローブの下の低ランクのアダプタは、それがフラグする直前にトークンのシェアを2倍以上に増やした。
We release the probes with calibrated thresholds at https://huggingface.co/collections/marcodene/prewarn-degeneration-probes
関連論文リスト
- Before They Can Solve: Predicting Post-Training Coding-Agent Performance from Base Models [87.94969284553706]
エンド・ツー・エンドのpass@$K$は、成功した振る舞いがベースモデルのディストリビューションにすでに現れるかどうかをテストする。
コールドスタートからハーネスを駆動するために、ベースチェックポイントを必要としない3つのスクリーンを構築します。
3つの画面はいずれも、ポストトレーニング後のSWE-bench Verified pass@$1$と密接に一致して、コホートをランク付けする。
論文 参考訳(メタデータ) (2026-10-07T17:37:19Z) - Controlled Decoding Attacks on Black-Box LLMs [68.46062477706256]
Methodは、繰り返しサンプリングとアシスタント-継続を可能にする、テキストのみの継続インターフェイスを通じてジェイルブレイクを行うためのフレームワークである。
Risk-Gated Residual Controlは、進化する応答プレフィックスを使用して、配布の再構築と修正をいつ行うかを決定する。
Speculative Multi-Token Executionは、介入を必要としないドラフトプレフィックスの検証と受け入れによって、さらにターゲットコールを償却する。
論文 参考訳(メタデータ) (2026-09-29T07:58:49Z) - FailureSpot: Label-Efficient Timestamp-Level Failure Detection for Vision-Language-Action Models [12.030216781017558]
視覚言語アクション(VLA)ポリシーは、長時間の水平実行中に予測不可能に失敗する可能性がある。
本稿では、まずラベルのないVLAアクションチャンクを利用して弱い監視信号を構築するデータ効率のフレームワークを提案する。
次に、アクティブラーニングを使用して、タイムスタンプレベルのアノテーションに対して最も不確実な軌跡のみを選択する。
論文 参考訳(メタデータ) (2026-09-03T00:04:06Z) - What the Detector Can See: Evaluating CPS Anomaly Detectors Independently of the Decision Rule [6.145872664954402]
異常検知器は、しばしばサイバー物理システムの最後の防御線である。
これらの検出器は通常、単一の動作点における精度、リコール、F1を用いて比較される。
我々は、CPS異常検出器を2段階のパイプラインとして扱う:ステージ1は残差に観測をマッピングし、ステージ2は残差をアラームにマッピングする。
我々は,3つのCPSベンチマーク(SWaT,WADI,HAI)の5つの検出器を評価した。
論文 参考訳(メタデータ) (2026-08-03T19:35:00Z) - Contextualized Early Detection of Online Firestorms: A Sequential LLM-Based Approach [0.059871517630143346]
本稿では,2つの動作モードを持つLLMに基づく検出システムを提案する。
最初のモードでは、局所的なチャンクレベルの評価をスレッドレベルの判断に組み合わせることで、完全なRedditスレッドを振り返りに分類する。
第2モードはスレッドを順次処理し、スライディングウィンドウが校正しきい値を超えた場合に早期警告を発行する。
このモードでは、言語モデルは、負のシェア、エスカレーションレベル、コントリビュータカウントの3つのファイアストインジケータを推定する。
論文 参考訳(メタデータ) (2026-07-16T13:05:39Z) - Beyond Linear Probes: Dynamic Safety Monitoring for Language Models [67.15793594651609]
従来の安全モニタは、クエリ毎に同じ量の計算を必要とする。
動的アクティベーションモニタリングのための線形プローブの自然な拡張であるTrncated Polynomials (TPCs)を紹介する。
我々の重要な洞察は、TPCを段階的に、短期的に訓練し、評価できるということです。
論文 参考訳(メタデータ) (2025-09-30T13:32:59Z) - Towards Automated Error Discovery: A Study in Conversational AI [48.735443116662026]
本稿では,会話型AIにおけるエラーの検出と定義のためのフレームワークであるAutomated Error Discoveryを紹介する。
また,その実装に対するエンコーダに基づくアプローチとして,SEEED(Soft Clustering Extended-Based Error Detection)を提案する。
論文 参考訳(メタデータ) (2025-09-13T14:53:22Z) - Language Models Can Predict Their Own Behavior [29.566208688211876]
言語モデル(LM)は、アライメントトレーニングに従わないなど、特定の振る舞いを示すことができます。
入力トークンの内部表現だけで訓練されたプローブは、出力シーケンス全体にわたって幅広い結果の挙動を予測することができることを示す。
プローブ上に構築された早期警報システムは、脱獄を91%削減する。
論文 参考訳(メタデータ) (2025-02-18T23:13:16Z) - Real-Time Predictive Maintenance using Autoencoder Reconstruction and
Anomaly Detection [0.2446672595462589]
回転機械故障検出システムは時代遅れであり、故障を発見するための定期的な試験に依存している。
リアルタイム監視は、手動による観察を必要とせずに障害を検出するソリューションを提供する。
本稿では,通常の作業動作をモデル化し,異常を検出する機械学習(ML)アプローチを提案する。
論文 参考訳(メタデータ) (2021-10-01T12:25:25Z) - Probing Model Signal-Awareness via Prediction-Preserving Input
Minimization [67.62847721118142]
モデルが正しい脆弱性信号を捕捉して予測する能力を評価する。
SAR(Signal-Aware Recall)と呼ばれる新しい指標を用いて,モデルの信号認識を計測する。
その結果,90年代以降のリコールから60年代以降のリコールは,新たな指標で大幅に減少した。
論文 参考訳(メタデータ) (2020-11-25T20:05:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。