論文の概要: Routing Probes Can Improve Without New Information: An Exact-Null Audit of Uncertainty Beyond Model Outputs
- arxiv url: http://arxiv.org/abs/2609.38956v1
- Date: Wed, 30 Sep 2026 04:22:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.182906
- Title: Routing Probes Can Improve Without New Information: An Exact-Null Audit of Uncertainty Beyond Model Outputs
- Title(参考訳): ルーティング・プローブは新たな情報無しで改善できる:モデルアウトプットを超える不確実性に関する厳密な監査
- Abstract要約: 現代の視覚変換器のルーティング信号は、しばしばモデルが正しいかどうかを予測するプローブを改善する。
この推論は、解離データに固定された凍結出力のみのジェネレータから正当性ラベルを再描画することによって直接テストする。
実正性ラベルについて、条件解析は、DeiTの5つの注意-残留族におけるモデル的証拠をもたらす。
- 参考スコア(独自算出の注目度): 14.727396825167917
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Routing signals of modern vision transformers -- expert gates, attention-residual weights and halting scores -- often improve probes that predict whether the model is correct, and the improvement is commonly read as evidence that routing carries information about errors beyond the model's outputs. We test this inference directly: keeping real output-routing pairs, we redraw correctness labels from a frozen output-only generator fitted on disjoint data, so that routing is uninformative by construction. Under this exact label null, a width-matched MLP comparison still reports a routing gain in 51.3% of confidence-only evaluations (308/600), while a linear comparison reports none. Holding each training trajectory fixed on a six-model panel and selecting the checkpoint by validation log loss instead of validation accuracy removes the detections (50/120 to 0/120, and 83/120 to 0/120 in an independently implemented probe), identifying accuracy-based checkpoint selection as the cause; across all output views the raw detection rate falls from 27.5% (528/1,920) to zero observed detections. The repaired comparison is not sensitive, detecting an implanted signal of about 0.005 nats in 0/20 replicates in each of two matched settings, whereas a conditional permutation test built on an estimated routing law detects it in 11/20 and 10/20 and rejects rarely under the null. On real correctness labels, the conditional analysis yields model-relative evidence in five DeiT attention-residual families; in four it persists under two specified variants of the conditional law, and no family passes an additional noise criterion. Fitting a better probe and testing for incremental information are different problems, and each needs its own validation.
- Abstract(参考訳): 現代の視覚変換器(エキスパートゲート、注意-残留重量、停止スコア)のルーティング信号は、しばしばモデルが正しいかどうかを予測するプローブを改善し、この改善は、ルーティングがモデルの出力を超えたエラーに関する情報を運ぶ証拠として一般的に読まれる。
実際の出力ルーティングペアを保ち、解離データに固定された凍結出力専用ジェネレータから正当性ラベルを再描画することにより、ルーティングが構築によって非形式化されるようにする。
この正確なラベル null の下では、幅にマッチした MLP 比較では、信頼のみの評価(308/600)の51.3%のルーティング増加が報告されているが、線形比較では報告されていない。
6モデルパネルに固定された各トレーニング軌跡を保持し、検証精度の代わりに検証ログロスによるチェックポイントを選択することで、独立に実装されたプローブにおいて検出(50/120から0/120、83/120から0/120)を除去し、精度ベースのチェックポイント選択を原因と同定し、全ての出力ビューにおいて、生検出率は27.5%(528/1,920)からゼロとなる。
一方、推定ルーティング法に基づいて構築された条件置換テストは、11/20と10/20で検出し、ヌルの下ではめったに拒否する。
実正性ラベルでは、条件解析は、DeiTの5つの注意-残留族においてモデル相対的な証拠をもたらすが、4つの条件法則の2つの特定の変種の下で持続する。
より優れた調査とインクリメンタルな情報のテストは異なる問題であり、それぞれ独自の検証が必要です。
関連論文リスト
- From Routing Signals to Selective Review: Visual regrounding in MoE VLMs [48.07726955428853]
視覚言語モデル(VLM)は偽の視覚的前提を受け入れ、対象の物体の色、数、位置、状態について疑問に答える。
本稿では,Mixture-of-Experts (MoE)VLMにおける内部ルーティング決定を活用するための最初のフレームワークを提案する。
提案手法は,MoE VLMによってすでに作成されており,低コストな検出と選択的な視覚的リグラウンドを支援することができる。
論文 参考訳(メタデータ) (2026-09-29T17:49:07Z) - The Price of Peeking: Anytime-Valid Leakage Detection on ML-KEM EM Traces [45.88028371034407]
本研究は, ベットによる検査に基づく漏洩検出について検討する。
13000~20000のサンプルに対して繰り返し表示される$|t|>4.5$は2.7-12.9%の複製で誤報を発生させた。
論文 参考訳(メタデータ) (2026-09-27T14:14:10Z) - Where the Numbers Come From: Auditing Evaluation in Provenance-Based Intrusion Detection [42.49426058823369]
証明に基づく侵入検知器のスコアを再現しても、そのアラームの出力やエンコーダが使用する情報についてそのスコアが何を言っているかは定かでない。
我々は、リリースした9つの実装を監査し、独自のコードを使用して4つの検出器を実行し、3つの測定効果を分離する。
論文 参考訳(メタデータ) (2026-09-27T13:01:02Z) - The Model Proposes, the Code Disposes: A Pre-Registered Ablation of a Verifier-and-Acceptance Stage in an LLM-Orchestrated Offensive-Security Agent [0.0]
決定的コードによって検証が強制されるモデル検証装置である検証受理段階が、LCMが主導する攻撃セキュリティエージェントが報告するものを変更するかどうかを評価する。
本報告では,15回の探索パイロット,20回の予備登録検定アブレーション,および2回の故意に脆弱な検査対象を40回実施した2×2因子分析を行った。
検証者はシステムが提供するものを変更し、決定論的コードは強制と監査性を提供します。
論文 参考訳(メタデータ) (2026-09-14T17:13:05Z) - Validation-Frontier Representation Selection under Constrained Observation [0.0]
本稿では,制約観測下での表現選択について検討する。
本稿では, バランスの取れた精度と, 機能コスト, 過度なギャップ, 検証テストの不安定性に対するペナルティを組み合わせた検証最前線セレクタを提案する。
論文 参考訳(メタデータ) (2026-08-15T07:40:39Z) - Two Regimes of Chain-of-Thought Unfaithfulness: Behavioral Detection Fails Where Models Are Wrong [1.2744523252873352]
ブラックボックス(行動)によるFaithCoT-Benchの人間のアノテーションに対する不誠実なCoTの検出。
答えの正しさはあらゆるレベルで問題を構成する。
論文 参考訳(メタデータ) (2026-07-26T04:43:53Z) - Falsification-Based Verification of LLM-Generated Optimization Models: Sound Test Batteries and Their Detection Limits [1.7545090618311434]
大規模言語モデルは、決定問題の自然言語記述をソルバ対応最適化モデルに変換するが、それらは静かに失敗する。
本稿では,この設定に対するファルシフィケーションに基づく検証理論を考案する。
記述中の全ての数値は型付きスロットであり、候補モデルはスロット変換されたインスタンスのソルバ呼び出しによってのみテストされる。
論文 参考訳(メタデータ) (2026-07-18T05:32:37Z) - The Hidden Signal of Verifier Strictness: Controlling and Improving Step-Wise Verification via Selective Latent Steering [67.8271652641864]
我々は,隠蔽状態の介入によって検証の厳密性を制御できるかどうかを検討した。
VerifySteerは、サンプルレベルのルーティングに潜時補正信号を使用し、段落境界に選択的に介入する。
論文 参考訳(メタデータ) (2026-05-20T05:48:16Z) - SpatialBench-UC: Uncertainty-Aware Evaluation of Spatial Prompt Following in Text-to-Image Generation [0.0]
SpaceBench-UCは、ペアの空間関係を再現可能な小さなベンチマークである。
ベンチマークパッケージ、バージョン付きプロンプト、ピン付き構成、サンプルごとのチェッカー出力、レポートテーブルをリリースします。
安定拡散1.5, SD 1.5 BoxDiff, SD 1.4 GLIGENの3つのベースラインについて検討した。
論文 参考訳(メタデータ) (2026-01-19T23:37:10Z) - Conservative Prediction via Data-Driven Confidence Minimization [70.93946578046003]
機械学習の安全性クリティカルな応用においては、モデルが保守的であることが望ましいことが多い。
本研究では,不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化フレームワークを提案する。
論文 参考訳(メタデータ) (2023-06-08T07:05:36Z) - Detecting Errors and Estimating Accuracy on Unlabeled Data with
Self-training Ensembles [38.23896575179384]
本稿では,この2つの課題に同時に対処する,原則的かつ実用的な枠組みを提案する。
1つのインスタンス化は、教師なし精度推定における推定誤差を少なくとも70%削減し、エラー検出のためのF1スコアを少なくとも4.7%改善する。
iWildCamでは、教師なし精度推定における推定誤差を少なくとも70%削減し、エラー検出のためのF1スコアを少なくとも4.7%改善する。
論文 参考訳(メタデータ) (2021-06-29T21:32:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。