論文の概要: Auditing Routing Entropy as an Uncertainty Signal in Attention-Residual Transformers
- arxiv url: http://arxiv.org/abs/2610.01495v1
- Date: Thu, 01 Oct 2026 11:37:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:24.088417
- Title: Auditing Routing Entropy as an Uncertainty Signal in Attention-Residual Transformers
- Title（参考訳）: 注意・残留変圧器の不確かさ信号としてのルーティングエントロピーの聴取
- Abstract要約: We audit that reading for routing entropy in Attention-Residual (AR)variants of Swin-Tiny and DeiT-Small。
我々は、このトレースが、モデル自身の自信が明らかにしている以上の正確性に関する情報を持っているかどうかを問う。
- 参考スコア（独自算出の注目度）: 14.727396825167917
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Dynamic architectures leave a per-example routing trace beside each prediction, and diffuse routing is easy to read as a sign that the prediction is unreliable. We audit that reading for routing entropy in Attention-Residual (AR) variants of Swin-Tiny and DeiT-Small, trained from scratch on CIFAR-10/100 with a soft-binned calibration auxiliary loss, asking whether the trace carries information about correctness beyond what the model's own confidence already reveals. Three checks probe this increment: does a routing signal appear at fixed confidence, does it replicate across training seeds, and can a held-out predictor exploit it against output-only and shuffled-trace controls? A sensitivity audit then injects effects of known size and measures the fraction of each that the probes recover. No test in the fixed 30-test binned family survives multiplicity correction, and neither the nominal hit nor a borderline result recurs in its sibling seeds. Across 24 paired runs a scalar routing probe yields no pooled improvement in routing-stratified calibration, and an entropy-profile probe predicts correctness better than the same probe given shuffled profiles yet worse than a confidence-only predictor in both binary log-loss and Brier score: a gain over shuffled traces does not become a gain over the output. Conditioning on the complete logit vector leaves the corresponding comparison unresolved. The audit bounds how far these non-detections can be read: at an injected effect of 0.010 nats the profile probe recovers 24-59% of the oracle gain, and a reference-preserving correction probe recovers 8% and 23% in the two CIFAR-100 settings, below the threshold we fixed for applying it to real labels. The results establish control-dependent gains and incomplete estimator recovery, not the absence of conditional routing information.
- Abstract（参考訳）: 動的アーキテクチャは各予測の横にサンプルごとのルーティングトレースを残し、拡散ルーティングは予測が信頼できないというサインとして読みやすい。
We audit that reading for routing entropy in Attention-Residual (AR)variants of Swin-Tiny and DeiT-Small。
3つのチェックが、この増加を調査する: ルーティング信号は、一定の信頼性で表示され、訓練された種をまたいで複製され、保留した予測者が出力専用およびシャッフルされたトレースコントロールに対してそれを活用できるか?
感度監査は、既知のサイズの影響を注入し、プローブが回復する各割合を測定する。
固定された30種類の双生児科の検査は多重度補正に成功せず、名目的ヒットも境界線の結果も兄弟種の種子に再帰しない。
24対以上のスカラー・ルーティング・プローブは、ルーティング・ストラトライズド・キャリブレーションのプール化を行なわず、エントロピーなプローブは、二進ログロスとブライアスコアの信頼のみの予測器よりも、同じシャッフルプロファイルが与えられたプローブよりも精度が良いことを予測する。
完全ロジットベクトルの条件付けは、対応する比較を未解決のまま残す。
0.010ナットの注入効果で、プロファイルプローブは、オラクルゲインの24-59%を回復し、参照保存補正プローブは、2つのCIFAR-100設定で8%と23%を回復する。
その結果、条件付きルーティング情報の欠如ではなく、制御依存ゲインと不完全推定器の回復を確立した。
関連論文リスト
- DeBERTa-ConPara: Attack-Aware and Deployment-Realistic Detection of AI-Generated Text [42.255101883505056]
DeBERTa-ConParaは,HC3 Plus,M4,MAGE,RAIDで学習した文脈変換器エンコーダと,攻撃対応Unicode前処理を組み合わせたデプロイメント指向検出器である。
我々の中心的な発見は、前処理が適用された場所によって反対方向に作用することである。
2つの配置の因子的変化は、正規化推論による生のトレーニングを最高の設定として独立に識別する。
12種類の攻撃クラスのうち、ホモグリーフとゼロ幅空間の挿入は11.05%から1.12%から96.98%に増加した。
論文 参考訳（メタデータ） (2026-10-01T00:57:33Z) - Routing Probes Can Improve Without New Information: An Exact-Null Audit of Uncertainty Beyond Model Outputs [14.727396825167917]
現代の視覚変換器のルーティング信号は、しばしばモデルが正しいかどうかを予測するプローブを改善する。
この推論は、解離データに固定された凍結出力のみのジェネレータから正当性ラベルを再描画することによって直接テストする。
実正性ラベルについて、条件解析は、DeiTの5つの注意-残留族におけるモデル的証拠をもたらす。
論文 参考訳（メタデータ） (2026-09-30T04:22:18Z) - From Routing Signals to Selective Review: Visual regrounding in MoE VLMs [48.07726955428853]
視覚言語モデル(VLM)は偽の視覚的前提を受け入れ、対象の物体の色、数、位置、状態について疑問に答える。
本稿では,Mixture-of-Experts (MoE)VLMにおける内部ルーティング決定を活用するための最初のフレームワークを提案する。
提案手法は,MoE VLMによってすでに作成されており,低コストな検出と選択的な視覚的リグラウンドを支援することができる。
論文 参考訳（メタデータ） (2026-09-29T17:49:07Z) - Testing-Driven Reliability Audit of Trajectory-Based Early Outcome Prediction for LLM Agents: Target-Specific Calibration Transfer Persists Within a Single Benchmark [0.0]
軌道に基づく早期結果の予測は、結果が十分に予測可能になったときにランを終了させることにより、エージェント評価に関連する費用を削減できる。
このような転送障害がエージェントシステムにまたがっているのか、あるいは特定のターゲットエージェント/ヘッドの組み合わせに集中しているのかは不明だ。
パブリックなSWE-bench Verified trajectoriesと凍結したデュアルヘッド早期アウト予測パイプラインを使用して、我々は、Left-one-agent-out calibration auditを実行した。
論文 参考訳（メタデータ） (2026-09-22T03:57:30Z) - Intrinsic Sequence-Likelihood Confidence in Retrieval-Dominated Extractive QA: Two Pre-Specified Negatives, and What They Do and Do Not Attribute [0.4310167974376404]
オープン言語モデルを微調整すると、自身の信頼度が誘引制御信号であるモデルが得られる。
我々は,実行前の基準下での両使用量を評価した。
検索だけで92-99.8%のベストケースの組み合わせ精度が回復する。
論文 参考訳（メタデータ） (2026-09-17T09:17:00Z) - The Knowing-Saying Gap: When Probes See Errors that Confidence Misses [20.46211358172975]
線形プローブは、ほぼ完全精度で言語モデルの劣化コンテキストを検知するが、信頼性の高い故障予測にはならない。
マルチホップ算術連鎖全体において、汚職を検出するプローブは最終解の正しさについて非形式的であることが判明した。
リアルタイムモニタとして、プローブベースの介入は、シャープにモデル化され、エラータイプに依存します。
論文 参考訳（メタデータ） (2026-07-21T12:13:10Z) - What Accuracy and Gradient Cosine Miss: Evaluating Feedback Alignment via Scale Stability, Reference Validity, and Depth Utility [48.10132234701036]
本稿では,3つのチェック(スケール安定性,参照妥当性,深度ユーティリティ)に基づく診断評価プロトコルを提案する。
複数のアーキテクチャや手法にまたがって、我々のプロトコルは広い校正マージンを持つ全ての障害を識別する。
論文 参考訳（メタデータ） (2026-06-19T06:04:17Z) - Probing Routing-Conditional Calibration in Attention-Residual Transformers [17.576884726604902]
内部ルーティングトレースは、しばしば予測の信頼性を示すために使用される。
これらの痕跡は、信頼性を超えたポストホックキャリブレーションの安定したルーティング固有の証拠を提供していない。
信頼のみのキャパシティを制御に含めると、ルーティングプロファイルが同等のパフォーマンスを達成することを示す。
この設定は、一致した信頼、帯域幅、容量、置換制御が共通の欠点を除外するまで、内部状態のキャリブレーションとして読むべきではない。
論文 参考訳（メタデータ） (2026-05-11T01:06:25Z) - Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。
各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。
これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
論文 参考訳（メタデータ） (2026-04-20T13:25:40Z) - Conservative Prediction via Data-Driven Confidence Minimization [70.93946578046003]
機械学習の安全性クリティカルな応用においては、モデルが保守的であることが望ましいことが多い。
本研究では,不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化フレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-08T07:05:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。