論文の概要: Probing Routing-Conditional Calibration in Attention-Residual Transformers

• arxiv url: http://arxiv.org/abs/2605.09850v1
• Date: Mon, 11 May 2026 01:06:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.451308
• Title: Probing Routing-Conditional Calibration in Attention-Residual Transformers
• Title（参考訳）: 留置残差変圧器におけるルーティング・コンディションの校正
• Authors: Wenhao Liang, Lin Yue, Wei Emma Zhang, Miao Xu, Mingyu Guo, Olaf Maennel, Weitong Chen,
• Abstract要約: 内部ルーティングトレースは、しばしば予測の信頼性を示すために使用される。 これらの痕跡は、信頼性を超えたポストホックキャリブレーションの安定したルーティング固有の証拠を提供していない。 信頼のみのキャパシティを制御に含めると、ルーティングプロファイルが同等のパフォーマンスを達成することを示す。 この設定は、一致した信頼、帯域幅、容量、置換制御が共通の欠点を除外するまで、内部状態のキャリブレーションとして読むべきではない。
• 参考スコア（独自算出の注目度）: 17.576884726604902
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Post-hoc calibration is usually evaluated as a function of logits or softmax confidence alone, even as routing-augmented architectures increasingly accompany predictions with sample-specific internal routing traces and pair them with claims of calibration-relevant uncertainty. We ask a basic question: do these traces provide stable routing-specific evidence for post-hoc calibration beyond confidence? We study this in Attention-Residual transformers (Kimi Team, 2026) through a matched-confidence diagnostic suite that stratifies examples by routing-derived state, compares subgroup gaps against within-bin routing-permutation nulls, and evaluates matched post-hoc probes differing only in their auxiliary feature. Across our completed AR runs, scalar routing summaries do not provide stable evidence of routing-conditional miscalibration: weighted gaps remain small or seed-sensitive, and only $1$ of $30$ within-bin permutation tests rejects the conditional-null at $α=0.05$ (only on one seed; not stable across seeds in that cell). AR-CondCal, a minimal $2$-D Nadaraya--Watson probe on confidence and routing-depth variance, lies within the seed-variance band of matched confidence-only and predictive-entropy controls and does not reliably improve worst-routing-tertile ECE; bandwidth-sensitivity checks (Scott multiples, CV-NLL, global-ECE oracle) do not change this. A full-vector MLP over $(c, H_1, \ldots, H_L)$ can appear to improve over a linear confidence baseline, but the apparent gain disappears once a capacity-matched confidence-only MLP is included as a control, and shuffled routing profiles achieve comparable performance. Apparent routing-aware calibration gains in this AR setting should not be read as internal-state calibration until matched-confidence, bandwidth, capacity, and permutation controls rule out common confounds.
• Abstract（参考訳）: ポストホックキャリブレーションは通常、ロジットやソフトマックスの信頼性のみの関数として評価されるが、ルーティング拡張アーキテクチャは、サンプル固有の内部ルーティングトレースと予測を伴い、キャリブレーション関連の不確実性のクレームと組み合わせる傾向にある。 これらのトレースは、信頼性を超えたポストホックキャリブレーションの安定したルーティング固有の証拠を提供するのだろうか? 提案手法は,提案手法を用いて,提案手法を用いて提案手法を検証し,提案手法を用いて提案手法を検証し,提案手法を用いて提案手法を検証した。 重み付けされたギャップは小さいか、シードに敏感であり、30ドル(約1,300円)のビン内置換テストで条件付きnullがα=0.05ドル(約1,300円)で拒否されるだけである。 最小2ドルのNadaraya-WatsonプローブであるAR-CondCalは、信頼性とルーティング深度の分散を調査し、一致した信頼のみと予測エントロピー制御のシード分散帯域内にあり、最悪のローティング・テラタイルCEを確実に改善しない。 フルベクター MLP over $(c, H_1, \ldots, H_L)$ は線形信頼ベースラインよりも改善されているように見えるが、キャパシティマッチングされた信頼のみの MLP が制御対象として含まれ、シャッフルされたルーティングプロファイルが同等のパフォーマンスを達成すると、明らかなゲインは消滅する。 このAR設定における明確なルーティング対応キャリブレーションゲインは、一致した信頼度、帯域幅、キャパシティ、置換制御が共通の欠点を除外するまで、内部状態キャリブレーションとして読むべきではない。

関連論文リスト

• Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
  そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。 各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。 これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
  論文  参考訳（メタデータ） (2026-04-20T13:25:40Z)
• Direct Learning of Calibration-Aware Uncertainty for Neural PDE Surrogates [0.0]
  相互規則化された不確実性は、保持された正規化分割を経由した経路を用いた訓練中の不確実性パラメータを学習する。 予測器はトレーニングスプリットに適合するように最適化され、低次元の不確実性制御は正規化スプリットに最適化され、列車テストミスマッチを低減する。 フーリエ・ニューラル・オペレーターのアプローチをインスタンス化し、観測された分数およびトレーニングセットのサイズに対して APEBench sweeps の評価を行う。
  論文  参考訳（メタデータ） (2026-02-11T17:57:20Z)
• CoRefine: Confidence-Guided Self-Refinement for Adaptive Test-Time Compute [10.548368675645403]
  CoRefineは、トークンのごく一部を使って競争精度を達成する自信誘導型自己精製法である。 コントローラはフルトレースの信頼性を消費し、停止するか、再検査するか、あるいは別のアプローチを試すかを決定する。 これをCoRefine-Treeに拡張します。これは、探索とエクスプロイトを適応的にバランスさせる、ハイブリッドなシーケンシャル並列型です。
  論文  参考訳（メタデータ） (2026-02-09T17:44:41Z)
• UAT-LITE: Inference-Time Uncertainty-Aware Attention for Pretrained Transformers [11.741258610945259]
  UAT-LITEは、自己アテンションの不確実性を認識させる推論時フレームワークである。 これは、細調整されたBERTベースラインと比較して平均で予測エラーを約20%削減する。 分散シフトの下で選択的な予測とロバスト性を改善する。
  論文  参考訳（メタデータ） (2026-02-03T00:51:26Z)
• Agentic Confidence Calibration [67.50096917021521]
  Holistic Trajectory (HTC)はAIエージェントの新しい診断フレームワークである。 HTCはキャリブレーションと差別の両方において、強力なベースラインを一貫して超えている。 HTCは、障害の背後にあるシグナルを明らかにすることによって、解釈可能性を提供する。
  論文  参考訳（メタデータ） (2026-01-22T09:08:25Z)
• Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
  生成のための教師なし共形推論フレームワークを提案する。 我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。 その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
  論文  参考訳（メタデータ） (2025-09-26T23:40:47Z)
• Coverage-Guaranteed Speech Emotion Recognition via Calibrated Uncertainty-Adaptive Prediction Sets [0.0]
  しばしば感情的な抑圧と突然のアウトバーストによって引き起こされる道路の怒りは、衝突や攻撃的な行動を引き起こすことによって道路の安全を著しく脅かす。 音声感情認識技術は、ネガティブな感情を早期に識別し、タイムリーな警告を発することにより、このリスクを軽減することができる。 本稿では,予測精度を統計的に厳格に保証するリスク制御予測フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-24T12:26:28Z)
• Beyond calibration: estimating the grouping loss of modern neural networks [68.8204255655161]
  適切なスコアリングルール理論は、キャリブレーション損失が与えられた場合、個々のエラーを特徴づける欠片がグループ化損失であることを示している。 視覚およびNLPにおける現代のニューラルネットワークアーキテクチャは、特に分散シフト設定においてグループ化損失を示す。
  論文  参考訳（メタデータ） (2022-10-28T07:04:20Z)
• Distribution-free binary classification: prediction sets, confidence intervals and calibration [106.50279469344937]
  分布自由条件における二項分類のための不確実性定量化(キャリブレーション、信頼区間、予測セット)の3つの概念について検討する。 固定幅と一様質量の両双対の双対確率に対する信頼区間を導出する。 我々の「三脚」定理の結果として、双有理確率に対するこれらの信頼区間は分布自由キャリブレーションに繋がる。
  論文  参考訳（メタデータ） (2020-06-18T14:17:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。