論文の概要: Beyond Causal Masks: Auditing and Localizing Hidden Future-Token Leakage in Adaptive Sequence Models

• arxiv url: http://arxiv.org/abs/2610.31522v1
• Date: Thu, 22 Oct 2026 16:34:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.479763
• Title: Beyond Causal Masks: Auditing and Localizing Hidden Future-Token Leakage in Adaptive Sequence Models
• Title（参考訳）: 因果マスクを超えて:適応シーケンスモデルにおける隠れた未来への漏洩の監査と位置付け
• Abstract要約: 隠れた将来のリークは、誤ったアーキテクチャ上の利益を生み出す可能性がある。 適応型残差復号器におけるこの故障について検討する。 実験では、5つのモジュールファミリーにまたがる6つの合成実装ペアをカバーしている。
• 参考スコア（独自算出の注目度）: 4.01764684910538
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Hidden future-token leakage can create false architectural gains: an autoregressive model may appear substantially better under teacher-forced evaluation while its free-running generation deteriorates. We investigate this failure in an adaptive residual-routing decoder whose sequence-level routing summary exposes prefix positions to future tokens despite a correct causal attention mask. An anomalous 24-layer checkpoint reduces validation loss from the baseline's 3.5958 to 1.4259, yet it fails a prefix-invariance audit and has substantially higher reference-model perplexity during generation. Layer-wise diagnostics and implementation inspection trace the violation to a full-sequence summary broadcast through the dynamic routing-query path. Two independently trained 12-layer causal repairs eliminate detectable leakage and return validation loss and reference perplexity to the control scale, removing the large apparent advantage. As diagnostic tools, we use the established prefix-invariance contract, maximum prefix-output discrepancy (LeakScore), complementary behavioral metrics, and layer-wise profiles. Supporting experiments cover six synthetic implementation pairs spanning five module families, clean pretrained controls, controlled fault injection, and cache consistency across numerical precisions. These results illustrate how hidden future-token access can produce misleading claims of architectural progress and why lower teacher-forced loss should be interpreted together with whole-model causal checks and free-running evaluation.
• Abstract（参考訳）: 自己回帰モデルは、教師による評価では大幅に改善され、フリーラン世代は悪化する可能性がある。 列レベルのルーティングサマリが正しい因果注意マスクにもかかわらず、プレフィックス位置を将来のトークンに公開する適応残差復号器におけるこの障害について検討する。 異常な24層チェックポイントは、ベースラインの3.5958から1.4259へのバリデーション損失を減らすが、プレフィックス不変性監査に失敗し、生成時の参照モデルパープレキシティが著しく高くなる。 レイヤワイズ診断と実装検査は、動的ルーティングクエリパスを通じて放送される全シーケンスの要約に違反する。 独立に訓練された2つの12層の因果修復は、検出可能な漏洩を排除し、制御スケールに対する検証損失と参照パープレキシティを低減し、明らかな大きな利点を排除した。 診断ツールとしては,確立されたプレフィックス不変契約,最大プレフィックス出力不一致(LeakScore),相補的行動指標,レイヤワイドプロファイルを用いる。 5つのモジュールファミリーにまたがる6つの総合的な実装ペア、クリーンな事前訓練された制御、制御された障害注入、数値的な精度でのキャッシュ一貫性。 これらの結果は,将来の隠れたアクセスがアーキテクチャの進歩を誤解を招くような主張をいかに生み出すか,また,教師力の低下をモデル全体の因果チェックとフリーランニング評価とともに解釈すべきかを示す。

関連論文リスト

• When Normalization Selects the Sign: Auditing Robustness Ablations in Quantum Attention [0.17499351967216337]
  生成した電力グリッド軌道上の4量子量子アテンション検出器の問題点を実証する。 学習したスケーリングモジュールは、固定された物理的攻撃予算で有用であるように見えるが、エンコーダの摂動の上限値に一致すると順序が逆になる。 実践的な教訓は、どの摂動予算が固定されているかを特定すること、ラベルと介入が予測を保存することをチェックすること、探索的制御と確認的証拠を区別することである。
  論文  参考訳（メタデータ） (2026-10-02T00:57:53Z)
• FLIP: Final Layer Inference-Time Probing for Vision-Language Models [0.0]
  FLIPは、ロジット対応の介入サイトが構造化されたタスクリンク型計算をサポートするかどうかをテストするための最終層推論時プローブである。 介入効果の解釈を導出するための4基準プローブ・アンド・スイーププロトコルを定式化する。
  論文  参考訳（メタデータ） (2026-09-25T08:38:54Z)
• One Step, One Lead: Mitigating Higher-Order Interference in Multi-Domain Reinforcement Learning via Cross-Step Control [62.82372407840088]
  同点領域勾配は、連続的な更新が出力空間で部分的に逆転する場合においても、ほぼ一定であることを示す。 トークンレベルのリバウンドリスクをランク付けするために,各イテレーションでフォーカスドメインを指定するOSOLを提案する。 OSOLは0.4822のドメイン-マクロ平均に達し、最強の比較ベースラインよりも5.7%向上した。
  論文  参考訳（メタデータ） (2026-09-06T08:32:59Z)
• Prediction of Prediction (PoP): Inter-Layer Activation Fusion for Single-Pass Hallucination Detection in Large Language Models [0.0]
  この研究は、生成中の内部の隠れ状態遷移ダイナミクスが、補助的な復号呼び出しを伴わずに事実エラーを信号化できるかどうかを評価する。 本稿では,層間遷移の不確実性を捉えるメカニズムである予測予測(PoP)を導入する。 PoPは受信機動作特性曲線(AUROC)の領域を75.5%の精度で達成している。
  論文  参考訳（メタデータ） (2026-08-27T14:17:14Z)
• PluginEval: A Diagnostic Benchmark for Fine-Grained Error Attribution in Function Calling [11.1017602726296]
  大規模言語モデルは、ますます自律的なエージェントとして機能している。 現在のベンチマークには3つの制限がある。 Evalは、2段階のフレームワークで構築されたベンチマークである。
  論文  参考訳（メタデータ） (2026-08-09T13:25:54Z)
• DriftScope: Measuring The Hidden Effects of Diffusion Model Adaptation [50.584834483403675]
  新しい視覚概念を学習するか、望ましくないものを消去するか、事前学習したテキスト・画像拡散モデルに適応させることは、意図した効果だけで日常的に評価される。 適応が意味論的に無関係な概念を、構造的にメトリクスを集約することができない方法で体系的に損なうことを実証する。 DriftScopeは、任意の2つのモデルチェックポイントを取り込み、視覚的概念が最も移行したトークンのランクリストを返す、プロンプトレベルの診断ツールである。
  論文  参考訳（メタデータ） (2026-06-30T20:57:51Z)
• What to Test Next: Interpretable Coverage Gap Discovery in Driving VLMs [52.50210189669399]
  視覚言語モデル(VLM)を駆動するには,操作設計領域(ODD)が定義する様々な条件のシーンを正確に理解する必要がある SliceScorerは、欠落したスライス推薦のための決定論的スコアリングルールである。 SliceNavは, 従来のスライス発見法よりも, 高リスクカバレッジギャップを効果的に表面化することを示す。
  論文  参考訳（メタデータ） (2026-06-01T03:18:01Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• Metacognitive Self-Correction for Multi-Agent System via Prototype-Guided Next-Execution Reconstruction [58.51530390018909]
  大規模言語モデルに基づくマルチエージェントシステムは、協調的な問題解決において優れているが、エラーのカスケードには脆弱である。 我々は,MASにリアルタイム,教師なし,ステップレベルの誤り検出と自己補正を付与するメタ認知フレームワークMASCを提案する。
  論文  参考訳（メタデータ） (2025-10-16T05:35:37Z)
• SINDER: Repairing the Singular Defects of DINOv2 [61.98878352956125]
  大規模なデータセットでトレーニングされたビジョントランスフォーマーモデルは、抽出したパッチトークンにアーティファクトを表示することが多い。 本稿では,小さなデータセットのみを用いて構造欠陥を補正するスムーズなスムーズな正規化を提案する。
  論文  参考訳（メタデータ） (2024-07-23T20:34:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。