論文の概要: Predictive Geometry of Hidden Trajectories in Transformers

• arxiv url: http://arxiv.org/abs/2609.37717v1
• Date: Tue, 29 Sep 2026 14:46:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.644571
• Title: Predictive Geometry of Hidden Trajectories in Transformers
• Title（参考訳）: 変圧器における隠れ軌道の予測幾何学
• Abstract要約: 残りの変圧器ブロックを通して隠蔽状態の候補を継続することで得られる終端損失の層次ロス・トゥ・ゴー関数について検討する。 因果変換器の場合、同じ幾何学はトークン回りの曲率スコアを誘導する: 各トークンの隠れ状態の摂動に対するターゲットロジットのフィッシャー重み付き感度。
• 参考スコア（独自算出の注目度）: 3.878743360150155
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Decoder-only transformers are trained only through a terminal next-token prediction loss, yet this loss constrains every intermediate hidden state through the fixed downstream computation. We formalize this constraint by studying layerwise loss-to-go functions: the terminal loss obtained by continuing a candidate hidden state through the remaining transformer blocks. Around successful validation trajectories, we show that the local second-order geometry of these functions is governed, up to low-loss residual terms, by a pullback Fisher operator on hidden-state space. Its spectrum identifies output-sensitive directions and approximately prediction-null directions, yielding a local observable subspace of the residual stream. For causal transformers, the same geometry induces a tokenwise curvature score: a Fisher-weighted sensitivity of the target logits to perturbations of each token's hidden state. This score vanishes outside the causal ancestor set of the target and is controlled by downstream Jacobian couplings, making it a loss-aware alternative to attention magnitude. We estimate these quantities using matrix-free Jacobian-vector and vector-Jacobian products and evaluate them across decoder-only language models on WikiText, OpenWebText, and FineWeb. Empirically, the induced geometry predicts perturbation sensitivity, supports nonuniform layerwise rank allocation, yields competitive structured token-pruning signals, and improves low-rank student recovery when added to stronger autoregressive distillation objectives such as reverse KL and skew KL. These results support a predictive-geometric view of transformer computation: near successful trajectories, the terminal loss induces a thin, anisotropic set of output-relevant hidden-state directions that can be measured and exploited for compression and distillation.
• Abstract（参考訳）: デコーダのみの変圧器は、終端の次トーケン予測損失によってのみ訓練されるが、この損失は、固定された下流計算によってすべての中間隠れ状態を制限する。 この制約を層単位でのロス・トゥ・ゴー関数(残りの変圧器ブロックを通して隠れ状態の候補を継続して得られる終端損失)を研究することによって定式化する。 検証軌道が成功すると、これらの関数の局所的な二階幾何は、隠れ状態空間上の引き戻しフィッシャー作用素によって、低損失残差項まで支配されることを示す。 そのスペクトルは出力に敏感な方向とほぼ予測不可能な方向を識別し、残留ストリームの局所観測可能な部分空間を生成する。 因果変換器の場合、同じ幾何学はトークン回りの曲率スコアを誘導する: 各トークンの隠れ状態の摂動に対するターゲットロジットのフィッシャー重み付き感度。 このスコアはターゲットの因果祖先集合の外側で消失し、下流のヤコビアン結合によって制御されるため、注目度に対する損失認識の代替となる。 行列のないヤコビベクトルとベクトルジャコビアン積を用いてこれらの量を推定し、WikiText, OpenWebText, FineWeb上でデコーダのみの言語モデルで評価する。 実験的に、誘導幾何は摂動感度を予測し、非一様層のランク割り当てをサポートし、競合する構造化されたトークンプレーニング信号を出力し、逆KLやスキューKLのような強い自己回帰蒸留目標に加算された場合、低ランクの学生の回復を改善する。 これらの結果は、トランスフォーマー計算の予測幾何学的ビュー(英語版)を支持する: 軌道の軌道に近く、終端損失は、測定および圧縮と蒸留に利用可能な、薄い、異方性のある出力関連隠れ状態方向のセットを誘導する。

関連論文リスト

• Residual-Stream Burden Shapes Representation Learning in Diffusion Transformers [74.0530486095232]
  拡散ベースの生成では、ニューラルネットワークをトレーニングして、ノイズやノイズの入力からクリーンなデータを予測することができる。 最終読み出しの深さを通したノイズ依存入力変動を維持するために,雑音のターゲットは残差ストリームを必要とすると論じる。 スペクトル集中されたクリーンターゲットは、より軽量な要求を課し、その後の計算のために隠れた表現を整理する自由を保ちます。
  論文  参考訳（メタデータ） (2026-09-27T20:17:39Z)
• FLIP: Final Layer Inference-Time Probing for Vision-Language Models [0.0]
  FLIPは、ロジット対応の介入サイトが構造化されたタスクリンク型計算をサポートするかどうかをテストするための最終層推論時プローブである。 介入効果の解釈を導出するための4基準プローブ・アンド・スイーププロトコルを定式化する。
  論文  参考訳（メタデータ） (2026-09-25T08:38:54Z)
• NICE: Scale-Stable Perturbations for Graph Neural Network Explanations via Noise Corruption [67.57304101271096]
  Element-wise Masking (EM) は、エッジによって引き起こされるメッセージをゼロに抑制する。 ノイズ破壊(NC)は、一致したノームなランダムな方向の破損を通じて各メッセージに摂動を与える。 騒音破壊に基づく説明フレームワークであるNICEは、NCが引き起こす不確実性の下で復元境界(英語版)(SRB)を学習する。
  論文  参考訳（メタデータ） (2026-08-17T03:08:14Z)
• Adaptive Depth in Looped Transformers: Diagnosing Learned Halting Gates and Trajectory Readouts [16.36140240070991]
  ループ変換器の適応深度をトラジェクトリ・リードアウトレンズを用いて検討する。 固定最優先深度監視は,その中間状態が有用な停止信号を示す難易度対応トラジェクトリを生成する。 ループ変換器の適応深さを軌跡形成と出口読み出しの連成問題として再検討した。
  論文  参考訳（メタデータ） (2026-07-08T02:54:03Z)
• Input-schema identifiability limits in physics-informed surrogates for mechanics-governed flow [0.0]
  本稿では,計算サロゲートに対する入力スキーマ識別性証明を提案する。 Cosserat-rodリダクションを用いた非圧縮性管状流れのキャラクタリゼーションを行う。 その結果、サロゲートモデリングタスクが物理的に識別可能であるか否かを判定するためのメカニックベースの診断を提供する。
  論文  参考訳（メタデータ） (2026-06-08T23:22:18Z)
• Residual Connections and the Causal Shift: Uncovering a Structural Misalignment in Transformers [9.617245548268437]
  大規模言語モデル(LLM)は、自動回帰変換器で実装された次世代の予測で訓練される。 残余接続は現在のトークンとアクティベーションを結び付け、監督は次のトークンをターゲットとします。 固定層介入や学習可能なゲーティング機構として実装された残差減衰に基づく軽量残差経路緩和法を提案する。
  論文  参考訳（メタデータ） (2026-02-16T14:04:42Z)
• Transformer-Based Auxiliary Loss for Face Recognition Across Age Variations [0.0]
  トランスフォーマーネットワークは、老化効果によって引き起こされる逐次的な空間関係を維持する力を持つ。 本稿では,顔認識領域の付加的損失としてトランスフォーマーネットワークを用いた損失評価手法を提案する。
  論文  参考訳（メタデータ） (2024-12-03T06:23:35Z)
• SINDER: Repairing the Singular Defects of DINOv2 [61.98878352956125]
  大規模なデータセットでトレーニングされたビジョントランスフォーマーモデルは、抽出したパッチトークンにアーティファクトを表示することが多い。 本稿では,小さなデータセットのみを用いて構造欠陥を補正するスムーズなスムーズな正規化を提案する。
  論文  参考訳（メタデータ） (2024-07-23T20:34:23Z)
• The KFIoU Loss for Rotated Object Detection [115.334070064346]
  本稿では,SkewIoU損失とトレンドレベルアライメントを両立できる近似的損失を考案する上で,有効な方法の1つとして論じる。 具体的には、対象をガウス分布としてモデル化し、SkewIoUのメカニズムを本質的に模倣するためにカルマンフィルタを採用する。 KFIoUと呼ばれる新たな損失は実装が容易で、正確なSkewIoUよりもうまく動作する。
  論文  参考訳（メタデータ） (2022-01-29T10:54:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。