論文の概要: The Geometry of Inference in Transformer Residual Streams
- arxiv url: http://arxiv.org/abs/2609.37824v1
- Date: Tue, 29 Sep 2026 15:32:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.689202
- Title: The Geometry of Inference in Transformer Residual Streams
- Title（参考訳）: 変圧器残流における推論の幾何学
- Abstract要約: 逐次的更新によってトランスフォーマー言語モデルがどのように予測を構築するかを検討する。
それぞれのエンドポイントが、平均的な選択肢よりも早く好まれることを示す。
また、自身の終点への直線的な経路は、ユークリッド距離または余弦距離の下で新しい競合を導入することができないことも証明する。
- 参考スコア（独自算出の注目度）: 4.109803241412197
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformer language models build predictions through successive residual updates, but how their representations become specific to an eventual outcome remains unclear. We study this process by comparing intermediate residual states with their own final states and an empirical bank of final states from other contexts. Across six pretrained language models, the own endpoint becomes preferable to the average alternative early, while many individual endpoints remain closer. These competing sets generally shrink with depth, but their membership changes and their surviving endpoints need not become more similar to one another. Directional alignment and endpoint rank can therefore improve while Euclidean distance to the final state changes little. We develop a simple high-dimensional model that separates the roles of norm, alignment, and endpoint geometry, showing how gradual directional changes can produce sharp reductions in competition. We also prove that a straight path toward the own endpoint cannot introduce new competitors under either Euclidean or cosine distance; observed entries thus establish departures from straight-line convergence. Finally, endpoints associated with lower-ranked output tokens tend to lie farther away in cosine distance across all studied models, connecting residual geometry to output organization. Together, these findings characterize increasing geometric specificity during transformer inference and explain why distance, competitor count, and concentration of the surviving endpoints provide distinct views of that process.
- Abstract（参考訳）: トランスフォーマー言語モデルは連続した逐次更新を通じて予測を構築するが、その表現が最終的な結果にどう依存するかははっきりしない。
我々は、この過程を、中間残留状態と、それぞれの最終状態と、他の文脈からの最終的な状態の実証銀行とを比較して研究する。
6つの事前訓練された言語モデルの中で、それぞれのエンドポイントは平均的な選択肢よりも好まれるが、多くの個々のエンドポイントは近いままである。
これらの競合集合は一般に深さとともに縮小するが、それらのメンバーシップの変化と生き残った終点は互いにより類似する必要はない。
したがって、方向アライメントと終点ランクは改善され、ユークリッド距離は最終状態にほとんど変化しない。
我々は,標準,アライメント,エンドポイント幾何学の役割を分離する単純な高次元モデルを構築し,段階的な方向変化が競争の激減をもたらすことを示す。
また、自身の終点への直線経路はユークリッド距離または余弦距離の下で新しい競合を導入することができないことを証明し、観察されたエントリは直線収束から逸脱する。
最後に、低いランクの出力トークンに関連付けられたエンドポイントは、すべての研究されたモデルにまたがって、余剰幾何を出力組織に接続する、余剰距離で遠く離れる傾向にある。
これらの知見は, 変圧器推論における幾何学的特異性の増大を特徴付け, 距離, 競合数, 残存する終点の集中が, その過程の異なる視点を提供する理由を説明するものである。
関連論文リスト
- Learning Propagation Geometry from Message-Passing Feedback [58.684834960683226]
GeoFは、メッセージパッシングフィードバックを通じてノード機能と伝搬幾何学を進化させる、反復的なフレームワークである。
ベンチマークデータセットの実験は、GeoFが最先端のGNNベースラインを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2026-09-28T09:22:49Z) - One Step, One Lead: Mitigating Higher-Order Interference in Multi-Domain Reinforcement Learning via Cross-Step Control [62.82372407840088]
同点領域勾配は、連続的な更新が出力空間で部分的に逆転する場合においても、ほぼ一定であることを示す。
トークンレベルのリバウンドリスクをランク付けするために,各イテレーションでフォーカスドメインを指定するOSOLを提案する。
OSOLは0.4822のドメイン-マクロ平均に達し、最強の比較ベースラインよりも5.7%向上した。
論文 参考訳（メタデータ） (2026-09-06T08:32:59Z) - Learning Where Outcomes Change:Credit-Addressable Reasoning for Multimodal Geometry [105.89493240787861]
推論中に露出したセマンティックユニットは、学習が代替品と比較し、クレジットを割り当てる場所を定義する。
我々は,この原理を,ライン順応可能な実行可能コードとして視覚的関係を表すCode-CoTでインスタンス化し,推論を型付きイベントに整理する。
9つの幾何ベンチマークで、CE-GRPOは平均76.04の精度を達成し、Qwen3-VL-8Bと軌跡レベルGRPOをそれぞれ8.09$と3.43ポイント上回る。
論文 参考訳（メタデータ） (2026-08-31T08:44:36Z) - An Analysis of Residual-Stream Geometry Across Transformer Depth [0.0]
変圧器残流の遷移中心幾何解析を提案する。
相対変位は、エンファンファー表現が連続した層の間をどう移動するかを測定する。
プロクラスト解析は、各遷移を剛性回転と非剛性残留に分離する。
論文 参考訳（メタデータ） (2026-07-20T08:43:22Z) - Trajectory Forcing: Structure-First Generation with Controllable Semantic Trajectories [62.54876287800644]
拡散およびフローベース生成モデルは強い画像を生成するが、制御性はエンドポイント中心のままである。
最近の手法では、生成順序とプロセスの分解を利用してサンプルの品質を向上し始めているが、それでも中間状態は相互作用のオブジェクトではなく内部計算として扱われている。
本稿では、生成経路を明示的、意味的、編集可能にするトラジェクトリ中心のフレームワークであるトラジェクトリ・フォース(TF)を提案する。
論文 参考訳（メタデータ） (2026-06-21T14:25:50Z) - Emergent Ordinal Geometry in Transformers Trained on Local Comparisons [0.0]
推移的推論は、A Cが隣接関係のみを知ること(A B, B C)を推測する挑戦である。
我々はトランスフォーマーが同じプリミティブを取得し、隠れた全順序から隣接した比較のみに基づいて小さなモデルを訓練するかどうかを問う。
分布外一般化は、目覚ましい幾何学的再編成とともに現れる。
論文 参考訳（メタデータ） (2026-05-31T14:44:54Z) - STEP: Learning STructured Embeddings for Progressive Time Series [1.034052616244602]
本稿では,プログレッシブ時系列の解釈可能な表現を学習するための新しい手法を提案する。
我々の手法は、低次元の潜在空間を学習するために、自己教師付きコントラスト的目的を用いている。
多様な領域における最先端技術に対するアプローチを評価する。
論文 参考訳（メタデータ） (2026-05-29T09:33:34Z) - PAID: Pairwise Angular-Invariant Decomposition for Continual Test-Time Adaptation [70.98107766265636]
本稿では,事前学習した重みの幾何学的特性を出発点として,3つの重要な成分(等級,絶対角,対角構造)を体系的に解析する。
両角構造は多種多様なドメインにわたって安定であり, ドメイン不変な意味情報を符号化し, 適応中に保存すべきことを示唆する。
論文 参考訳（メタデータ） (2025-06-03T05:18:15Z) - REGTR: End-to-end Point Cloud Correspondences with Transformers [79.52112840465558]
我々は、注意機構が明示的な特徴マッチングとRANSACの役割を置き換えることができると推測する。
本稿では,最終文集合を直接予測するエンドツーエンドフレームワークを提案する。
提案手法は3DMatchおよびModelNetベンチマークにおける最先端性能を実現する。
論文 参考訳（メタデータ） (2022-03-28T06:01:00Z) - Deep Confidence Guided Distance for 3D Partial Shape Registration [14.315501760755609]
部分的から部分的な3次元形状登録のための新しい非定型学習法を提案する。
本稿では,信頼誘導距離ネットワーク(CGD-net)を紹介し,点埋め込みと点雲間の空間距離との学習可能な類似性を融合させる。
論文 参考訳（メタデータ） (2022-01-27T08:40:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。