論文の概要: Spectral Geometry of Attention: From Information Routing to Uncertainty

• arxiv url: http://arxiv.org/abs/2610.06012v1
• Date: Mon, 05 Oct 2026 09:11:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-09 19:25:33.727163
• Title: Spectral Geometry of Attention: From Information Routing to Uncertainty
• Title（参考訳）: 注意のスペクトル幾何学:情報ルーティングから不確実性へ
• Abstract要約: 我々は、スペクトル幾何学と作用素理論のレンズを通して、変圧器の注意について研究する。 標準ユークリッドスペクトルはシンクによって構造的に偏りがあり、物質濃度と真のルーティング能力が混ざり合っている。 注意によって誘導される固有確率幾何学におけるトークン空間を再キャストすることにより、トークン差分スペクトルはルーティング能力からシンク効果を乱す。 これにより、単一の演算子理論フレームワーク内で、アテンションマップの分析、シンクの説明、ルーティング崩壊、および出力次元を統一したフレームワークが得られる。
• 参考スコア（独自算出の注目度）: 37.03604261376214
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we study transformer attention through the lens of spectral geometry and operator theory. We view each attention head as a functional map between Hilbert spaces of functions on the token sequence and derive a Token Difference Operator, whose spectral structure controls how token-space information is routed to the output. We show that standard Euclidean spectra are structurally biased by sinks, conflating mass concentration with genuine routing capacity. By recasting token space in the intrinsic probability geometry induced by attention, the token difference spectrum disentangles sink effects from routing capacity and provides a spectral description of the dimensionality of the head output. This yields a unified framework for analyzing attention maps, explaining sinks, routing collapse, and output dimensionality within a single operator-theoretic framework. In practice, by grounding attention heuristics in spectral geometry, we develop a novel attention-based uncertainty estimator that complements probability-based scores, with the largest gains on long-context inputs.
• Abstract（参考訳）: 本研究では、スペクトル幾何学および演算子理論のレンズによる変圧器の注目度について検討する。 我々は,各注目ヘッドを,トークン列上の関数のヒルベルト空間間の関数写像として捉え,トークン空間情報を出力にルーティングする方法をスペクトル構造で制御するトークン差演算子を導出する。 標準ユークリッドスペクトルはシンクによって構造的に偏りがあり、物質濃度と真のルーティング能力が混ざり合っていることを示す。 注意によって誘導される固有確率幾何学におけるトークン空間を再キャストすることにより、トークン差分スペクトルは、ルーティング能力からシンク効果を歪め、ヘッド出力の寸法のスペクトル記述を提供する。 これにより、単一の演算子理論フレームワーク内で、アテンションマップの分析、シンクの説明、ルーティング崩壊、出力次元を統一したフレームワークが得られる。 実際に、スペクトル幾何学における注意ヒューリスティックスを基礎として、確率ベースのスコアを補完する新しい注意に基づく不確実性推定器を開発し、長文入力で最大の利得を得る。

関連論文リスト

• Frame phase retrievability and state distinguishability of quantum channels [4.092357804635167]
  量子チャネルによる純状態の同定と情報保存におけるフレーム位相探索の役割について紹介する。 単位ベクトルに対して、 lift $xmapsto xx*$ は同じ階数1の量子状態を持つ大域位相のみが異なるベクトルを識別する。 この観点では、チャネルは純粋状態に対して射影されたときに正確に位相検索可能である。
  論文  参考訳（メタデータ） (2026-08-30T20:01:26Z)
• From Self-Attention to Connection Laplacian: A Unified Operator View of Transformers [53.505136935517925]
  自己注意は現代のシーケンスモデルにおいてユビキタスプリミティブであるが、作用素レベルの幾何学は部分的には理解されていない。 単頭注意 (SHA) は, 常に搬送される接続伝播ステップであることを示す。 トレーニングされたトランスフォーマー(124Mから8B)と構造(エンコーダ/デコーダ)は、我々の理論と整合した幾何学的構造を示す。
  論文  参考訳（メタデータ） (2026-07-12T09:44:54Z)
• Geometric Observability Index: An Operator-Theoretic Framework for Per-Feature Sensitivity, Weak Observability, and Dynamic Effects in SE(3) Pose Estimation [0.552480439325792]
  本稿では,Lie群SE(3)におけるカメラポーズ推定における機能ごとの感度を解析するための統一演算子理論フレームワークを提案する。 影響関数論を行列リー群に拡張し、SE(3) 上の左自明な M-推定子に対する固有摂動作用素を導出する。 結果として得られる幾何可観測性指数(GOI)は、曲率演算子と可観測部分空間のリー代数構造による単一の測定の寄与を定量化する。
  論文  参考訳（メタデータ） (2026-02-05T12:12:00Z)
• Spectral Superposition: A Theory of Feature Geometry [1.3837984867394175]
  重み付き行列のスペクトルを解析することにより特徴の幾何学的構造を研究する理論を開発する。 重ね合わせのおもちゃモデルでは、キャパシティ飽和がスペクトル局在を強制することを示すためにこの理論を用いる。
  論文  参考訳（メタデータ） (2026-02-02T15:28:38Z)
• PRISM: Deriving the Transformer as a Signal-Denoising Operator via Maximum Coding Rate Reduction [0.0]
  ディープラーニングのためのホワイトボックスアテンションベースのアーキテクチャであるPrismを提案する。 プリズムは、その注意をスペクトル的に異なる体制に自然に専門化していることが示される。 以上の結果から,解釈可能性と性能はトレードオフではなく,原理的な構成によって統一可能であることが示唆された。
  論文  参考訳（メタデータ） (2026-01-21T23:52:36Z)
• Critical quantum states and hierarchical spectral statistics in a Cantor potential [0.0]
  カントール型フラクタルポテンシャルを受ける一次元量子系のスペクトル統計と波動関数特性について検討する。 ポテンシャルの自己相似幾何学が量子スペクトルにどのように印加されるかを示す。
  論文  参考訳（メタデータ） (2026-01-13T08:25:41Z)
• Holistic Physics Solver: Learning PDEs in a Unified Spectral-Physical Space [54.13671100638092]
  Holistic Physics Mixer (HPM) は、スペクトルと物理情報を統一された空間に統合するためのフレームワークである。 我々はHPMが精度と計算効率の両面で最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-15T08:19:39Z)
• Datacube segmentation via Deep Spectral Clustering [76.48544221010424]
  拡張ビジョン技術は、しばしばその解釈に挑戦する。 データ立方体スペクトルの巨大な次元性は、その統計的解釈において複雑なタスクを生じさせる。 本稿では,符号化空間における教師なしクラスタリング手法の適用の可能性について検討する。 統計的次元削減はアドホック訓練(可変)オートエンコーダで行い、クラスタリング処理は(学習可能な)反復K-Meansクラスタリングアルゴリズムで行う。
  論文  参考訳（メタデータ） (2024-01-31T09:31:28Z)
• Gate-based spin readout of hole quantum dots with site-dependent $g-$factors [101.23523361398418]
  ゲート型反射率計を用いたスピンリードアウトによりシリコン中の二重量子ドットを実験的に検討した。 磁気分光法により生じる反射位相信号の特徴は,2点のサイト依存の$g-$factorに関する情報を伝達する。
  論文  参考訳（メタデータ） (2022-06-27T09:07:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。