論文の概要: Riemannian Attention Mechanisms for Transformers: A Theoretical Framework and Architecture Design

• arxiv url: http://arxiv.org/abs/2608.01283v1
• Date: Sun, 02 Aug 2026 14:47:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.147678
• Title: Riemannian Attention Mechanisms for Transformers: A Theoretical Framework and Architecture Design
• Title（参考訳）: Riemannian Attention Mechanisms for Transformers: 理論的フレームワークとアーキテクチャ設計
• Abstract要約: トランスフォーマーベースの大きな言語モデルはすべて、ユークリッド内部積を通じて注意を計算します。 我々は、この構造的制限を数学的レベルで対象とする理論的枠組みを開発する。
• 参考スコア（独自算出の注目度）: 5.026698725861711
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: All Transformer-based large language models compute attention via the Euclidean inner product, an architectural choice that Dong et al. (2021) proved causes representational rank to decay doubly exponentially with depth in pure self-attention stacks. We develop a theoretical framework that targets this structural limitation at the mathematical level by replacing the flat Euclidean metric with learned per-token Riemannian metrics. Our contributions are threefold. (1) We prove that Riemannian attention scores with heterogeneous per-token metrics are non-Gram---they cannot be factorized as QK^T with factorization dimension O(d). We are explicit that this is a structural observation, not a proof of rank preservation. (2) We establish that low-rank metric factors render all geometric operations tractable: geodesic distance in O(d*r) per token and metric inversion in O(d*r^2) via the Woodbury identity---both far below the O(d^3) cost of a general matrix---making Riemannian attention feasible at billion-parameter scale with negligible overhead. (3) We present the Fiber Bundle Transformer, a complete architecture specification in which each token position carries its own Riemannian metric, attention is geodesic distance computation, feed-forward updates use metric-preconditioned steps, and the connection carries explicit curvature and torsion proxies. We derive formal predictions about correctly implemented geometric architectures and identify the central open problem: proving or disproving that heterogeneous Riemannian metrics prevent the rank collapse that row-stochastic attention matrices otherwise cause. This paper presents theoretical analysis and architectural design; empirical validation is the subject of future work.
• Abstract（参考訳）: すべてのトランスフォーマーベースの大きな言語モデルはユークリッドの内積を通して注意を計算し、これはDong et al (2021) が証明したアーキテクチャ上の選択であり、純粋な自己注意スタックの深さによって表現ランクが指数関数的に減衰する。 我々は、平面ユークリッド計量を学習単位リーマン計量に置き換えることにより、この構造的制限を数学的レベルで対象とする理論的枠組みを開発する。 私たちの貢献は3倍です。 1) 不均一な1トーケンのメトリクスを持つリーマンの注意スコアが非グラムであることが証明された。 これは構造的な観察であり、階級保存の証拠ではないことは明らかです。 2) 低ランクな計量因子が全ての幾何学的操作を抽出可能であることを確かめる: トークン毎のO(d*r)の測地線距離とウッドベリー恒等式によるO(d*r^2)の測地反転 - 一般行列のO(d^3)コストよりはるかに低い - リーマン的注意を10億パラメトリックスケールで実現でき、オーバーヘッドが無視できる。 3)Fiber Bundle Transformerは,各トークン位置が独自のリーマン距離を持ち,注目は測地線距離計算,フィードフォワード更新はメトリックプレコンディショニングステップを使用し,接続は明示的な曲率とねじれプロキシを持つ,完全なアーキテクチャ仕様である。 我々は、正しく実装された幾何学的アーキテクチャに関する公式な予測を導き、中心的な開問題を特定する: 異質リーマン計量が行確率的注意行列が他の場合は引き起こすランク崩壊を防ぐことを証明または証明する。 本稿では,理論的解析とアーキテクチャ設計について述べる。

関連論文リスト

• Nested Inductive Bias Framework for SPD Manifold Learning [0.0]
  幾何学的ディープラーニング(Geometric Deep Learning)において、帰納バイアス(inductive bias)は2つの主要な機能、つまり多様体の制約を強制することと、関係事前を埋め込むことである。 我々は、非ユークリッド的対象測地をSPD多様体へ引き戻すためのNested Inductive Biasフレームワークを導入する。 我々はまた、外れ値に対する最先端の堅牢性を確立するために、Rational Conformal Metricを提案する。
  論文  参考訳（メタデータ） (2026-09-03T20:50:18Z)
• Riemannian geometry meets fMRI: the advantages of modeling correlation manifolds and eigenvector subspaces [0.0]
  相関行列は機能的脳ネットワークの基本要約である。 既存の幾何学的手法は、しばしば閉形式演算を欠いているか、あるいは任意の領域順序に依存する。 オフログ計量とグラスマン部分空間判別という2つの要素を持つスケーラブルな幾何学的枠組みを導入する。
  論文  参考訳（メタデータ） (2026-05-21T11:22:31Z)
• NOETHER: A Constructive Framework for Metamorphic Pattern Discovery from Operator Algebras [6.691613382732758]
  メタモルフィックテストはIEEE/ISOソフトウェアテスト標準で認識され、AIシステムに対してますます推奨される。 既存のアプローチでは,3つの基本的疑問が残る帰納的根拠を共有している。 本稿では,演算子代数からメタパタン集合への下流ステップが機械的かつ証明可能なフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-17T11:18:35Z)
• Riemannian Flow Matching for Disentangled Graph Domain Adaptation [51.98961391065951]
  グラフドメイン適応(GDA)は典型的には、ユークリッド空間におけるグラフ埋め込みの整列に逆学習を使用する。 DisRFMは、埋め込みとフローベースのトランスポートを統一する幾何学的なGDAフレームワークである。
  論文  参考訳（メタデータ） (2026-01-31T11:05:35Z)
• Constant Metric Scaling in Riemannian Computation [0.31727619150610836]
  これらの手法が依存する幾何学的構造を変化させることなく、定数なメートル法スケーリングをいかに導入できるかを示す。 このノートの目的は純粋に実証的であり、これらの手法が依存する幾何学的構造を変更することなく、大域的な計量スケールパラメータをどのように導入できるかを明確にすることを目的としている。
  論文  参考訳（メタデータ） (2026-01-16T04:54:23Z)
• Riemannian Zeroth-Order Gradient Estimation with Structure-Preserving Metrics for Geodesically Incomplete Manifolds [57.179679246370114]
  測地的に完備な測度を構築し、新しい測度の下での静止点が元の測度の下で定常であることを保証する。 構成された計量$g'$の下の$-固定点もまた、元の計量$g'$の下の$-定常点に対応する。 実用的なメッシュ最適化タスクの実験は、測地的完全性がない場合でも、我々のフレームワークが安定した収束を維持することを示した。
  論文  参考訳（メタデータ） (2026-01-12T22:08:03Z)
• Follow the Energy, Find the Path: Riemannian Metrics from Energy-Based Models [63.331590876872944]
  本稿では,事前学習したエネルギーベースモデルから直接リーマン計量を導出する手法を提案する。 これらの測度は空間的に異なる距離を定義し、測地学の計算を可能にする。 EBM由来のメトリクスは、確立されたベースラインを一貫して上回ります。
  論文  参考訳（メタデータ） (2025-05-23T12:18:08Z)
• Intrinsic Bayesian Cramér-Rao Bound with an Application to Covariance Matrix Estimation [49.67011673289242]
  本稿では, 推定パラメータが滑らかな多様体内にある推定問題に対して, 新たな性能境界を提案する。 これはパラメータ多様体の幾何学と推定誤差測度の本質的な概念を誘導する。
  論文  参考訳（メタデータ） (2023-11-08T15:17:13Z)
• Identifying latent distances with Finslerian geometry [6.0188611984807245]
  生成モデルにより、データ空間と測地学は最も非現実的であり、操作が不可能である。 本研究では,引き戻し距離の期待値が明示的に最小となる別の測度を提案する。 高次元では、どちらの測度も$Oleft(frac1Dright)$の速度で収束することが証明される。
  論文  参考訳（メタデータ） (2022-12-20T05:57:27Z)
• A Unifying and Canonical Description of Measure-Preserving Diffusions [60.59592461429012]
  ユークリッド空間における測度保存拡散の完全なレシピは、最近、いくつかのMCMCアルゴリズムを単一のフレームワークに統合した。 我々は、この構成を任意の多様体に改善し一般化する幾何学理論を開発する。
  論文  参考訳（メタデータ） (2021-05-06T17:36:55Z)
• Disentangling by Subspace Diffusion [72.1895236605335]
  データ多様体の完全教師なし分解は、多様体の真の計量が知られている場合、可能であることを示す。 我々の研究は、教師なしメートル法学習が可能であるかどうかという問題を減らし、表現学習の幾何学的性質に関する統一的な洞察を提供する。
  論文  参考訳（メタデータ） (2020-06-23T13:33:19Z)
• An Inductive Bias for Distances: Neural Nets that Respect the Triangle Inequality [38.95108641775682]
  距離は機械学習に広く浸透し、類似性尺度、損失関数、学習目標として機能する。 三角形の不等式を尊重する深い計量学習アーキテクチャは、ほとんど独占的に、潜在空間におけるユークリッド距離に依存している。 我々のアーキテクチャは、グラフ距離をモデル化する際の既存のメトリックアプローチよりも優れており、トレーニングデータに制限がある場合の非メトリックアプローチよりも優れた帰納バイアスを有することを示す。
  論文  参考訳（メタデータ） (2020-02-14T00:47:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。