論文の概要: A Unified Geometric Field Theory Framework for Transformers: From Manifold Embeddings to Kernel Modulation

• arxiv url: http://arxiv.org/abs/2511.08243v2
• Date: Thu, 13 Nov 2025 01:38:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-13 14:36:37.06442
• Title: A Unified Geometric Field Theory Framework for Transformers: From Manifold Embeddings to Kernel Modulation
• Title（参考訳）: 変圧器の統一幾何場理論フレームワーク:マニフォールド埋め込みからカーネル変調へ
• Authors: Xianshuai Shi, Jianfeng Zhu, Leibo Liu,
• Abstract要約: Transformerアーキテクチャは、自然言語処理、コンピュータビジョン、科学計算において、自己認識機構を通じて大きな成功を収めている。 本稿では, 位置符号化, カーネル積分演算子, 注目機構を統合した構造理論的枠組みを提案する。
• 参考スコア（独自算出の注目度）: 5.985222592888107
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Transformer architecture has achieved tremendous success in natural language processing, computer vision, and scientific computing through its self-attention mechanism. However, its core components-positional encoding and attention mechanisms-have lacked a unified physical or mathematical interpretation. This paper proposes a structural theoretical framework that integrates positional encoding, kernel integral operators, and attention mechanisms for in-depth theoretical investigation. We map discrete positions (such as text token indices and image pixel coordinates) to spatial functions on continuous manifolds, enabling a field-theoretic interpretation of Transformer layers as kernel-modulated operators acting over embedded manifolds.
• Abstract（参考訳）: Transformerアーキテクチャは、自然言語処理、コンピュータビジョン、科学計算において、自己認識機構を通じて大きな成功を収めている。 しかし、その中核となるコンポーネントの配置エンコーディングとアテンション機構は、統一された物理的または数学的解釈を欠いていた。 本稿では, 位置符号化, カーネル積分演算子, 注目機構を統合した構造理論的枠組みを提案する。 連続多様体上の空間関数に離散的な位置(テキストトークンインデックスや画像画素座標など)を写像し、埋め込み多様体に作用するカーネル変調作用素としてトランスフォーマー層の場論的解釈を可能にする。

関連論文リスト

• Unlocking Out-of-Distribution Generalization in Transformers via Recursive Latent Space Reasoning [50.99796659680724]
  本研究では,GSM8Kスタイルのモジュラー演算をテストベッドとして用いたTransformerネットワークにおけるアウト・オブ・ディストリビューション(OOD)の一般化について検討する。 我々は,OOD一般化の強化を目的とした4つのアーキテクチャ機構のセットを紹介し,検討する。 我々はこれらの実験結果を詳細な機械論的解釈可能性分析で補完し、これらのメカニズムがOOD一般化能力をいかに高めるかを明らかにする。
  論文  参考訳（メタデータ） (2025-10-15T21:03:59Z)
• A Mathematical Explanation of Transformers for Large Language Models and GPTs [6.245431127481903]
  本稿では,トランスフォーマーを構造化積分微分方程式の離散化として解釈する新しい連続フレームワークを提案する。 この定式化の中で、自己注意機構は非局所積分作用素として自然に現れる。 提案手法は, 連続領域にトランスフォーマー演算全体を埋め込むことにより, 従来の理論的解析を超えて拡張する。
  論文  参考訳（メタデータ） (2025-10-05T01:16:08Z)
• A Free Probabilistic Framework for Analyzing the Transformer-based Language Models [19.78896931593813]
  本稿では,自由確率理論を用いたトランスフォーマーに基づく言語モデル解析のための形式的演算子理論フレームワークを提案する。 この研究は、理論上は大きな言語モデルにおける構造力学に関する原則的視点を提供する。
  論文  参考訳（メタデータ） (2025-06-19T19:13:02Z)
• Understanding Token-level Topological Structures in Transformer-based Time Series Forecasting [52.364260925700485]
  Transformer-based method has achieved state-of-the-art performance in time series forecasting (TSF) 既存のトランスフォーマーが中間層全体を通してトークン間の固有位相構造を完全に活用しているかどうかは不明である。 トークンレベルのトポロジを明示的にかつ適応的に保存するトランスフォーマーベースの新しいTSF手法であるトポロジ拡張法(TEM)を提案する。
  論文  参考訳（メタデータ） (2024-04-16T07:21:39Z)
• How Do Transformers Learn Topic Structure: Towards a Mechanistic Understanding [56.222097640468306]
  我々は、トランスフォーマーが「意味構造」を学ぶ方法の機械的理解を提供する 数学的解析とウィキペディアデータの実験を組み合わせることで、埋め込み層と自己保持層がトピック構造をエンコードしていることを示す。
  論文  参考訳（メタデータ） (2023-03-07T21:42:17Z)
• Causal Abstraction: A Theoretical Foundation for Mechanistic Interpretability [30.76910454663951]
  因果抽象化は機械的解釈可能性の理論的基盤を提供する。 我々の貢献は、メカニズム置換から任意のメカニズム変換への因果的抽象化の理論の一般化である。
  論文  参考訳（メタデータ） (2023-01-11T20:42:41Z)
• Geometric Transformer for End-to-End Molecule Properties Prediction [92.28929858529679]
  分子特性予測のためのトランスフォーマーに基づくアーキテクチャを導入し,分子の形状を捉える。 分子幾何学の初期符号化による古典的な位置エンコーダと、学習されたゲート自己保持機構を改変する。
  論文  参考訳（メタデータ） (2021-10-26T14:14:40Z)
• Transformers with Competitive Ensembles of Independent Mechanisms [97.93090139318294]
  隠れた表現とパラメータを複数のメカニズムに分割し、注意を通して情報を交換する新しいトランスフォーマー層を提案する。 TIM を大規模 BERT モデル、画像変換器、および音声強調について研究し、意味的に意味のある専門化とパフォーマンスの向上の証拠を見つけます。
  論文  参考訳（メタデータ） (2021-02-27T21:48:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。