Fugu-MT 論文翻訳(概要): A Unified Geometric Field Theory Framework for Transformers: From Manifold Embeddings to Kernel Modulation

論文の概要: A Unified Geometric Field Theory Framework for Transformers: From Manifold Embeddings to Kernel Modulation

arxiv url: http://arxiv.org/abs/2511.08243v1
Date: Wed, 12 Nov 2025 01:48:25 GMT
ステータス: 翻訳完了
システム内更新日: 2025-11-12 20:17:03.716293
Title: A Unified Geometric Field Theory Framework for Transformers: From Manifold Embeddings to Kernel Modulation
Title（参考訳）: 変圧器の統一幾何場理論フレームワーク:マニフォールド埋め込みからカーネル変調へ
Authors: Xianshuai Shi, Jianfeng Zhu, Leibo Liu,
Abstract要約: Transformerアーキテクチャは、自然言語処理、コンピュータビジョン、科学計算において、自己認識機構を通じて大きな成功を収めている。本稿では, 位置符号化, カーネル積分演算子, 注目機構を統合した構造理論的枠組みを提案する。
参考スコア（独自算出の注目度）: 5.985222592888107
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The Transformer architecture has achieved tremendous success in natural language processing, computer vision, and scientific computing through its self-attention mechanism. However, its core components-positional encoding and attention mechanisms-have lacked a unified physical or mathematical interpretation. This paper proposes a structural theoretical framework that integrates positional encoding, kernel integral operators, and attention mechanisms for in-depth theoretical investigation. We map discrete positions (such as text token indices and image pixel coordinates) to spatial functions on continuous manifolds, enabling a field-theoretic interpretation of Transformer layers as kernel-modulated operators acting over embedded manifolds.
Abstract（参考訳）: Transformerアーキテクチャは、自然言語処理、コンピュータビジョン、科学計算において、自己認識機構を通じて大きな成功を収めている。しかし、その中核となるコンポーネントの配置エンコーディングとアテンション機構は、統一された物理的または数学的解釈を欠いていた。本稿では, 位置符号化, カーネル積分演算子, 注目機構を統合した構造理論的枠組みを提案する。連続多様体上の空間関数に離散的な位置(テキストトークンインデックスや画像画素座標など)を写像し、埋め込み多様体に作用するカーネル変調作用素としてトランスフォーマー層の場論的解釈を可能にする。

関連論文リスト

Unlocking Out-of-Distribution Generalization in Transformers via Recursive Latent Space Reasoning [50.99796659680724]
本研究では,GSM8Kスタイルのモジュラー演算をテストベッドとして用いたTransformerネットワークにおけるアウト・オブ・ディストリビューション(OOD)の一般化について検討する。我々は,OOD一般化の強化を目的とした4つのアーキテクチャ機構のセットを紹介し,検討する。我々はこれらの実験結果を詳細な機械論的解釈可能性分析で補完し、これらのメカニズムがOOD一般化能力をいかに高めるかを明らかにする。
論文参考訳（メタデータ） (2025-10-15T21:03:59Z)
A Mathematical Explanation of Transformers for Large Language Models and GPTs [6.245431127481903]
本稿では,トランスフォーマーを構造化積分微分方程式の離散化として解釈する新しい連続フレームワークを提案する。この定式化の中で、自己注意機構は非局所積分作用素として自然に現れる。提案手法は, 連続領域にトランスフォーマー演算全体を埋め込むことにより, 従来の理論的解析を超えて拡張する。
論文参考訳（メタデータ） (2025-10-05T01:16:08Z)
A Free Probabilistic Framework for Analyzing the Transformer-based Language Models [19.78896931593813]
本稿では,自由確率理論を用いたトランスフォーマーに基づく言語モデル解析のための形式的演算子理論フレームワークを提案する。この研究は、理論上は大きな言語モデルにおける構造力学に関する原則的視点を提供する。
論文参考訳（メタデータ） (2025-06-19T19:13:02Z)
Theoretical Analysis of Positional Encodings in Transformer Models: Impact on Expressiveness and Generalization [10.034655199520168]
位置エンコーディングはトランスフォーマーベースのモデルの中核部分である。本稿では, 様々な位置符号化手法がトランスフォーマーの表現性, 一般化能力, より長いシーケンスに対する外挿にどのように影響するかを解析する。
論文参考訳（メタデータ） (2025-06-05T23:02:18Z)
Understanding Token-level Topological Structures in Transformer-based Time Series Forecasting [52.364260925700485]
Transformer-based method has achieved state-of-the-art performance in time series forecasting (TSF) 既存のトランスフォーマーが中間層全体を通してトークン間の固有位相構造を完全に活用しているかどうかは不明である。トークンレベルのトポロジを明示的にかつ適応的に保存するトランスフォーマーベースの新しいTSF手法であるトポロジ拡張法(TEM)を提案する。
論文参考訳（メタデータ） (2024-04-16T07:21:39Z)
How Do Transformers Learn In-Context Beyond Simple Functions? A Case Study on Learning with Representations [98.7450564309923]
本稿では、より複雑なシナリオにおける文脈内学習(ICL)の理解を、表現を用いた学習で研究する。合成文内学習問題を合成構造を用いて構築し、ラベルは複雑なが固定された表現関数によって入力に依存する。理論的には、そのようなアルゴリズムを軽度な深さと大きさでほぼ実装するトランスフォーマーの存在を示す。
論文参考訳（メタデータ） (2023-10-16T17:40:49Z)
How Do Transformers Learn Topic Structure: Towards a Mechanistic Understanding [56.222097640468306]
我々は、トランスフォーマーが「意味構造」を学ぶ方法の機械的理解を提供する数学的解析とウィキペディアデータの実験を組み合わせることで、埋め込み層と自己保持層がトピック構造をエンコードしていることを示す。
論文参考訳（メタデータ） (2023-03-07T21:42:17Z)
Causal Abstraction: A Theoretical Foundation for Mechanistic Interpretability [30.76910454663951]
因果抽象化は機械的解釈可能性の理論的基盤を提供する。我々の貢献は、メカニズム置換から任意のメカニズム変換への因果的抽象化の理論の一般化である。
論文参考訳（メタデータ） (2023-01-11T20:42:41Z)
Representational Systems Theory: A Unified Approach to Encoding, Analysing and Transforming Representations [3.1252164619375473]
表現システム理論(Representational Systems Theory)は、3つのコアの観点から様々な表現を符号化するように設計されている。ある系における表現を別の系における表現に構造的に変換することができる。
論文参考訳（メタデータ） (2022-06-07T10:43:27Z)
Geometric Transformer for End-to-End Molecule Properties Prediction [92.28929858529679]
分子特性予測のためのトランスフォーマーに基づくアーキテクチャを導入し,分子の形状を捉える。分子幾何学の初期符号化による古典的な位置エンコーダと、学習されたゲート自己保持機構を改変する。
論文参考訳（メタデータ） (2021-10-26T14:14:40Z)
Transformers with Competitive Ensembles of Independent Mechanisms [97.93090139318294]
隠れた表現とパラメータを複数のメカニズムに分割し、注意を通して情報を交換する新しいトランスフォーマー層を提案する。 TIM を大規模 BERT モデル、画像変換器、および音声強調について研究し、意味的に意味のある専門化とパフォーマンスの向上の証拠を見つけます。
論文参考訳（メタデータ） (2021-02-27T21:48:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。