Fugu-MT 論文翻訳(概要): Transformer models are gauge invariant: A mathematical connection between AI and particle physics

論文の概要: Transformer models are gauge invariant: A mathematical connection between AI and particle physics

arxiv url: http://arxiv.org/abs/2412.14543v1
Date: Thu, 19 Dec 2024 05:49:31 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-20 13:29:47.441767
Title: Transformer models are gauge invariant: A mathematical connection between AI and particle physics
Title（参考訳）: 変圧器モデルはゲージ不変量である:AIと粒子物理学の数学的関係
Authors: Leo van Nierop,
Abstract要約: 素粒子物理学において、基本力はゲージ不変性と呼ばれる対称性に属する。変圧器のアーキテクチャが同じ特性を示すことを実証し、変圧器のデフォルト表現が部分的には存在するが、ゲージの不変性を完全には取り除いていないことを示す。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: In particle physics, the fundamental forces are subject to symmetries called gauge invariance. It is a redundancy in the mathematical description of any physical system. In this article I will demonstrate that the transformer architecture exhibits the same properties, and show that the default representation of transformers has partially, but not fully removed the gauge invariance.
Abstract（参考訳）: 素粒子物理学において、基本力はゲージ不変性と呼ばれる対称性に属する。これは物理系の数学的記述における冗長性である。本稿では,変圧器アーキテクチャが同じ特性を示すことを示すとともに,変圧器の既定表現が部分的には存在するが,ゲージの不変性を完全には排除していないことを示す。

関連論文リスト

Identification of Mean-Field Dynamics using Transformers [3.8916312075738273]
本稿では, 粒子の挙動を示す粒子系の平均場ダイナミクスを近似するために, 変圧器アーキテクチャを用いた手法について検討する。具体的には、有限次元変圧器が粒子系を支配する有限次元ベクトル場を効果的に近似できるなら、この変圧器の期待出力は無限次元平均場ベクトル場に対して良い近似を与える。
論文参考訳（メタデータ） (2024-10-06T19:47:24Z)
Transformers Can Represent $n$-gram Language Models [56.06361029539347]
本稿では,言語モデルの単純かつ歴史的なクラスであるトランスフォーマーLMと$n$-gram LMの関係に注目した。ハードまたはスパースアテンション機構を用いたトランスフォーマーLMは,任意の$n$-gram LMを正確に表現できることを示す。
論文参考訳（メタデータ） (2024-04-23T12:51:37Z)
Equivariant Transformer is all you need [0.0]
自己学習モンテカルロに対称性同変注意を導入する。線形モデルに対する受理率の低さを克服し,Transformer を用いた大規模言語モデルのように,受理率のスケーリング法則を観察する。
論文参考訳（メタデータ） (2023-10-20T01:57:03Z)
Approximation and Estimation Ability of Transformers for Sequence-to-Sequence Functions with Infinite Dimensional Input [50.83356836818667]
無限次元入力を持つシーケンス・ツー・シーケンス関数として変換器の近似と推定能力について検討する。我々の理論的結果は、高次元データに対する変換器の実用的成功を支持する。
論文参考訳（メタデータ） (2023-05-30T02:44:49Z)
The Lie Derivative for Measuring Learned Equivariance [84.29366874540217]
我々は、CNN、トランスフォーマー、ミキサーアーキテクチャにまたがる数百の事前訓練されたモデルの同値性について検討する。その結果,不等式違反の多くは,不等式などのユビキタスネットワーク層における空間エイリアスに関連付けられることがわかった。例えば、トランスはトレーニング後の畳み込みニューラルネットワークよりも同種である。
論文参考訳（メタデータ） (2022-10-06T15:20:55Z)
Equivariant Mesh Attention Networks [10.517110532297021]
上述したすべての変換にほぼ同値なメッシュデータに対する注意に基づくアーキテクチャを提案する。提案したアーキテクチャは,これらの局所的・言語的変換に対して同変であり,従って堅牢であることを確認した。
論文参考訳（メタデータ） (2022-05-21T19:53:14Z)
Equivariant vector field network for many-body system modeling [65.22203086172019]
Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
論文参考訳（メタデータ） (2021-10-26T14:26:25Z)
Scalars are universal: Gauge-equivariant machine learning, structured like classical physics [0.0]
物理的な法則のゲージ対称性を尊重するニューラルネットワーク。これらの対称性の下で同変な普遍近似関数をパラメータ化することは簡単であることを示す。これらの結果は、古典物理学におけるゲージ不変深層学習モデルが、大問題に対する優れたスケーリングで現在実現可能であることを理論的に証明している。
論文参考訳（メタデータ） (2021-06-11T20:51:38Z)
Lorentz Group Equivariant Neural Network for Particle Physics [58.56031187968692]
ローレンツ群の下での変換に関して完全に同値なニューラルネットワークアーキテクチャを提案する。素粒子物理学における分類問題に対して、そのような同変構造は、比較的学習可能なパラメータの少ない非常に単純なモデルをもたらすことを実証する。
論文参考訳（メタデータ） (2020-06-08T17:54:43Z)
Gauge non-invariance due to material truncation in ultrastrong-coupling QED [0.0]
最近Nature Physics 15, 803 Gaugeで提案されたアプローチは、誤った数学的主張に依存している。また、ゲージのあいまいさは近似によるゲージの非不変性と同義ではないことも強調する。
論文参考訳（メタデータ） (2020-05-13T18:10:12Z)
Generalized string-nets for unitary fusion categories without tetrahedral symmetry [77.34726150561087]
任意の多重度自由なユニタリ融合圏に対するLevin-Wenモデルの構築について述べる。我々はハミルトニアンの行列要素を明示的に計算し、さらに元の要素と同じ性質を持つことを示す。
論文参考訳（メタデータ） (2020-04-15T12:21:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。