論文の概要: Equivariant Transformer is all you need
- arxiv url: http://arxiv.org/abs/2310.13222v1
- Date: Fri, 20 Oct 2023 01:57:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 00:55:51.594050
- Title: Equivariant Transformer is all you need
- Title(参考訳): 等変変変圧器は 必要なだけ
- Authors: Akio Tomiya, Yuki Nagai
- Abstract要約: 自己学習モンテカルロに対称性同変注意を導入する。
線形モデルに対する受理率の低さを克服し,Transformer を用いた大規模言語モデルのように,受理率のスケーリング法則を観察する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine learning, deep learning, has been accelerating computational physics,
which has been used to simulate systems on a lattice. Equivariance is essential
to simulate a physical system because it imposes a strong induction bias for
the probability distribution described by a machine learning model. This
reduces the risk of erroneous extrapolation that deviates from data symmetries
and physical laws. However, imposing symmetry on the model sometimes occur a
poor acceptance rate in self-learning Monte-Carlo (SLMC). On the other hand,
Attention used in Transformers like GPT realizes a large model capacity. We
introduce symmetry equivariant attention to SLMC. To evaluate our architecture,
we apply it to our proposed new architecture on a spin-fermion model on a
two-dimensional lattice. We find that it overcomes poor acceptance rates for
linear models and observe the scaling law of the acceptance rate as in the
large language models with Transformers.
- Abstract(参考訳): 機械学習、ディープラーニングは、格子上のシステムをシミュレートするために使われてきた計算物理学を加速してきた。
等分散は、機械学習モデルで記述された確率分布に対して強い帰納バイアスを課すため、物理系をシミュレートするために不可欠である。
これにより、データ対称性や物理法則から逸脱する誤った外挿のリスクが低減される。
しかし、モデルに対称性を与えると、自己学習モンテカルロ(SLMC)の受け入れ率が低下することがある。
一方、gptのような変圧器で使われる注意は大きなモデル容量を実現する。
SLMCに対称同変注意を導入する。
本研究では,2次元格子上のスピンフェルミオンモデルを用いた新しいアーキテクチャに適用する。
線形モデルに対する受け入れ率の低さを克服し,トランスフォーマを用いた大規模言語モデルのように受け入れ率のスケーリング則を遵守できることを見出した。
関連論文リスト
- Latent Space Energy-based Neural ODEs [73.01344439786524]
本稿では,連続時間シーケンスデータを表現するために設計された深部力学モデルの新しいファミリを紹介する。
マルコフ連鎖モンテカルロの最大推定値を用いてモデルを訓練する。
発振システム、ビデオ、実世界の状態シーケンス(MuJoCo)の実験は、学習可能なエネルギーベース以前のODEが既存のものより優れていることを示している。
論文 参考訳(メタデータ) (2024-09-05T18:14:22Z) - Probing the effects of broken symmetries in machine learning [0.0]
我々は,非対称モデルがデータから対称性を学習できることを示す。
我々は、対称性の破れによって、直接的または間接的に影響を受けやすい物理的観測物に特に焦点を合わせ、モデルが補間的でバルクな状態で使用されるとき、無視可能な結果を見つける。
論文 参考訳(メタデータ) (2024-06-25T17:34:09Z) - Similarity Equivariant Graph Neural Networks for Homogenization of Metamaterials [3.6443770850509423]
ソフトで多孔質なメカニカルメタマテリアルは、ソフトロボティクス、音の低減、バイオメディシンに重要な応用をもたらすパターン変換を示す。
我々は、代理モデルとして機能するために好意的にスケールする機械学習ベースのアプローチを開発する。
このネットワークは、対称性の少ないグラフニューラルネットワークよりも正確で、データ効率が高いことを示す。
論文 参考訳(メタデータ) (2024-04-26T12:30:32Z) - Machine learning in and out of equilibrium [58.88325379746631]
我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。
我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。
本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
論文 参考訳(メタデータ) (2023-06-06T09:12:49Z) - FAENet: Frame Averaging Equivariant GNN for Materials Modeling [123.19473575281357]
データ変換による任意のモデルE(3)-同変や不変化を実現するために,フレームアラグリング(SFA)に依存したフレキシブルなフレームワークを導入する。
本手法の有効性を理論的および実験的に証明し, 材料モデリングにおける精度と計算スケーラビリティを実証する。
論文 参考訳(メタデータ) (2023-04-28T21:48:31Z) - Distributional Learning of Variational AutoEncoder: Application to
Synthetic Data Generation [0.7614628596146602]
本稿では,VAEフレームワークの計算上の利点を犠牲にすることなく,モデル容量を拡大する手法を提案する。
VAEモデルのデコーダは、非対称ラプラス分布の無限混合からなる。
提案したモデルを合成データ生成に適用し,特にデータプライバシの調整が容易であることを示す。
論文 参考訳(メタデータ) (2023-02-22T11:26:50Z) - Lorentz group equivariant autoencoders [6.858459233149096]
Lorentz group autoencoder (LGAE)
正規直交ローレンツ群 $mathrmSO+(2,1)$ に対して自己エンコーダモデル同型を開発する。
我々はLHCのジェット機のアーキテクチャと実験結果を示し、いくつかの圧縮、再構成、異常検出の指標に基づいて、グラフと畳み込みニューラルネットワークのベースラインモデルより優れています。
論文 参考訳(メタデータ) (2022-12-14T17:19:46Z) - Learning Physical Dynamics with Subequivariant Graph Neural Networks [99.41677381754678]
グラフニューラルネットワーク(GNN)は、物理力学を学習するための一般的なツールとなっている。
物理法則は、モデル一般化に必須な帰納バイアスである対称性に従属する。
本モデルは,RigidFall上でのPhysylonと2倍低ロールアウトMSEの8つのシナリオにおいて,平均3%以上の接触予測精度の向上を実現している。
論文 参考訳(メタデータ) (2022-10-13T10:00:30Z) - The Lie Derivative for Measuring Learned Equivariance [84.29366874540217]
我々は、CNN、トランスフォーマー、ミキサーアーキテクチャにまたがる数百の事前訓練されたモデルの同値性について検討する。
その結果,不等式違反の多くは,不等式などのユビキタスネットワーク層における空間エイリアスに関連付けられることがわかった。
例えば、トランスはトレーニング後の畳み込みニューラルネットワークよりも同種である。
論文 参考訳(メタデータ) (2022-10-06T15:20:55Z) - Automated Dissipation Control for Turbulence Simulation with Shell
Models [1.675857332621569]
機械学習(ML)技術の応用、特にニューラルネットワークは、画像や言語を処理する上で大きな成功を収めています。
本研究は,Gledzer-Ohkitani-yamadaシェルモデルを用いて,乱流の簡易表現を構築する。
本稿では,自己相似慣性範囲スケーリングなどの乱流の統計的特性を再構築する手法を提案する。
論文 参考訳(メタデータ) (2022-01-07T15:03:52Z) - Equivariant vector field network for many-body system modeling [65.22203086172019]
Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。
シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
論文 参考訳(メタデータ) (2021-10-26T14:26:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。