論文の概要: Euclidean Fast Attention: Machine Learning Global Atomic Representations at Linear Cost
- arxiv url: http://arxiv.org/abs/2412.08541v1
- Date: Wed, 11 Dec 2024 16:59:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-12 14:01:37.040105
- Title: Euclidean Fast Attention: Machine Learning Global Atomic Representations at Linear Cost
- Title（参考訳）: Euclidean Fast Attention: 線形コストでグローバルな原子表現を機械学習する
- Authors: J. Thorben Frank, Stefan Chmiela, Klaus-Robert Müller, Oliver T. Unke,
- Abstract要約: 長距離相関は、多くの機械学習タスクにおいて不可欠である。
Euclidean fast attention (EFA) はユークリッドデータのための線形スケーリング型注目機構である。
EFAは様々な長距離効果を効果的に捉え、MLFFは困難な化学相互作用を記述できる。
- 参考スコア（独自算出の注目度）: 15.388358712558878
- License:
- Abstract: Long-range correlations are essential across numerous machine learning tasks, especially for data embedded in Euclidean space, where the relative positions and orientations of distant components are often critical for accurate predictions. Self-attention offers a compelling mechanism for capturing these global effects, but its quadratic complexity presents a significant practical limitation. This problem is particularly pronounced in computational chemistry, where the stringent efficiency requirements of machine learning force fields (MLFFs) often preclude accurately modeling long-range interactions. To address this, we introduce Euclidean fast attention (EFA), a linear-scaling attention-like mechanism designed for Euclidean data, which can be easily incorporated into existing model architectures. A core component of EFA are novel Euclidean rotary positional encodings (ERoPE), which enable efficient encoding of spatial information while respecting essential physical symmetries. We empirically demonstrate that EFA effectively captures diverse long-range effects, enabling EFA-equipped MLFFs to describe challenging chemical interactions for which conventional MLFFs yield incorrect results.
- Abstract（参考訳）: 長距離相関は、多くの機械学習タスク、特にユークリッド空間に埋め込まれたデータにおいて必須である。
自己注意はこれらのグローバルな効果を捉えるための説得力あるメカニズムを提供するが、その二次的な複雑さは重大な実用的限界を示す。
この問題は特に計算化学において顕著であり、機械学習力場(MLFF)の厳密な効率要件は、しばしば長距離相互作用を正確にモデル化することを妨げる。
これを解決するために、既存のモデルアーキテクチャに容易に組み込むことができる、ユークリッドデータのための線形スケーリング型注意機構であるEuclidean Fast attention (EFA)を導入する。
EFAのコアコンポーネントはユークリッド回転位置符号化(ERoPE)であり、必須物理対称性を尊重しながら空間情報の効率的な符号化を可能にする。
実験により,EFAは様々な長距離効果を効果的に捉え,従来のMLFFが正しくない化学相互作用を記述できることを示した。
関連論文リスト
- ELASTIC: Efficient Linear Attention for Sequential Interest Compression [5.689306819772134]
最先端のシーケンシャルレコメンデーションモデルは、トランスフォーマーの注意機構に大きく依存している。
逐次的関心圧縮のための効率的な線形注意法であるELASTICを提案する。
我々は、様々な公開データセットに関する広範な実験を行い、それをいくつかの強力なシーケンシャルなレコメンデータと比較する。
論文 参考訳（メタデータ） (2024-08-18T06:41:46Z) - Short-Long Convolutions Help Hardware-Efficient Linear Attention to Focus on Long Sequences [60.489682735061415]
本稿では,状態空間モデルを短時間の畳み込みに置き換えたCHELAを提案する。
提案手法の有効性を示すために,Long Range Arenaベンチマークと言語モデリングタスクについて実験を行った。
論文 参考訳（メタデータ） (2024-06-12T12:12:38Z) - A Gentle Approach to Multi-Sensor Fusion Data Using Linear Kalman Filter [6.17569685604975]
この研究論文はLKF(Linear Kalman Filter)を掘り下げ、複数のセンサーからのデータをマージすることの重要性を強調した。
我々の焦点は、LKFのシステム力学、測定ノイズ、初期条件に関する仮定による線形力学系である。
この融合は多様な感覚入力を統合するために不可欠であり、それによって状態推定の精度と信頼性が向上する。
論文 参考訳（メタデータ） (2024-05-27T17:46:58Z) - pCTFusion: Point Convolution-Transformer Fusion with Semantic Aware Loss
for Outdoor LiDAR Point Cloud Segmentation [8.24822602555667]
本研究では,カーネルベースの畳み込みと自己保持機構を組み合わせた新しいアーキテクチャpCTFusionを提案する。
提案アーキテクチャでは,エンコーダブロックの階層的位置に基づいて,ローカルとグローバルの2種類の自己保持機構を採用している。
結果は特に、クラス不均衡、スペースの欠如、隣り合わせの機能符号化によってしばしば誤って分類される、マイナーなクラスを奨励している。
論文 参考訳（メタデータ） (2023-07-27T11:12:48Z) - Practical Approaches for Fair Learning with Multitype and Multivariate
Sensitive Attributes [70.6326967720747]
現実世界に展開された機械学習アルゴリズムが不公平さや意図しない社会的結果をもたらすことはないことを保証することが重要である。
本稿では,カーネルHilbert Spacesの相互共分散演算子上に構築されたフェアネス尺度であるFairCOCCOを紹介する。
実世界のデータセットにおける予測能力と公正性のバランスをとる上で、最先端技術に対する一貫した改善を実証的に示す。
論文 参考訳（メタデータ） (2022-11-11T11:28:46Z) - Pessimism meets VCG: Learning Dynamic Mechanism Design via Offline
Reinforcement Learning [114.36124979578896]
オフライン強化学習アルゴリズムを用いて動的メカニズムを設計する。
我々のアルゴリズムは悲観主義の原理に基づいており、オフラインデータセットのカバレッジについて軽度な仮定しか必要としない。
論文 参考訳（メタデータ） (2022-05-05T05:44:26Z) - Ultra-marginal Feature Importance: Learning from Data with Causal Guarantees [1.2289361708127877]
データ間の関係を定量化するためにMCI(Marginal contribute feature importance)が開発された。
本稿では,AIフェアネス文学からの依存除去手法を基盤として,ウルトラマージナル特徴重要度(UMFI)を導入する。
UMFIがMCIよりも優れている実データやシミュレーションデータについて,特に相互関係や非関連性の存在下で述べる。
論文 参考訳（メタデータ） (2022-04-21T07:54:58Z) - Equivariant Graph Mechanics Networks with Constraints [83.38709956935095]
本稿では,グラフ力学ネットワーク(GMN)を提案する。
GMNは、一般化された座標により、構造体の前方運動学情報(位置と速度)を表す。
大規模な実験は、予測精度、制約満足度、データ効率の観点から、最先端のGNNと比較してGMNの利点を支持する。
論文 参考訳（メタデータ） (2022-03-12T14:22:14Z) - Adaptive Latent Space Tuning for Non-Stationary Distributions [62.997667081978825]
本稿では,ディープエンコーダ・デコーダ方式cnnの低次元潜在空間の適応チューニング法を提案する。
粒子加速器における時間変動荷電粒子ビームの特性を予測するためのアプローチを実証する。
論文 参考訳（メタデータ） (2021-05-08T03:50:45Z) - A Universal Framework for Featurization of Atomistic Systems [0.0]
物理や機械学習に基づく反応力場は、時間と長さのスケールのギャップを埋めるために使うことができる。
本稿では,原子周囲の電子密度の物理的に関連する多極展開を利用するガウス多極(GMP)デデュール化スキームを紹介する。
我々は,GMPに基づくモデルがQM9データセットの化学的精度を達成できることを示し,新しい要素を外挿してもその精度は妥当であることを示した。
論文 参考訳（メタデータ） (2021-02-04T03:11:00Z) - Machine Learning Force Fields [54.48599172620472]
機械学習(ML)は、計算化学の多くの進歩を可能にした。
最も有望な応用の1つは、MLベースの力場(FF)の構築である。
本稿では,ML-FFの応用と,それらから得られる化学的知見について概説する。
論文 参考訳（メタデータ） (2020-10-14T13:14:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。