論文の概要: Erwin: A Tree-based Hierarchical Transformer for Large-scale Physical Systems

• arxiv url: http://arxiv.org/abs/2502.17019v1
• Date: Mon, 24 Feb 2025 10:16:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:59:01.240278
• Title: Erwin: A Tree-based Hierarchical Transformer for Large-scale Physical Systems
• Title（参考訳）: Erwin: 大規模物理システムのための木ベースの階層変換器
• Authors: Maksim Zhdanov, Max Welling, Jan-Willem van de Meent,
• Abstract要約: 計算多体物理学の手法にインスパイアされた階層型トランスフォーマーであるErwinを紹介する。 宇宙論、分子動力学、粒子流体力学など、複数の領域にわたるエルウィンの有効性を実証する。
• 参考スコア（独自算出の注目度）: 48.984420422430404
• License:
• Abstract: Large-scale physical systems defined on irregular grids pose significant scalability challenges for deep learning methods, especially in the presence of long-range interactions and multi-scale coupling. Traditional approaches that compute all pairwise interactions, such as attention, become computationally prohibitive as they scale quadratically with the number of nodes. We present Erwin, a hierarchical transformer inspired by methods from computational many-body physics, which combines the efficiency of tree-based algorithms with the expressivity of attention mechanisms. Erwin employs ball tree partitioning to organize computation, which enables linear-time attention by processing nodes in parallel within local neighborhoods of fixed size. Through progressive coarsening and refinement of the ball tree structure, complemented by a novel cross-ball interaction mechanism, it captures both fine-grained local details and global features. We demonstrate Erwin's effectiveness across multiple domains, including cosmology, molecular dynamics, and particle fluid dynamics, where it consistently outperforms baseline methods both in accuracy and computational efficiency.
• Abstract（参考訳）: 不規則な格子上に定義された大規模物理系は、特に長距離相互作用とマルチスケール結合の存在下で、ディープラーニング手法に顕著なスケーラビリティ上の課題を生じさせる。 注意のような全ての対の相互作用を計算する伝統的なアプローチは、ノード数と2次にスケールするにつれて、計算的に禁止される。 本稿では,木に基づくアルゴリズムの効率と注意機構の表現性を組み合わせた,計算多体物理学の手法に着想を得た階層型変換器Erwinを提案する。 Erwinは、計算を整理するためにボールツリーパーティショニングを採用しており、固定サイズの局所近傍でノードを並列に処理することで、線形時間アテンションを可能にする。 ボールツリー構造を段階的に粗くし、改良し、新しいクロスボール相互作用機構によって補うことで、細粒な局所的詳細とグローバルな特徴の両方を捉える。 宇宙論、分子動力学、粒子流体力学など、複数の領域にまたがるエルウィンの有効性を実証する。

関連論文リスト

• Deep Signature: Characterization of Large-Scale Molecular Dynamics [29.67824486345836]
  ディープシグナチャ(Deep Signature)は、複雑な力学と原子間相互作用を特徴付ける、計算的に抽出可能な新しいフレームワークである。 提案手法では,協調力学を局所的に集約してシステムのサイズを小さくするソフトスペクトルクラスタリングと,非滑らかな対話力学のグローバルな評価を行うシグネチャ変換を取り入れた。
  論文  参考訳（メタデータ） (2024-10-03T16:37:48Z)
• Inferring Kernel $ε$-Machines: Discovering Structure in Complex Systems [49.1574468325115]
  本稿では,カーネル因果状態推定を縮小次元空間における座標の集合として符号化する因果拡散成分を提案する。 それぞれのコンポーネントがデータから予測機能を抽出し,そのアプリケーションを4つの例で示す。
  論文  参考訳（メタデータ） (2024-10-01T21:14:06Z)
• Capturing long-range memory structures with tree-geometry process tensors [0.0]
  時間スケールに分散した時間的相関とメモリを示す量子非マルコフ過程のクラスを導入する。 このようなプロセスの長い範囲の相関は、ほとんど完全に記憶効果から生じる傾向があることを示す。 本稿では,パラダイムスピンボソンモデルの強いメモリダイナミクスを効率的に近似する方法を示す。
  論文  参考訳（メタデータ） (2023-12-07T19:00:01Z)
• Exploring the role of parameters in variational quantum algorithms [59.20947681019466]
  動的リー代数の階数を用いた変分量子回路のキャラクタリゼーションのための量子制御に着想を得た手法を提案する。 有望な接続は、リーランク、計算されたエネルギーの精度、および所定の回路アーキテクチャを介して目標状態を達成するために必要な深さとの間のものである。
  論文  参考訳（メタデータ） (2022-09-28T20:24:53Z)
• Poly-NL: Linear Complexity Non-local Layers with Polynomials [76.21832434001759]
  性能を損なわずに2次から線形に複雑性を低減できる新しい高速非局所ブロックを定式化する。 The proposed method, we dub that "Poly-NL" is competitive to state-of-the-art performance across image recognition, instance segmentation, and face detection task。
  論文  参考訳（メタデータ） (2021-07-06T19:51:37Z)
• X-volution: On the unification of convolution and self-attention [52.80459687846842]
  本稿では,畳み込み操作と自己注意操作の両方からなるマルチブランチ基本モジュールを提案する。 提案したX-進化は、非常に競争力のある視覚的理解の改善を実現する。
  論文  参考訳（メタデータ） (2021-06-04T04:32:02Z)
• Learning Theory for Inferring Interaction Kernels in Second-Order Interacting Agent Systems [17.623937769189364]
  推定器の強い一貫性と最適非パラメトリック min-max 収束率を確立する完全学習理論を開発する。 推定器を構築するための数値アルゴリズムは並列化可能であり、高次元問題に対してよく機能し、複雑な力学系上で実証される。
  論文  参考訳（メタデータ） (2020-10-08T02:07:53Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。