論文の概要: Natively Trainable Sparse Attention for Hierarchical Point Cloud Datasets

• arxiv url: http://arxiv.org/abs/2508.10758v1
• Date: Thu, 14 Aug 2025 15:39:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-15 22:24:48.388027
• Title: Natively Trainable Sparse Attention for Hierarchical Point Cloud Datasets
• Title（参考訳）: 階層型クラウドデータセットのためのネイティブトレーニング可能なスパース注意
• Authors: Nicolas Lapautre, Maria Marchenko, Carlos Miguel Patiño, Xin Zhou,
• Abstract要約: 本研究では,ErwinアーキテクチャとNative Sparse Attention(NSA)機構を組み合わせることで,大規模物理システムにおけるトランスフォーマーモデルの効率性と受容性を向上させる。 我々は、非シーケンスデータに対してNSAメカニズムを適用し、Erwin NSAモデルを実装し、物理科学の3つのデータセットで評価する。
• 参考スコア（独自算出の注目度）: 3.166955283908872
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unlocking the potential of transformers on datasets of large physical systems depends on overcoming the quadratic scaling of the attention mechanism. This work explores combining the Erwin architecture with the Native Sparse Attention (NSA) mechanism to improve the efficiency and receptive field of transformer models for large-scale physical systems, addressing the challenge of quadratic attention complexity. We adapt the NSA mechanism for non-sequential data, implement the Erwin NSA model, and evaluate it on three datasets from the physical sciences -- cosmology simulations, molecular dynamics, and air pressure modeling -- achieving performance that matches or exceeds that of the original Erwin model. Additionally, we reproduce the experimental results from the Erwin paper to validate their implementation.
• Abstract（参考訳）: 大規模物理システムのデータセットにトランスフォーマーの可能性を解き放つには、注意機構の二次的スケーリングを克服することに依存する。 この研究は、ErwinアーキテクチャとNative Sparse Attention(NSA)メカニズムを組み合わせることで、大規模物理システムにおけるトランスフォーマーモデルの効率性と受容性を改善し、二次的注意の複雑さの課題に対処する。 我々は、非シークエンシャルデータにNSAのメカニズムを適用し、Erwin NSAモデルを実装し、物理科学から得られた3つのデータセット(宇宙論シミュレーション、分子動力学、空気圧モデリング)で評価し、元のErwinモデルと一致するか、または超えるパフォーマンスを達成する。 さらに,Erwin論文から実験結果を再現し,その実装を検証した。

関連論文リスト

• Learning High-dimensional Ionic Model Dynamics Using Fourier Neural Operators [0.0]
  フーリエニューラル演算子が高次元のイオン系における状態変数の進化を学習できるかどうかを検討する。 本手法の有効性は,次元が増大する3つのよく確立されたイオンモデルの力学を正確に学習することによって実証する。 制約のあるアーキテクチャも制約のないアーキテクチャも、考慮されたすべてのモデルにまたがる精度で同等の結果を得る。
  論文  参考訳（メタデータ） (2025-05-20T07:37:03Z)
• GausSim: Foreseeing Reality by Gaussian Simulator for Elastic Objects [55.02281855589641]
  GausSimは、ガウスカーネルを通して表現される現実の弾性物体の動的挙動をキャプチャするために設計された、ニューラルネットワークベースの新しいシミュレータである。 我々は連続体力学を活用し、各カーネルを連続体を表すCenter of Mass System (CMS)として扱う。 さらに、ガウスシムは質量や運動量保存のような明示的な物理制約を取り入れ、解釈可能な結果と堅牢で物理的に妥当なシミュレーションを確実にする。
  論文  参考訳（メタデータ） (2024-12-23T18:58:17Z)
• On Foundation Models for Dynamical Systems from Purely Synthetic Data [5.004576576202551]
  基礎モデルは、様々な領域にわたる顕著な一般化、データ効率、ロバスト性を示してきた。 これらのモデルは自然言語処理やコンピュータビジョンなどの分野で利用できるが、力学系には存在しない。 合成データのみに基づくトランスフォーマーベース基礎モデルを事前学習することで,この問題に対処する。 本研究は, 一般化, データ効率, 堅牢性の観点から, スペシャリストモデルを上回った力学系の基礎モデルの実現可能性を示すものである。
  論文  参考訳（メタデータ） (2024-11-30T08:34:10Z)
• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• 3DReact: Geometric deep learning for chemical reactions [35.38031930589095]
  反応物質と生成物の3次元構造から反応特性を予測する3DReactについて述べる。 反応特性予測の既存のモデルと比較して、3DReactは原子マッピング情報を利用する柔軟なフレームワークを提供する。 異なるデータセット、原子をマッピングするレシエーション、およびジオメトリと外挿タスクの両方にわたって、体系的にうまく機能する。
  論文  参考訳（メタデータ） (2023-12-13T17:26:54Z)
• EGraFFBench: Evaluation of Equivariant Graph Neural Network Force Fields for Atomistic Simulations [18.864836264183467]
  等変グラフニューラルネットワーク力場(EGraFF)は、原子系の複雑な相互作用をモデル化する上で大きな可能性を示している。 この研究は、原子シミュレーションの文脈で機械学習力場を評価するための厳密な枠組みを確立する。
  論文  参考訳（メタデータ） (2023-10-03T20:49:00Z)
• Leveraging the Power of Data Augmentation for Transformer-based Tracking [64.46371987827312]
  トラッキング用にカスタマイズされた2つのデータ拡張手法を提案する。 まず、動的探索半径機構と境界サンプルのシミュレーションにより、既存のランダムトリミングを最適化する。 第2に,背景干渉などの問題に対するモデルを可能にする,トークンレベルの機能混在強化戦略を提案する。
  論文  参考訳（メタデータ） (2023-09-15T09:18:54Z)
• Equivariant vector field network for many-body system modeling [65.22203086172019]
  Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。 シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
  論文  参考訳（メタデータ） (2021-10-26T14:26:25Z)
• Physics-Integrated Variational Autoencoders for Robust and Interpretable Generative Modeling [86.9726984929758]
  我々は、不完全物理モデルの深部生成モデルへの統合に焦点を当てる。 本稿では,潜在空間の一部が物理によって基底づけられたVAEアーキテクチャを提案する。 合成および実世界のデータセットの集合に対して生成的性能改善を示す。
  論文  参考訳（メタデータ） (2021-02-25T20:28:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。