論文の概要: BSA: Ball Sparse Attention for Large-scale Geometries

• arxiv url: http://arxiv.org/abs/2506.12541v1
• Date: Sat, 14 Jun 2025 15:29:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:46.41893
• Title: BSA: Ball Sparse Attention for Large-scale Geometries
• Title（参考訳）: BSA:大規模測地のためのボールスパース注意
• Authors: Catalin E. Brita, Hieu Nguyen, Lohithsai Yadala Chanchu, Domonkos Nagy, Maksim Zhdanov,
• Abstract要約: 自己注意は入力サイズと2次的にスケールし、大規模物理システムでの使用を制限する。 本稿では, ネイティブスパース注意(NSA)を非順序点集合に適応させるボールスパース注意(BSA)を提案する。 我々は、NSAのコンポーネントをボールベースの地区で機能するように修正し、サブクワッドラティックコストで世界的受容野を生み出す。
• 参考スコア（独自算出の注目度）: 1.547894907333475
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-attention scales quadratically with input size, limiting its use for large-scale physical systems. Although sparse attention mechanisms provide a viable alternative, they are primarily designed for regular structures such as text or images, making them inapplicable for irregular geometries. In this work, we present Ball Sparse Attention (BSA), which adapts Native Sparse Attention (NSA) (Yuan et al., 2025) to unordered point sets by imposing regularity using the Ball Tree structure from the Erwin Transformer (Zhdanov et al., 2025). We modify NSA's components to work with ball-based neighborhoods, yielding a global receptive field at sub-quadratic cost. On an airflow pressure prediction task, we achieve accuracy comparable to Full Attention while significantly reducing the theoretical computational complexity. Our implementation is available at https://github.com/britacatalin/bsa.
• Abstract（参考訳）: 自己注意は入力サイズと2次的にスケールし、大規模物理システムでの使用を制限する。 スパースアテンション機構は有効な代替手段であるが、主にテキストや画像などの通常の構造のために設計されており、不規則なジオメトリには適用できない。 本稿では,Erwin Transformer (Zhdanov et al , 2025) のボールツリー構造を用いて規則性を付与することにより, ネイティブスパース注意 (NSA) (Yuan et al , 2025) を非順序点集合に適応させるボールスパース注意 (BSA) を提案する。 我々は、NSAのコンポーネントをボールベースの地区で機能するように修正し、サブクワッドラティックコストで世界的受容野を生み出す。 気流圧力予測タスクでは、理論計算の複雑さを著しく低減しつつ、フルアテンションに匹敵する精度を達成する。 私たちの実装はhttps://github.com/britacatalin/bsa.comで公開されています。

関連論文リスト

• EmbodiedOcc++: Boosting Embodied 3D Occupancy Prediction with Plane Regularization and Uncertainty Sampler [43.277357306520145]
  本稿では,EmbodiedOcc++を紹介する。 Geometry-Guided Refinement Module (GRM) は、SUS(Semantic-Aware Uncertainty Sampler)とともに平面正規化によるガウス的更新を制約する EmbodiedOcc-ScanNetベンチマークの実験は、EmbodiedOccがさまざまな設定で最先端のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2025-04-13T12:10:49Z)
• Spherical Tree-Sliced Wasserstein Distance [6.967581304933985]
  球面上の測度に対するOT問題に対するツリーシステムの適応について述べる。 Spherical Tree-Sliced Wasserstein (STSW) distance と呼ばれる球面上の測定値の効率的な測定値を得る。
  論文  参考訳（メタデータ） (2025-03-14T10:00:13Z)
• Gravity-aligned Rotation Averaging with Circular Regression [53.81374943525774]
  我々は,重力方向をグローバルパイプラインの回転平均位相に統合する原理的アプローチを導入する。 4つの大規模データセットで最先端の精度を実現する。
  論文  参考訳（メタデータ） (2024-10-16T17:37:43Z)
• SG-Former: Self-guided Transformer with Evolving Token Reallocation [89.9363449724261]
  本稿では,適応的な微粒化を伴う効果的なグローバル自己注意に向けて,自己誘導変換器と呼ばれる新しいモデルを提案する。 我々は、細かな注意を得られるために、細かな領域により多くのトークンを割り当てる一方で、効率とグローバルな受容場と引き換えに、小さな領域に少ないトークンを割り当てる。 提案したSG-Formerは,最先端技術よりも優れたパフォーマンスを実現している。我々のベースサイズモデルは,ImageNet-1K上のTop-1精度,textbf51.2mAP BBAP on CoCo, textbf52.7mIoU
  論文  参考訳（メタデータ） (2023-08-23T15:52:45Z)
• Vanishing Point Estimation in Uncalibrated Images with Prior Gravity Direction [82.72686460985297]
  我々はマンハッタンのフレームを推定する問題に取り組む。 2つの新しい2行解法が導出され、そのうちの1つは既存の解法に影響を与える特異点に悩まされない。 また、局所最適化の性能を高めるために、任意の行で実行される新しい最小でないメソッドを設計する。
  論文  参考訳（メタデータ） (2023-08-21T13:03:25Z)
• CloudAttention: Efficient Multi-Scale Attention Scheme For 3D Point Cloud Learning [81.85951026033787]
  この作業にトランスフォーマーをセットし、それらを形状分類と部分およびシーンセグメンテーションのための階層的なフレームワークに組み込む。 また、各イテレーションにおけるサンプリングとグループ化を活用して、効率的でダイナミックなグローバルなクロスアテンションを計算します。 提案した階層モデルは,最先端の形状分類を平均精度で達成し,従来のセグメンテーション法と同等の結果を得る。
  論文  参考訳（メタデータ） (2022-07-31T21:39:15Z)
• Neural Pruning via Growing Regularization [82.9322109208353]
  プルーニングの2つの中心的な問題:プルーニングのスケジュールと重み付けの重要度だ。 具体的には, ペナルティ要因が増大するL2正規化変種を提案し, 精度が著しく向上することを示した。 提案アルゴリズムは,構造化プルーニングと非構造化プルーニングの両方において,大規模データセットとネットワークの実装が容易かつスケーラブルである。
  論文  参考訳（メタデータ） (2020-12-16T20:16:28Z)
• SMYRF: Efficient Attention using Asymmetric Clustering [103.47647577048782]
  本稿では,注目度を近似する新しいタイプのバランスクラスタリングアルゴリズムを提案する。 SMYRFは、再トレーニングすることなく、高密度の注意層をドロップインで置き換えることができる。 SMYRFは,訓練前後の集中的注意と相互に使用できることが示唆された。
  論文  参考訳（メタデータ） (2020-10-11T18:49:17Z)
• Axial-DeepLab: Stand-Alone Axial-Attention for Panoptic Segmentation [35.61291788072914]
  セルフアテンションは、非局所的な相互作用を持つCNNを増強するために採用されている。 最近の研究は、完全な注意ネットワークを得るために自己注意層を積み重ねることが可能であることを証明している。 本稿では,2次元自己注意を2つの1次元自己注意に分解することを提案する。 これにより複雑さを低減し、大規模あるいはグローバルな領域内で注意を向けることが可能になる。
  論文  参考訳（メタデータ） (2020-03-17T17:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。