論文の概要: Attention on the Sphere

• arxiv url: http://arxiv.org/abs/2505.11157v1
• Date: Fri, 16 May 2025 11:59:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 14:36:14.870247
• Title: Attention on the Sphere
• Title（参考訳）: 球面の注意
• Authors: Boris Bonev, Max Rietmann, Andrea Paris, Alberto Carpentieri, Thorsten Kurth,
• Abstract要約: 球面領域に対する一般化された注意機構を導入し,2次元球面上に定義されたデータを処理するトランスフォーマーアーキテクチャを実現する。 数値的な二次重みを注意機構に組み込むことで、幾何的に忠実な球面的注意力が得られる。 スケーラビリティとモデル性能の両面をさらに向上するため,球面上の近傍の注意をシミュレートする手法を提案する。
• 参考スコア（独自算出の注目度）: 0.5431339024941462
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a generalized attention mechanism for spherical domains, enabling Transformer architectures to natively process data defined on the two-dimensional sphere - a critical need in fields such as atmospheric physics, cosmology, and robotics, where preserving spherical symmetries and topology is essential for physical accuracy. By integrating numerical quadrature weights into the attention mechanism, we obtain a geometrically faithful spherical attention that is approximately rotationally equivariant, providing strong inductive biases and leading to better performance than Cartesian approaches. To further enhance both scalability and model performance, we propose neighborhood attention on the sphere, which confines interactions to geodesic neighborhoods. This approach reduces computational complexity and introduces the additional inductive bias for locality, while retaining the symmetry properties of our method. We provide optimized CUDA kernels and memory-efficient implementations to ensure practical applicability. The method is validated on three diverse tasks: simulating shallow water equations on the rotating sphere, spherical image segmentation, and spherical depth estimation. Across all tasks, our spherical Transformers consistently outperform their planar counterparts, highlighting the advantage of geometric priors for learning on spherical domains.
• Abstract（参考訳）: 球面領域に対する一般化された注意機構を導入し、トランスフォーマーアーキテクチャーが2次元球面上に定義されたデータをネイティブに処理できるようにする。これは大気物理学、宇宙学、ロボット工学などの分野において重要なニーズであり、球面対称性と位相を保存することは物理的精度に不可欠である。 数値的な二次重みを注意機構に組み込むことで、幾何的に忠実な球面的注意力が得られる。 スケーラビリティとモデル性能の両面をさらに向上するために,測地線近傍との相互作用を限定する球面の近傍の注意点を提案する。 このアプローチは計算複雑性を低減し、我々の手法の対称性特性を維持しつつ、局所性に対する帰納バイアスを付加する。 実際の適用性を確保するため、最適化されたCUDAカーネルとメモリ効率の実装を提供する。 本手法は, 回転球面上の浅水方程式のシミュレーション, 球面画像分割, 球面深度推定の3つの課題に対して検証した。 すべてのタスクにおいて、球状トランスフォーマーは、球状領域で学習する幾何学的事前の利点を強調しながら、プラナーよりも一貫して優れています。

関連論文リスト

• Representing spherical tensors with scalar-based machine-learning models [0.0]
  3次元点雲の同変モデルは、回転群の構造と完全に整合した方法で構造-固有関係を近似することができる。 対称性の制約により、このアプローチは計算的に要求され、実装が困難になる。 本稿では,普遍的な近似特性に欠ける汎用表現の近似法を提案する。
  論文  参考訳（メタデータ） (2025-05-08T16:45:28Z)
• Geometry aware inference of steady state PDEs using Equivariant Neural Fields representations [0.0]
  定常部分微分方程式を予測するエンコーダデコーダである enf2enf を導入する。 提案手法は、リアルタイム推論とゼロショット超解像をサポートし、低分解能メッシュの効率的なトレーニングを可能にする。
  論文  参考訳（メタデータ） (2025-04-24T08:30:32Z)
• Learning Shape-Independent Transformation via Spherical Representations for Category-Level Object Pose Estimation [42.48001557547222]
  カテゴリーレベルのオブジェクトポーズ推定は、特定のカテゴリにおける新しいオブジェクトのポーズとサイズを決定することを目的としている。 既存の対応に基づくアプローチは、通常、原始的な観測点と正規化されたオブジェクト座標の間の対応を確立するために点ベースの表現を採用する。 SpherePoseと呼ばれる新しいアーキテクチャを導入し、3つのコア設計を通して正確な対応予測を行う。
  論文  参考訳（メタデータ） (2025-03-18T05:43:42Z)
• EDM: Equirectangular Projection-Oriented Dense Kernelized Feature Matching [49.15373858190824]
  等角射影指向カーネル化特徴マッチング (EDM) と呼ばれる,最初の学習に基づく密マッチングアルゴリズムを導入する。 提案手法は,Matterport3DおよびStanford2D3Dデータセット上でのAUC@5degにおける+26.72と+42.62の改善により,顕著な性能向上を実現する。
  論文  参考訳（メタデータ） (2025-02-28T03:37:01Z)
• 3D Equivariant Pose Regression via Direct Wigner-D Harmonics Prediction [50.07071392673984]
  既存の方法は、角度や四元数を用いて空間領域でパラメータ化された3次元回転を学習する。 本稿では,3次元回転回帰のためのWigner-D係数を直接予測する周波数領域アプローチを提案する。 提案手法は, ModelNet10-SO(3) や PASCAL3D+ などのベンチマーク上での最先端結果を実現する。
  論文  参考訳（メタデータ） (2024-11-01T12:50:38Z)
• GIC: Gaussian-Informed Continuum for Physical Property Identification and Simulation [60.33467489955188]
  本稿では,視覚的観察を通して物理特性(システム同定)を推定する問題について検討する。 物理特性推定における幾何学的ガイダンスを容易にするために,我々は新しいハイブリッドフレームワークを提案する。 本研究では,3次元ガウス点集合としてオブジェクトを復元する動き分解に基づく動的3次元ガウスフレームワークを提案する。 抽出された物体表面に加えて、ガウスインフォームド連続体はシミュレーション中の物体マスクのレンダリングを可能にする。
  論文  参考訳（メタデータ） (2024-06-21T07:37:17Z)
• SphereDiffusion: Spherical Geometry-Aware Distortion Resilient Diffusion Model [63.685132323224124]
  制御可能な球状パノラマ画像生成は、様々な領域でかなりの応用可能性を持っている。 本稿では,これらの課題に対処するために,SphereDiffusionの新しいフレームワークを提案する。 Structured3Dデータセットの実験では、SphereDiffusionは制御可能な球面画像生成の品質を大幅に改善し、平均して約35%のFIDを相対的に削減している。
  論文  参考訳（メタデータ） (2024-03-15T06:26:46Z)
• Concentric Spherical GNN for 3D Representation Learning [53.45704095146161]
  同心球面特徴写像を学習するための新しい多解畳み込みアーキテクチャを提案する。 当社の階層的アーキテクチャは、球内情報と球間情報の両方を組み込むための代替学習に基づいています。 回転データを用いた3次元分類作業における最先端性能向上へのアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2021-03-18T19:05:04Z)
• Fast Gravitational Approach for Rigid Point Set Registration with Ordinary Differential Equations [79.71184760864507]
  本稿では,FGA(Fast Gravitational Approach)と呼ばれる厳密な点集合アライメントのための物理に基づく新しい手法を紹介する。 FGAでは、ソースとターゲットの点集合は、シミュレーションされた重力場内を移動しながら、世界規模で多重リンクされた方法で相互作用する質量を持つ剛体粒子群として解釈される。 従来のアライメント手法では,新しいメソッドクラスには特徴がないことを示す。
  論文  参考訳（メタデータ） (2020-09-28T15:05:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。