論文の概要: RelFlexformer: Efficient Attention 3D-Transformers for Integrable Relative Positional Encodings
- arxiv url: http://arxiv.org/abs/2605.10706v1
- Date: Mon, 11 May 2026 15:20:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:50.932034
- Title: RelFlexformer: Efficient Attention 3D-Transformers for Integrable Relative Positional Encodings
- Title（参考訳）: RelFlexformer: 積分可能な相対位置符号化のための効率的な注意3D変換器
- Abstract要約: 本稿では、任意の可積分変調関数$f$で与えられる普遍的3次元相対位置計算(RPE)手法を適用した、効率的な注意機構のクラスを提案する。
それらは、textitRelFlexformersと呼ばれる新しい3Dトランスフォーマーモデルにつながり、これらのRPEを柔軟に統合する。
RelFlexformersにおけるNU-FFT駆動型アテンション変調技術によって得られる品質改善を,大規模な3Dデータセットのポートフォリオ上で実証評価により確認した。
- 参考スコア（独自算出の注目度）: 35.47034796583214
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a new class of efficient attention mechanisms applying universal 3D Relative Positional Encoding (RPE) methods given by arbitrary integrable modulation functions $f$. They lead to the new class of 3D-Transformer models, called \textit{RelFlexformers}, flexibly integrating those RPEs, and characterized by the $O(L \log L)$ time complexity of the attention computation for the $L$-length input sequences. RelFlexformers builds on the theory of the Non-Uniform Fourier Transform (NU-FFT), naturally generalizing several existing efficient RPE-attention methods from structured settings with tokens homogeneously embedded in unweighted grids into general non-structured heterogeneous scenarios, where tokens' positions are arbitrarily distributed in the corresponding 3D spaces. As such, RelFlexformers can be applied in particular to model point clouds. Our extensive empirical evaluation on a large portfolio of 3D datasets confirms quality improvements provided by the NU-FFT-driven attention modulation techniques in the RelFlexformers.
- Abstract（参考訳）: 任意の可積分変調関数$f$で与えられる普遍的3次元相対位置エンコーディング(RPE)手法を適用した,効率的な注意機構のクラスを提案する。
それらは新しい3D-Transformerモデルのクラスである \textit{RelFlexformers} に導かれ、これらのRPEを柔軟に統合し、$O(L \log L)$の注意計算の時間複雑性を特徴とする。
RelFlexformersはNon-Uniform Fourier Transform (NU-FFT)の理論に基づいており、非重み付きグリッドに均質に埋め込まれたトークンを、対応する3次元空間にトークンの位置を任意に分散する一般的な非構造的不均一シナリオへと、構造化された設定から、いくつかの既存の効率的なRPEアテンション手法を自然に一般化している。
したがって、RelFlexformerは特にモデルポイントクラウドに適用できる。
RelFlexformersにおけるNU-FFT駆動型アテンション変調技術による品質改善が確認できた。
関連論文リスト
- 3D Fourier-based Global Feature Extraction for Hyperspectral Image Classification [4.139698879651128]
本稿では,局所的な3次元畳み込み特徴抽出と周波数領域グローバルフィルタリングを統合した新しいアーキテクチャであるHybrid GFNetを提案する。
3次元畳み込み層は微細な局所空間スペクトル構造を捉え、フーリエのグローバルフィルタリングモジュールは長距離依存性を効率的にモデル化しノイズを抑制する。
HGFNetは、HSICでよく見られる重度のクラス不均衡を緩和するために、適応的焦点損失(Adaptive Focal Loss, AFL)を導入し、クラスワイドの焦点と重み付けを動的に調整する。
論文 参考訳（メタデータ） (2026-03-17T12:02:28Z) - FUSER: Feed-Forward MUltiview 3D Registration Transformer and SE(3)$^N$ Diffusion Refinement [39.19949818461193]
Fは、全てのスキャンを統一されたコンパクトな潜在空間で処理する最初のフィードフォワードマルチビュー登録変換器である。
F はペアワイズ推定なしでグローバルなポーズを予測する。
3DMatch, ScanNet, ArkitScenesの実験により, 本手法が優れた登録精度と優れた計算効率を実現することを示す。
論文 参考訳（メタデータ） (2025-12-10T07:11:22Z) - Fourier-RWKV: A Multi-State Perception Network for Efficient Image Dehazing [26.57698394898644]
マルチステート・パーセプション・パラダイムに基づく新しい脱ハージング・フレームワークを提案する。
Fourier-RWKVはさまざまなヘイズシナリオにまたがって最先端のパフォーマンスを提供する。
論文 参考訳（メタデータ） (2025-12-09T01:35:56Z) - Learning Modulated Transformation in GANs [69.95217723100413]
生成逆数ネットワーク(GAN)のジェネレータに、変調変換モジュール(Modulated transformation module, MTM)と呼ばれるプラグアンドプレイモジュールを装備する。
MTMは、可変位置で畳み込み操作を適用可能な潜在符号の制御下で空間オフセットを予測する。
挑戦的なTaiChiデータセット上での人為的な生成に向けて、StyleGAN3のFIDを21.36から13.60に改善し、変調幾何変換の学習の有効性を実証した。
論文 参考訳（メタデータ） (2023-08-29T17:51:22Z) - Learning a Fourier Transform for Linear Relative Positional Encodings in Transformers [71.32827362323205]
我々はLearner-Transformer (Learners)と呼ばれる線形変換器の新しいクラスを提案する。
様々な相対的位置エンコーディング機構(RPE)を組み込んでいる。
これらには、シーケンシャルデータに適用される正規の RPE 技術や、高次元ユークリッド空間に埋め込まれた幾何学的データを操作する新しい RPE などが含まれる。
論文 参考訳（メタデータ） (2023-02-03T18:57:17Z) - DSVT: Dynamic Sparse Voxel Transformer with Rotated Sets [95.84755169585492]
本研究では,屋外3次元知覚のためのシングルストライドウィンドウベースのボクセルトランスであるDynamic Sparse Voxel Transformer (DSVT)を提案する。
本モデルでは,3次元認識タスクを多岐にわたって行うことにより,最先端の性能を実現する。
論文 参考訳（メタデータ） (2023-01-15T09:31:58Z) - Holographic-(V)AE: an end-to-end SO(3)-Equivariant (Variational)
Autoencoder in Fourier Space [0.0]
グループ同変ニューラルネットワークは、分類と回帰タスクを解決するためのデータ効率のよいアプローチとして登場した。
本稿では,Fourier空間におけるホログラフィックオートエンコーダについて述べる。
学習した潜在空間は、球面画像の分類的特徴を効率的に符号化する。
論文 参考訳（メタデータ） (2022-09-30T16:25:20Z) - 3D Equivariant Graph Implicit Functions [51.5559264447605]
局所的詳細のモデリングを容易にする同変層を持つグラフ暗黙関数の新しいファミリを導入する。
提案手法は,ShapeNet再構成作業において既存の回転同変暗黙関数を0.69から0.89に改善する。
論文 参考訳（メタデータ） (2022-03-31T16:51:25Z) - FAMLP: A Frequency-Aware MLP-Like Architecture For Domain Generalization [73.41395947275473]
本稿では、変換周波数領域において、ドメイン固有の特徴をフィルタリングする新しい周波数認識アーキテクチャを提案する。
3つのベンチマークの実験では、最先端の手法をそれぞれ3%、4%、9%のマージンで上回った。
論文 参考訳（メタデータ） (2022-03-24T07:26:29Z) - Dense Non-Rigid Structure from Motion: A Manifold Viewpoint [162.88686222340962]
Non-Rigid Structure-from-Motion (NRSfM) 問題は、複数のフレームにまたがる2次元特徴対応から変形物体の3次元形状を復元することを目的としている。
提案手法は,ノイズに対する精度,スケーラビリティ,堅牢性を大幅に向上させる。
論文 参考訳（メタデータ） (2020-06-15T09:15:54Z) - Learning Local Neighboring Structure for Robust 3D Shape Representation [143.15904669246697]
3Dメッシュの表現学習は多くのコンピュータビジョンやグラフィックスアプリケーションにおいて重要である。
局所構造認識型異方性畳み込み操作(LSA-Conv)を提案する。
本モデルでは,3次元形状復元において最先端の手法に比べて顕著な改善が得られた。
論文 参考訳（メタデータ） (2020-04-21T13:40:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。