論文の概要: VN-Transformer: Rotation-Equivariant Attention for Vector Neurons

• arxiv url: http://arxiv.org/abs/2206.04176v1
• Date: Wed, 8 Jun 2022 21:48:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-10 14:12:23.222553
• Title: VN-Transformer: Rotation-Equivariant Attention for Vector Neurons
• Title（参考訳）: VN変換器:ベクトルニューロンの回転同変注意
• Authors: Serge Assaad, Carlton Downey, Rami Al-Rfou, Nigamaa Nayakanti, Ben Sapp
• Abstract要約: 本稿では,現在のVNモデルの欠点に対処するため,新しい「VN変換器」アーキテクチャを提案する。 我々はVN変換器を3次元形状分類と動き予測に応用し、説得力のある結果を得た。
• 参考スコア（独自算出の注目度）: 13.027392571994204
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Rotation equivariance is a desirable property in many practical applications such as motion forecasting and 3D perception, where it can offer benefits like sample efficiency, better generalization, and robustness to input perturbations. Vector Neurons (VN) is a recently developed framework offering a simple yet effective approach for deriving rotation-equivariant analogs of standard machine learning operations by extending one-dimensional scalar neurons to three-dimensional "vector neurons." We introduce a novel "VN-Transformer" architecture to address several shortcomings of the current VN models. Our contributions are: $(i)$ we derive a rotation-equivariant attention mechanism which eliminates the need for the heavy feature preprocessing required by the original Vector Neurons models; $(ii)$ we extend the VN framework to support non-spatial attributes, expanding the applicability of these models to real-world datasets; $(iii)$ we derive a rotation-equivariant mechanism for multi-scale reduction of point-cloud resolution, greatly speeding up inference and training; $(iv)$ we show that small tradeoffs in equivariance ($\epsilon$-approximate equivariance) can be used to obtain large improvements in numerical stability and training robustness on accelerated hardware, and we bound the propagation of equivariance violations in our models. Finally, we apply our VN-Transformer to 3D shape classification and motion forecasting with compelling results.
• Abstract（参考訳）: 回転同分散は、運動予測や3次元知覚といった多くの実用的な応用において望ましい性質であり、サンプル効率、より良い一般化、入力摂動に対するロバスト性などの利点を提供する。 ベクトルニューロン(VN)は、1次元スカラーニューロンを3次元「ベクトルニューロン」に拡張することで、標準的な機械学習操作の回転同変アナログを導出するための、シンプルで効果的なアプローチを提供するフレームワークである。 本稿では,現在のVNモデルの欠点に対処するため,新しい「VN変換器」アーキテクチャを提案する。 私たちのコントリビューションは以下のとおりです。 (i)$は、元のベクトルニューロンモデルに必要な重い特徴前処理を不要にする回転同変注意機構を導出する。 (ii)VNフレームワークを拡張して非空間属性をサポートし、これらのモデルの適用性を現実世界のデータセットに拡張します。 (iii)$ ポイントクラウド解像度のマルチスケール低減のための回転同変機構を導出し、推論とトレーニングを大幅に高速化する。 (iv) 等価な小さなトレードオフ($-approximate equivariance) を用いて,高速化ハードウェア上での数値安定性とロバスト性の向上を図り, モデルにおける等価な違反の伝播を束縛することを示す。 最後に,vn変換器を3次元形状分類と運動予測に適用し,説得力のある結果を得た。

関連論文リスト

• Equivariant Graph Neural Operator for Modeling 3D Dynamics [148.98826858078556]
  我々は,次のステップの予測ではなく,ダイナミックスを直接トラジェクトリとしてモデル化するために,Equivariant Graph Neural Operator (EGNO)を提案する。 EGNOは3次元力学の時間的進化を明示的に学習し、時間とともに関数として力学を定式化し、それを近似するためにニューラル演算子を学習する。 粒子シミュレーション、人間のモーションキャプチャー、分子動力学を含む複数の領域における総合的な実験は、既存の手法と比較して、EGNOの極めて優れた性能を示す。
  論文  参考訳（メタデータ） (2024-01-19T21:50:32Z)
• Negative Feedback Training: A Novel Concept to Improve Robustness of NVCIM DNN Accelerators [11.832487701641723]
  非揮発性メモリ(NVM)デバイスは、Deep Neural Network(DNN)推論の実行時のエネルギー効率とレイテンシが優れている。 ネットワークから取得したマルチスケールノイズ情報を活用した負フィードバックトレーニング(NFT)を提案する。 提案手法は,既存の最先端手法よりも46.71%の精度向上を実現している。
  論文  参考訳（メタデータ） (2023-05-23T22:56:26Z)
• E($3$) Equivariant Graph Neural Networks for Particle-Based Fluid Mechanics [2.1401663582288144]
  等変グラフニューラルネットワークは、より正確な動的相互作用モデルを学ぶことができることを示した。 3次元崩壊するテイラー・グリーン渦と3次元逆ポアゼイユ流の2つのよく研究された流れ系をベンチマークした。
  論文  参考訳（メタデータ） (2023-03-31T21:56:35Z)
• Category-Level 6D Object Pose Estimation with Flexible Vector-Based Rotation Representation [51.67545893892129]
  モノクロRGB-D画像からカテゴリレベルの6次元ポーズとサイズ推定のための新しい3次元グラフ畳み込みに基づくパイプラインを提案する。 まず,3次元グラフ畳み込みを用いた向き対応オートエンコーダの設計を行った。 そして, 回転情報を潜在特徴から効率的に復号化するために, フレキシブルなベクトルベースデコンポーザブルな回転表現を設計する。
  論文  参考訳（メタデータ） (2022-12-09T02:13:43Z)
• REMuS-GNN: A Rotation-Equivariant Model for Simulating Continuum Dynamics [0.0]
  本稿では,連続体力学系をシミュレーションする回転同変マルチスケールモデルREMuS-GNNを紹介する。 楕円円柱まわりの非圧縮性流れについて,本手法の実証と評価を行った。
  論文  参考訳（メタデータ） (2022-05-05T16:20:37Z)
• Equivariant vector field network for many-body system modeling [65.22203086172019]
  Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。 シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
  論文  参考訳（メタデータ） (2021-10-26T14:26:25Z)
• Frame Averaging for Invariant and Equivariant Network Design [50.87023773850824]
  フレーム平均化(FA)は、既知の(バックボーン)アーキテクチャを新しい対称性タイプに不変あるいは同変に適応するためのフレームワークである。 FAモデルが最大表現力を持つことを示す。 我々は,新しいユニバーサルグラフニューラルネット(GNN),ユニバーサルユークリッド運動不変点クラウドネットワーク,およびユークリッド運動不変メッセージパッシング(MP)GNNを提案する。
  論文  参考訳（メタデータ） (2021-10-07T11:05:23Z)
• Orthogonal Graph Neural Networks [53.466187667936026]
  グラフニューラルネットワーク(GNN)は,ノード表現の学習において優れていたため,大きな注目を集めている。 より畳み込み層を積み重ねることで、GNNのパフォーマンスが大幅に低下する。 本稿では,モデルトレーニングの安定化とモデル一般化性能の向上のために,既存のGNNバックボーンを拡張可能なOrtho-GConvを提案する。
  論文  参考訳（メタデータ） (2021-09-23T12:39:01Z)
• SE(3)-Transformers: 3D Roto-Translation Equivariant Attention Networks [71.55002934935473]
  連続的な3次元ロト変換の下で同変である3次元点雲とグラフに対する自己アテンションモジュールの変種であるSE(3)-Transformerを導入する。 我々は, 入力の回転下での予測の頑健性を示す, おもちゃのN体粒子シミュレーションデータセットを用いて, モデルの評価を行った。
  論文  参考訳（メタデータ） (2020-06-18T13:23:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。