論文の概要: Harmformer: Harmonic Networks Meet Transformers for Continuous Roto-Translation Equivariance

• arxiv url: http://arxiv.org/abs/2411.03794v1
• Date: Wed, 06 Nov 2024 09:39:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-07 19:23:25.929520
• Title: Harmformer: Harmonic Networks Meet Transformers for Continuous Roto-Translation Equivariance
• Title（参考訳）: Harmformer: 連続ロト変換等価性のためのトランスフォーマと高調波ネットワーク
• Authors: Tomáš Karella, Adam Harmanec, Jan Kotera, Jan Blažek, Filip Šroubek,
• Abstract要約: CNNは画像翻訳と本質的に同値であり、効率的なパラメータとデータ利用、学習の高速化、堅牢性の向上につながっている。 変換同変ネットワークの概念は、離散回転群に対する群畳み込みと360円の連続回転群に対する調和関数を用いて回転変換に拡張された。 本稿では, コンボリューションステムを持つ調和変換器であるHarmformerを紹介し, 変換と連続回転の両面で等価性を実現する。
• 参考スコア（独自算出の注目度）: 2.5864824580604515
• License:
• Abstract: CNNs exhibit inherent equivariance to image translation, leading to efficient parameter and data usage, faster learning, and improved robustness. The concept of translation equivariant networks has been successfully extended to rotation transformation using group convolution for discrete rotation groups and harmonic functions for the continuous rotation group encompassing $360^\circ$. We explore the compatibility of the SA mechanism with full rotation equivariance, in contrast to previous studies that focused on discrete rotation. We introduce the Harmformer, a harmonic transformer with a convolutional stem that achieves equivariance for both translation and continuous rotation. Accompanied by an end-to-end equivariance proof, the Harmformer not only outperforms previous equivariant transformers, but also demonstrates inherent stability under any continuous rotation, even without seeing rotated samples during training.
• Abstract（参考訳）: CNNは画像翻訳と本質的に同値であり、効率的なパラメータとデータ利用、学習の高速化、堅牢性の向上につながっている。 変換同変ネットワークの概念は、離散回転群に対する群畳み込みと360^\circ$を含む連続回転群に対する調和関数を用いて回転変換に拡張された。 離散回転に着目した従来の研究とは対照的に,SA機構の完全回転同値との整合性について検討する。 本稿では, コンボリューションステムを持つ調和変換器であるHarmformerを紹介し, 変換と連続回転の両面で等価性を実現する。 終端から終端の同値証明に付随して、ハームフォーマーは以前の同変変圧器よりも優れているだけでなく、訓練中に回転したサンプルを見ることなく、連続的な回転の下で固有の安定性を示す。

関連論文リスト

• Variance-Reducing Couplings for Random Features [57.73648780299374]
  ランダム機能(RF)は、機械学習においてカーネルメソッドをスケールアップする一般的なテクニックである。 ユークリッド空間と離散入力空間の両方で定義されるRFを改善するための結合を求める。 パラダイムとしての分散還元の利点と限界について、驚くほどの結論に達した。
  論文  参考訳（メタデータ） (2024-05-26T12:25:09Z)
• Deep Neural Networks with Efficient Guaranteed Invariances [77.99182201815763]
  我々は、性能改善の問題、特にディープニューラルネットワークのサンプル複雑性に対処する。 群同変畳み込みは同変表現を得るための一般的なアプローチである。 本稿では,各ストリームが異なる変換に不変なマルチストリームアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-02T20:44:45Z)
• Empowering Networks With Scale and Rotation Equivariance Using A Similarity Convolution [16.853711292804476]
  翻訳, 回転, スケーリングに関して, 同時同値のCNNを実現する手法を考案する。 提案手法は畳み込みのような動作を定義し,提案したスケーラブルなフーリエ・アーガン表現に基づいて等価性を保証する。 画像分類作業におけるアプローチの有効性を検証し、その頑健さと、スケールされた入力と回転した入力の両方に対する一般化能力を示す。
  論文  参考訳（メタデータ） (2023-03-01T08:43:05Z)
• Recurrence Boosts Diversity! Revisiting Recurrent Latent Variable in Transformer-Based Variational AutoEncoder for Diverse Text Generation [85.5379146125199]
  変分自動エンコーダ(VAE)はテキスト生成において広く採用されている。 本稿ではトランスフォーマーをベースとしたリカレントVAE構造であるTRACEを提案する。
  論文  参考訳（メタデータ） (2022-10-22T10:25:35Z)
• Unified Fourier-based Kernel and Nonlinearity Design for Equivariant Networks on Homogeneous Spaces [52.424621227687894]
  等質空間上の群同変ネットワークに対する統一的枠組みを導入する。 昇降した特徴場のフーリエ係数の空間性を利用する。 安定化部分群におけるフーリエ係数としての特徴を取り扱う他の方法が、我々のアクティベーションの特別な場合であることを示す。
  論文  参考訳（メタデータ） (2022-06-16T17:59:01Z)
• Deformation Robust Roto-Scale-Translation Equivariant CNNs [10.44236628142169]
  グループ同変畳み込みニューラルネットワーク(G-CNN)は,固有対称性を持つ一般化性能を著しく向上させる。 G-CNNの一般的な理論と実践的実装は、回転またはスケーリング変換の下での平面画像に対して研究されている。
  論文  参考訳（メタデータ） (2021-11-22T03:58:24Z)
• Equivariant Wavelets: Fast Rotation and Translation Invariant Wavelet Scattering Transforms [0.0]
  画像統計に対称性を与えることは、人間の解釈性を改善し、一般化を助け、寸法減少をもたらす。 本稿では,高速かつ変換不変かつ回転不変なウェーブレット散乱ネットワークを提案する。
  論文  参考訳（メタデータ） (2021-04-22T18:00:01Z)
• Learnable Gabor modulated complex-valued networks for orientation robustness [4.024850952459758]
  学習可能な Gabor Convolutional Networks (LGCNs) はパラメータ効率が良く、モデルの複雑さが増す。 複雑な値を持つ畳み込み重みの束縛性について,学習したガボルフィルタを用いて検討し,配向変換を実現する。
  論文  参考訳（メタデータ） (2020-11-23T21:22:27Z)
• SE(3)-Transformers: 3D Roto-Translation Equivariant Attention Networks [71.55002934935473]
  連続的な3次元ロト変換の下で同変である3次元点雲とグラフに対する自己アテンションモジュールの変種であるSE(3)-Transformerを導入する。 我々は, 入力の回転下での予測の頑健性を示す, おもちゃのN体粒子シミュレーションデータセットを用いて, モデルの評価を行った。
  論文  参考訳（メタデータ） (2020-06-18T13:23:01Z)
• Generalizing Convolutional Neural Networks for Equivariance to Lie Groups on Arbitrary Continuous Data [52.78581260260455]
  任意の特定のリー群からの変換に同値な畳み込み層を構築するための一般的な方法を提案する。 同じモデルアーキテクチャを画像、ボール・アンド・スティック分子データ、ハミルトン力学系に適用する。
  論文  参考訳（メタデータ） (2020-02-25T17:40:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。