論文の概要: Exploiting Redundancy: Separable Group Convolutional Networks on Lie Groups

• arxiv url: http://arxiv.org/abs/2110.13059v1
• Date: Mon, 25 Oct 2021 15:56:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-26 14:11:32.202663
• Title: Exploiting Redundancy: Separable Group Convolutional Networks on Lie Groups
• Title（参考訳）: 爆発的冗長性: リーグループ上の分離可能なグループ畳み込みネットワーク
• Authors: David M. Knigge, David W. Romero, Erik J. Bekkers
• Abstract要約: 群畳み込みニューラルネットワーク(G-CNN)はパラメータ効率とモデルの精度を向上させることが示されている。 本研究では,正規G-CNNによって学習された表現の性質について検討し,グループ畳み込みカーネルにおけるパラメータ冗長性を示す。 部分群とチャネル次元で分離可能な畳み込みカーネルを導入する。
• 参考スコア（独自算出の注目度）: 14.029933823101084
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Group convolutional neural networks (G-CNNs) have been shown to increase parameter efficiency and model accuracy by incorporating geometric inductive biases. In this work, we investigate the properties of representations learned by regular G-CNNs, and show considerable parameter redundancy in group convolution kernels. This finding motivates further weight-tying by sharing convolution kernels over subgroups. To this end, we introduce convolution kernels that are separable over the subgroup and channel dimensions. In order to obtain equivariance to arbitrary affine Lie groups we provide a continuous parameterisation of separable convolution kernels. We evaluate our approach across several vision datasets, and show that our weight sharing leads to improved performance and computational efficiency. In many settings, separable G-CNNs outperform their non-separable counterpart, while only using a fraction of their training time. In addition, thanks to the increase in computational efficiency, we are able to implement G-CNNs equivariant to the $\mathrm{Sim(2)}$ group; the group of dilations, rotations and translations. $\mathrm{Sim(2)}$-equivariance further improves performance on all tasks considered.
• Abstract（参考訳）: 群畳み込みニューラルネットワーク(G-CNN)は、幾何学的帰納バイアスを取り入れることでパラメータ効率とモデルの精度を向上させることが示されている。 本研究では,正規G-CNNによって学習された表現の性質について検討し,グループ畳み込みカーネルにおけるパラメータ冗長性を示す。 この発見は、部分群上で畳み込み核を共有することによってさらなる重み付けを動機付ける。 この目的のために、サブグループとチャネル次元で分離可能な畳み込みカーネルを導入する。 任意のアフィンリー群への同値を得るために、分離可能な畳み込み核の連続パラメタライゼーションを提供する。 いくつかのビジョンデータセットにまたがるアプローチを評価し,重み付けが性能と計算効率の向上につながることを示す。 多くの設定では、分離不能なG-CNNは、トレーニング時間の一部を使用しながら、分離不能なG-CNNよりも優れています。 加えて、計算効率の増大により、$\mathrm{sim(2)}$ 群(拡張、回転、変換の群)に g-cnns を同値に実装できる。 $\mathrm{Sim(2)}$-equivarianceは考慮されたすべてのタスクのパフォーマンスをさらに改善します。

関連論文リスト

• Balanced Group Convolution: An Improved Group Convolution Based on Approximability Estimates [1.927926533063962]
  グループ畳み込みは、グループ化チャネルによる計算コストを効果的に削減する。 我々は、群畳み込みの標準畳み込みに対する近似を数学的に解析する。 本稿では,小額の計算コストを伴って高い近似性を示す平衡群畳み込みという,群畳み込みの新たな変種を提案する。
  論文  参考訳（メタデータ） (2023-10-19T04:39:38Z)
• Lie Group Decompositions for Equivariant Neural Networks [12.139222986297261]
  コンボリューションカーネルをパラメータ化してアフィン変換に対する同変モデルを構築する方法を示す。 我々は,ベンチマークアフィン不変分類タスクにおいて,モデルのロバスト性と分布外一般化能力を評価する。
  論文  参考訳（メタデータ） (2023-10-17T16:04:33Z)
• Neural Tangent Kernels Motivate Graph Neural Networks with Cross-Covariance Graphs [94.44374472696272]
  グラフニューラルネットワーク(GNN)の文脈におけるNTKとアライメントについて検討する。 その結果、2層GNNのアライメントの最適性に関する理論的保証が確立された。 これらの保証は、入力と出力データの相互共分散の関数であるグラフシフト演算子によって特徴づけられる。
  論文  参考訳（メタデータ） (2023-10-16T19:54:21Z)
• Scale-Rotation-Equivariant Lie Group Convolution Neural Networks (Lie Group-CNNs) [5.498285766353742]
  本研究では,画像分類タスクのスケールローテーション等価性を維持するLie group-CNNを提案する。 Lie Group-CNNは幾何学的特徴の抽出に成功し、回転とスケール変換を伴う画像上で同変認識を行う。
  論文  参考訳（メタデータ） (2023-06-12T08:14:12Z)
• Deep Neural Networks with Efficient Guaranteed Invariances [77.99182201815763]
  我々は、性能改善の問題、特にディープニューラルネットワークのサンプル複雑性に対処する。 群同変畳み込みは同変表現を得るための一般的なアプローチである。 本稿では,各ストリームが異なる変換に不変なマルチストリームアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-02T20:44:45Z)
• Learnable Commutative Monoids for Graph Neural Networks [0.0]
  グラフニューラルネットワーク(GNN)は集約関数の選択に非常に敏感である。 繰り返しアグリゲータを備えたGNNは、最先端の置換不変アグリゲータと競合することを示す。 本稿では,学習可能な,可換な,連想的なバイナリ演算子を構築するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-16T15:43:41Z)
• Group Equivariant Neural Architecture Search via Group Decomposition and Reinforcement Learning [17.291131923335918]
  我々は、同値ニューラルネットワークの文脈において、新しい群論的結果を証明する。 また、計算複雑性を大幅に改善する同変ネットワークを構築するアルゴリズムを設計する。 我々は、性能を最大化するグループ同変ネットワークの探索に深層Q-ラーニングを用いる。
  論文  参考訳（メタデータ） (2021-04-10T19:37:25Z)
• LieTransformer: Equivariant self-attention for Lie Groups [49.9625160479096]
  群等価ニューラルネットワークは群不変ニューラルネットワークの構成要素として用いられる。 我々は、文学の範囲を、ディープラーニングモデルの顕著な構築ブロックとして現れつつある自己注意にまで広げる。 任意のリー群とその離散部分群に同値なリー自己結合層からなる構造であるリー変換器を提案する。
  論文  参考訳（メタデータ） (2020-12-20T11:02:49Z)
• Towards Deeper Graph Neural Networks with Differentiable Group Normalization [61.20639338417576]
  グラフニューラルネットワーク(GNN)は、隣接するノードを集約することでノードの表現を学習する。 オーバースムーシングは、レイヤーの数が増えるにつれてGNNのパフォーマンスが制限される重要な問題のひとつです。 2つのオーバースムースなメトリクスと新しいテクニック、すなわち微分可能群正規化(DGN)を導入する。
  論文  参考訳（メタデータ） (2020-06-12T07:18:02Z)
• Stochastic Flows and Geometric Optimization on the Orthogonal Group [52.50121190744979]
  直交群 $O(d)$ 上の幾何駆動最適化アルゴリズムの新しいクラスを示す。 提案手法は,深層,畳み込み,反復的なニューラルネットワーク,強化学習,フロー,メトリック学習など,機械学習のさまざまな分野に適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-03-30T15:37:50Z)
• Supervised Learning for Non-Sequential Data: A Canonical Polyadic Decomposition Approach [85.12934750565971]
  特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。 この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。 表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
  論文  参考訳（メタデータ） (2020-01-27T22:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。