論文の概要: PDO-eConvs: Partial Differential Operator Based Equivariant Convolutions

• arxiv url: http://arxiv.org/abs/2007.10408v2
• Date: Tue, 11 Aug 2020 14:19:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-08 13:03:44.918362
• Title: PDO-eConvs: Partial Differential Operator Based Equivariant Convolutions
• Title（参考訳）: PDO-eConvs:部分微分演算子に基づく等変畳み込み
• Authors: Zhengyang Shen, Lingshen He, Zhouchen Lin, Jinwen Ma
• Abstract要約: 我々は、畳み込みと偏微分作用素(PDO)の接続から問題に対処する。 実装において、ほぼ同変の畳み込み(PDO-eConvs)を導出し、PDOの数値スキームを用いてシステムを識別する。 回転したMNISTと自然画像分類の実験により、PDO-eConvsは競合的に機能するが、より効率的にパラメータを使用することが示された。
• 参考スコア（独自算出の注目度）: 71.60219086238254
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent research has shown that incorporating equivariance into neural network architectures is very helpful, and there have been some works investigating the equivariance of networks under group actions. However, as digital images and feature maps are on the discrete meshgrid, corresponding equivariance-preserving transformation groups are very limited. In this work, we deal with this issue from the connection between convolutions and partial differential operators (PDOs). In theory, assuming inputs to be smooth, we transform PDOs and propose a system which is equivariant to a much more general continuous group, the $n$-dimension Euclidean group. In implementation, we discretize the system using the numerical schemes of PDOs, deriving approximately equivariant convolutions (PDO-eConvs). Theoretically, the approximation error of PDO-eConvs is of the quadratic order. It is the first time that the error analysis is provided when the equivariance is approximate. Extensive experiments on rotated MNIST and natural image classification show that PDO-eConvs perform competitively yet use parameters much more efficiently. Particularly, compared with Wide ResNets, our methods result in better results using only 12.6% parameters.
• Abstract（参考訳）: 近年の研究では、ニューラルネットワークアーキテクチャに等分散を組み込むことが非常に有用であることが示されており、グループ行動下でのネットワークの等分散を研究する研究も行われている。 しかし、デジタル画像と特徴マップが離散メッシュグリッド上にあるため、対応する等分散保存変換群は非常に限られている。 本研究では、畳み込みと偏微分作用素(PDO)の接続からこの問題に対処する。 理論的には、入力を滑らかであると仮定し、pdoを変換し、より一般的な連続群であるn$-次元ユークリッド群に同値な系を提案する。 実装では、概等変畳み込み(pdo-econvs)を導出して、pdoの数値スキームを用いてシステムを判別する。 理論的には、PDO-eConvsの近似誤差は二次次数である。 等価性が近似されたときにエラー解析が提供されるのは初めてである。 回転MNISTと自然画像分類に関する大規模な実験により、PDO-eConvsはより効率的にパラメータを使用することができる。 特に広い再ネットと比較すると、12.6%のパラメータでより良い結果が得られる。

関連論文リスト

• Using and Abusing Equivariance [10.70891251559827]
  群同変畳み込みニューラルネットワークは, サブサンプリングを用いて, 対称性に等しくなることを学習する。 ネットワークの入力次元を1ピクセル程度に変化させることで、一般的に使われているアーキテクチャが正確には同値ではなく、ほぼ同値となるのに十分であることを示す。
  論文  参考訳（メタデータ） (2023-08-22T09:49:26Z)
• Investigating how ReLU-networks encode symmetries [13.935148870831396]
  ネットワークの等式がすべての層が等式であることを示すかどうかを考察する。 等変で訓練されたCNNは階層的に等変を示すと推測する。 2つの異なるネットワークをマージするよりも、ネットワークとグループ変換されたバージョンをマージすることが通常容易であることを示す。
  論文  参考訳（メタデータ） (2023-05-26T15:23:20Z)
• Deep Neural Networks with Efficient Guaranteed Invariances [77.99182201815763]
  我々は、性能改善の問題、特にディープニューラルネットワークのサンプル複雑性に対処する。 群同変畳み込みは同変表現を得るための一般的なアプローチである。 本稿では,各ストリームが異なる変換に不変なマルチストリームアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-02T20:44:45Z)
• PDO-s3DCNNs: Partial Differential Operator Based Steerable 3D CNNs [69.85869748832127]
  本研究では、3Dフィルタをモデル化するために偏微分演算子(PDO)を用い、PDO-s3DCNNと呼ばれる一般的な3D CNNを導出する。 等変フィルタは線形制約の対象であり, 様々な条件下で効率的に解けることを示す。
  論文  参考訳（メタデータ） (2022-08-07T13:37:29Z)
• Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
  データから解釈可能な等価性を発見する方法について検討する。 具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。 また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:19Z)
• Equivariance versus Augmentation for Spherical Images [0.7388859384645262]
  球面画像に適用した畳み込みニューラルネットワーク(CNN)における回転同値の役割を解析する。 我々は、S2CNNとして知られるグループ同変ネットワークと、データ増大量で訓練された標準非同変CNNの性能を比較した。
  論文  参考訳（メタデータ） (2022-02-08T16:49:30Z)
• Group Equivariant Subsampling [60.53371517247382]
  サブサンプリングは、プールやストライド畳み込みの形で畳み込みニューラルネットワーク(CNN)で使用される。 まず、正確な翻訳同変CNNを構築するために使用できる翻訳同変サブサンプリング/アップサンプリング層を導入する。 次に、これらの層を一般群への変換を超えて一般化し、したがって群同変部分サンプリング/アップサンプリングを提案する。
  論文  参考訳（メタデータ） (2021-06-10T16:14:00Z)
• Exploiting Learned Symmetries in Group Equivariant Convolutions [20.63056707649319]
  群同変畳み込み(GConvs)は、畳み込みニューラルネットワークを様々な変換群に同変させることができる。 我々は,GConvsを深層的に分離可能な畳み込みに効率的に分解できることを示す。
  論文  参考訳（メタデータ） (2021-06-09T08:50:22Z)
• PDO-e$\text{S}^\text{2}$CNNs: Partial Differential Operator Based Equivariant Spherical CNNs [77.53203546732664]
  我々は偏微分演算子を用いて球等価CNN, PDO-e$textStext2$CNNを設計する。 実験では、pdo-e$textstext2$cnnsはパラメータ効率が高く、いくつかのタスクで他の球面cnnを大きく上回る。
  論文  参考訳（メタデータ） (2021-04-08T07:54:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。