論文の概要: Equivariant neural networks for inverse problems
- arxiv url: http://arxiv.org/abs/2102.11504v1
- Date: Tue, 23 Feb 2021 05:38:41 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-24 13:54:30.694229
- Title: Equivariant neural networks for inverse problems
- Title（参考訳）: 逆問題に対する等変ニューラルネットワーク
- Authors: Elena Celledoni, Matthias J. Ehrhardt, Christian Etmann, Brynjulf
Owren, Carola-Bibiane Sch\"onlieb and Ferdia Sherry
- Abstract要約: 群同変畳み込み演算は自然に学習された再構成法に組み込むことができることを示す。
近位作用素を群等価畳み込みニューラルネットワークとしてモデル化する学習反復手法を設計した。
- 参考スコア（独自算出の注目度）: 1.7942265700058986
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years the use of convolutional layers to encode an inductive bias
(translational equivariance) in neural networks has proven to be a very
fruitful idea. The successes of this approach have motivated a line of research
into incorporating other symmetries into deep learning methods, in the form of
group equivariant convolutional neural networks. Much of this work has been
focused on roto-translational symmetry of $\mathbf R^d$, but other examples are
the scaling symmetry of $\mathbf R^d$ and rotational symmetry of the sphere. In
this work, we demonstrate that group equivariant convolutional operations can
naturally be incorporated into learned reconstruction methods for inverse
problems that are motivated by the variational regularisation approach. Indeed,
if the regularisation functional is invariant under a group symmetry, the
corresponding proximal operator will satisfy an equivariance property with
respect to the same group symmetry. As a result of this observation, we design
learned iterative methods in which the proximal operators are modelled as group
equivariant convolutional neural networks. We use roto-translationally
equivariant operations in the proposed methodology and apply it to the problems
of low-dose computerised tomography reconstruction and subsampled magnetic
resonance imaging reconstruction. The proposed methodology is demonstrated to
improve the reconstruction quality of a learned reconstruction method with a
little extra computational cost at training time but without any extra cost at
test time.
- Abstract（参考訳）: 近年、ニューラルネットワークにおける誘導バイアス(翻訳等価性)を符号化する畳み込み層の使用は非常に実りあるアイデアであることが証明されている。
このアプローチの成功は、グループ同変畳み込みニューラルネットワークの形で、他の対称性を深層学習手法に組み込むための一連の研究を動機付けている。
この研究の多くは $\mathbf R^d$ のロト変換対称性に焦点を当てているが、他の例は $\mathbf R^d$ のスケーリング対称性と球面の回転対称性である。
本研究では, 群同変畳み込み演算を, 変分正規化アプローチに動機付けられた逆問題に対して, 自然に学習再構成法に組み込むことができることを示す。
実際、正規化函数が群対称性の下で不変であれば、対応する近位作用素は同じ群対称性に関して同値性を満たす。
この観察の結果,近位作用素を群同変畳み込みニューラルネットワークとしてモデル化する反復的手法を考案した。
提案手法ではRoto-translationally equivariant Operationを用いて低線量コンピュータ断層撮影とサブサンプル磁気共鳴画像再構成の問題に適用する。
提案手法は, 学習した再構成手法の再構築品質を改善するために, トレーニング時の計算コストを少なくするが, 試験時の追加費用を伴わないことを実証した。
関連論文リスト
- Approximate Equivariance in Reinforcement Learning [35.04248486334824]
等変ニューラルネットワークは強化学習において大きな成功を収めている。
多くの問題において、近似対称性のみが存在しており、これは正確な対称性を不適切なものにしている。
我々は、強化学習におけるほぼ同変のアルゴリズムを開発した。
論文 参考訳（メタデータ） (2024-11-06T19:44:46Z) - Relative Representations: Topological and Geometric Perspectives [53.88896255693922]
相対表現はゼロショットモデルの縫合に対する確立されたアプローチである。
相対変換において正規化手順を導入し、非等方的再スケーリングや置換に不変となる。
第二に、クラス内のクラスタリングを促進するトポロジカル正規化損失である、微調整された相対表現におけるトポロジカルデシフィケーションの展開を提案する。
論文 参考訳（メタデータ） (2024-09-17T08:09:22Z) - Variational Inference Failures Under Model Symmetries: Permutation Invariant Posteriors for Bayesian Neural Networks [43.88179780450706]
重み空間置換対称性が変分推論に与える影響について検討する。
置換不変変分後部を構築するための対称対称性機構を考案する。
本研究は, 対称性分布が真の後部と厳密に適合していること, 元のELBO目標を用いてトレーニングできること, を示す。
論文 参考訳（メタデータ） (2024-08-10T09:06:34Z) - Stochastic Neural Network Symmetrisation in Markov Categories [2.0668277618112203]
我々は、群準同型に沿ってニューラルネットワークをシンメトリする問題を考察する。
シンメシエーションのためのフレキシブルで構成的で汎用的なフレームワークを得る。
論文 参考訳（メタデータ） (2024-06-17T17:54:42Z) - Symmetry Breaking and Equivariant Neural Networks [17.740760773905986]
我々は「緩和された同注入」という新しい概念を導入する。
我々は、この緩和を同変多層パーセプトロン(E-MLP)に組み込む方法を示す。
対称性の破れの関連性は、様々な応用領域で議論される。
論文 参考訳（メタデータ） (2023-12-14T15:06:48Z) - Affine Invariance in Continuous-Domain Convolutional Neural Networks [6.019182604573028]
本研究では,連続領域畳み込みニューラルネットワークにおけるアフィン不変性について検討する。
アフィン変換における2つの入力信号の類似性を評価するための新しい基準を導入する。
私たちの研究は最終的には、実用的なディープラーニングパイプラインが扱える幾何学的変換の範囲を広げることができます。
論文 参考訳（メタデータ） (2023-11-13T14:17:57Z) - Unsupervised Learning of Invariance Transformations [105.54048699217668]
近似グラフ自己同型を見つけるためのアルゴリズムフレームワークを開発する。
重み付きグラフにおける近似自己同型を見つけるために、このフレームワークをどのように利用できるかについて議論する。
論文 参考訳（メタデータ） (2023-07-24T17:03:28Z) - Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。
隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。
実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文 参考訳（メタデータ） (2023-02-27T18:52:38Z) - Oracle-Preserving Latent Flows [58.720142291102135]
我々はラベル付きデータセット全体にわたって複数の非自明な連続対称性を同時に発見するための方法論を開発する。
対称性変換と対応するジェネレータは、特別に構築された損失関数で訓練された完全連結ニューラルネットワークでモデル化される。
この研究における2つの新しい要素は、縮小次元の潜在空間の使用と、高次元のオラクルに関して不変な変換への一般化である。
論文 参考訳（メタデータ） (2023-02-02T00:13:32Z) - Revisiting Transformation Invariant Geometric Deep Learning: Are Initial
Representations All You Need? [80.86819657126041]
変換不変および距離保存初期表現は変換不変性を達成するのに十分であることを示す。
具体的には、多次元スケーリングを変更することで、変換不変かつ距離保存された初期点表現を実現する。
我々は、TinvNNが変換不変性を厳密に保証し、既存のニューラルネットワークと組み合わせられるほど汎用的で柔軟なことを証明した。
論文 参考訳（メタデータ） (2021-12-23T03:52:33Z) - Stochastic Flows and Geometric Optimization on the Orthogonal Group [52.50121190744979]
直交群 $O(d)$ 上の幾何駆動最適化アルゴリズムの新しいクラスを示す。
提案手法は,深層,畳み込み,反復的なニューラルネットワーク,強化学習,フロー,メトリック学習など,機械学習のさまざまな分野に適用可能であることを示す。
論文 参考訳（メタデータ） (2020-03-30T15:37:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。