論文の概要: A Lifted Bregman Formulation for the Inversion of Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2303.01965v1
• Date: Wed, 1 Mar 2023 20:30:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-06 14:49:57.534046
• Title: A Lifted Bregman Formulation for the Inversion of Deep Neural Networks
• Title（参考訳）: 深部ニューラルネットワークの逆変換のための自由度ブレグマン定式化
• Authors: Xiaoyu Wang, Martin Benning
• Abstract要約: 本稿では,ディープニューラルネットワークの正規化インバージョンのための新しいフレームワークを提案する。 このフレームワークは、補助変数を導入することにより、パラメータ空間を高次元空間に引き上げる。 理論的結果を提示し,その実用的応用を数値的な例で支援する。
• 参考スコア（独自算出の注目度）: 28.03724379169264
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We propose a novel framework for the regularised inversion of deep neural networks. The framework is based on the authors' recent work on training feed-forward neural networks without the differentiation of activation functions. The framework lifts the parameter space into a higher dimensional space by introducing auxiliary variables, and penalises these variables with tailored Bregman distances. We propose a family of variational regularisations based on these Bregman distances, present theoretical results and support their practical application with numerical examples. In particular, we present the first convergence result (to the best of our knowledge) for the regularised inversion of a single-layer perceptron that only assumes that the solution of the inverse problem is in the range of the regularisation operator, and that shows that the regularised inverse provably converges to the true inverse if measurement errors converge to zero.
• Abstract（参考訳）: 本稿では,ディープニューラルネットワークの正規化インバージョンのための新しいフレームワークを提案する。 このフレームワークは、アクティベーション関数の区別なしにフィードフォワードニューラルネットワークをトレーニングする著者の最近の研究に基づいている。 このフレームワークは補助変数を導入してパラメータ空間を高次元空間に上げ、これらの変数をテーラーされたブレグマン距離で解析する。 ブレグマン距離に基づく変分正規化の族を提案し, 理論的な結果を示し, 数値例による実用的応用を支援する。 特に、逆問題の解が正規化作用素の範囲内にあると仮定する単層パーセプトロンの正則化反転に対する最初の収束結果(我々の知る限りでは最善)を示し、測定誤差がゼロに収束するならば正則化逆が真逆に収束することを示す。

関連論文リスト

• Benign Overfitting for Regression with Trained Two-Layer ReLU Networks [14.36840959836957]
  本稿では,2層完全連結ニューラルネットワークを用いた最小二乗回帰問題と,勾配流によるReLU活性化関数について検討する。 最初の結果は一般化結果であり、基礎となる回帰関数や、それらが有界であること以外のノイズを仮定する必要はない。
  論文  参考訳（メタデータ） (2024-10-08T16:54:23Z)
• Generalization of Scaled Deep ResNets in the Mean-Field Regime [55.77054255101667]
  無限深度および広帯域ニューラルネットワークの限界におけるエンスケールResNetについて検討する。 この結果から,遅延学習体制を超えた深層ResNetの一般化能力に関する新たな知見が得られた。
  論文  参考訳（メタデータ） (2024-03-14T21:48:00Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Regularization, early-stopping and dreaming: a Hopfield-like setup to address generalization and overfitting [0.0]
  正規化損失関数に勾配降下を適用し,最適ネットワークパラメータを求める。 この枠組みの中で、最適なニューロン相互作用行列は、繰り返し学習プロトコルによって修正されたヘビアン核に対応する。
  論文  参考訳（メタデータ） (2023-08-01T15:04:30Z)
• Implicit Regularization for Group Sparsity [33.487964460794764]
  正方形回帰損失に対する勾配勾配は, 明示的な正則化を伴わずに, 群間隔構造を持つ解に偏りを示す。 一般雑音設定における回帰問題の勾配ダイナミクスを解析し,最小最適誤差率を求める。 サイズ 1 群の退化の場合、我々の手法は疎線形回帰の新しいアルゴリズムを生み出す。
  論文  参考訳（メタデータ） (2023-01-29T20:54:03Z)
• Scale-invariant Bayesian Neural Networks with Connectivity Tangent Kernel [30.088226334627375]
  パラメータのスケールに応じて、平坦性と一般化境界を任意に変更できることが示される。 我々は,パラメータのスケールと接続性をテキスト分解することで,スケーリング変換に不変な新しい事前分布と後続分布を提案する。 我々は, 後部が, 複雑さの低い効果的な平坦度とキャリブレーションの指標を実証的に示す。
  論文  参考訳（メタデータ） (2022-09-30T03:31:13Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
  勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。 また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
  論文  参考訳（メタデータ） (2021-11-03T15:14:20Z)
• Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for sparse recover [87.28082715343896]
  我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。 我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。 提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
  論文  参考訳（メタデータ） (2021-10-20T06:15:45Z)
• End-to-end reconstruction meets data-driven regularization for inverse problems [2.800608984818919]
  本稿では,不適切な逆問題に対するエンド・ツー・エンドの再構成演算子を学習するための教師なしアプローチを提案する。 提案手法は,古典的変分フレームワークと反復的アンローリングを組み合わせたものである。 我々は,X線CT(Computerd tomography)の例で,最先端の教師なし手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-07T12:05:06Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。