論文の概要: Convex Regularization Behind Neural Reconstruction

• arxiv url: http://arxiv.org/abs/2012.05169v1
• Date: Wed, 9 Dec 2020 16:57:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-16 07:35:33.038677
• Title: Convex Regularization Behind Neural Reconstruction
• Title（参考訳）: 神経再建に伴う凸規則化
• Authors: Arda Sahiner, Morteza Mardani, Batu Ozturkler, Mert Pilanci, John Pauly
• Abstract要約: 本論文では、凸ソルバにニューラルネットワークを拡張可能にする凸双対性フレームワークを提唱する。 MNIST fastMRIデータセットを用いた実験は、二重ネットワーク最適化問題の有効性を確認する。
• 参考スコア（独自算出の注目度）: 21.369208659395042
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks have shown tremendous potential for reconstructing high-resolution images in inverse problems. The non-convex and opaque nature of neural networks, however, hinders their utility in sensitive applications such as medical imaging. To cope with this challenge, this paper advocates a convex duality framework that makes a two-layer fully-convolutional ReLU denoising network amenable to convex optimization. The convex dual network not only offers the optimum training with convex solvers, but also facilitates interpreting training and prediction. In particular, it implies training neural networks with weight decay regularization induces path sparsity while the prediction is piecewise linear filtering. A range of experiments with MNIST and fastMRI datasets confirm the efficacy of the dual network optimization problem.
• Abstract（参考訳）: ニューラルネットワークは、逆問題において高解像度画像を再構成する大きな可能性を示している。 しかし、ニューラルネットワークの非凸で不透明な性質は、医用画像などの感度の高い応用においてその有用性を妨げている。 この課題に対処するため、本論文では2層完全畳み込みreluデノイジングネットワークを凸最適化に応用可能な凸双対性フレームワークを提唱する。 convexデュアルネットワークは、convexソルバによる最適なトレーニングを提供するだけでなく、トレーニングと予測の解釈を容易にする。 特に、重み減衰正規化を伴うトレーニングニューラルネットワークは経路スパーシティを誘導するが、予測は分割線形フィルタリングである。 MNISTおよび高速MRIデータセットを用いた実験により、二重ネットワーク最適化問題の有効性が確認された。

関連論文リスト

• Convex Formulations for Training Two-Layer ReLU Neural Networks [21.88871868680998]
  非層NPハード最適化問題は、機械学習モデルにとって不可欠である。 有限幅2つのニューラルネットワークで解ける半定緩和を導入する。
  論文  参考訳（メタデータ） (2024-10-29T17:53:15Z)
• Improving Generalization of Deep Neural Networks by Optimum Shifting [33.092571599896814]
  本稿では,ニューラルネットワークのパラメータを最小値からフラット値に変化させる,近位シフトと呼ばれる新しい手法を提案する。 本手法は,ニューラルネットワークの入力と出力が固定された場合,ネットワーク内の行列乗算を,未決定線形方程式系として扱うことができることを示す。
  論文  参考訳（メタデータ） (2024-05-23T02:31:55Z)
• Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
  学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。 この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
  論文  参考訳（メタデータ） (2023-09-26T17:42:52Z)
• Convex Dual Theory Analysis of Two-Layer Convolutional Neural Networks with Soft-Thresholding [15.514556290714053]
  ソフトスレッディングはニューラルネットワークで広く使われている。 ソフトなニューラルネットワークネットワークを融合させる新しい方法が提示される。 この研究は、ソフトニューラルネットワークを凸化する新しい方法を提供する。
  論文  参考訳（メタデータ） (2023-04-14T07:04:07Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Training Adaptive Reconstruction Networks for Blind Inverse Problems [0.0]
  本研究では,ネットワークをフォワード演算子のファミリーでトレーニングすることで,再構成品質を著しく向上させることなく適応性問題を解くことができることを示す。 実験には、感度推定とオフ共鳴効果を備えたMRI(MRI)による部分フーリエサンプリング問題、傾斜した形状のコンピュータ断層撮影(CT)、フレネル回折核による画像劣化などが含まれる。
  論文  参考訳（メタデータ） (2022-02-23T07:56:02Z)
• Optimization-Based Separations for Neural Networks [57.875347246373956]
  本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。 これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
  論文  参考訳（メタデータ） (2021-12-04T18:07:47Z)
• LocalDrop: A Hybrid Regularization for Deep Neural Networks [98.30782118441158]
  本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。 フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
  論文  参考訳（メタデータ） (2021-03-01T03:10:11Z)
• Operational vs Convolutional Neural Networks for Image Denoising [25.838282412957675]
  畳み込みニューラルネットワーク(CNN)は近年,適応学習能力により画像デノナイズ技術として好まれている。 データ変換のコアに新たな非線形性を埋め込むための柔軟性を向上するヘテロジニアスネットワークモデルを提案する。 ONNとCNNの比較評価は、線形演算子に富んだONNが等価かつよく知られた深層構成のCNNに対して優れたノイズ発生性能を達成できるという決定的な証拠が得られる。
  論文  参考訳（メタデータ） (2020-09-01T12:15:28Z)
• The Hidden Convex Optimization Landscape of Two-Layer ReLU Neural Networks: an Exact Characterization of the Optimal Solutions [51.60996023961886]
  コーン制約のある凸最適化プログラムを解くことにより,グローバルな2層ReLUニューラルネットワークの探索が可能であることを示す。 我々の分析は新しく、全ての最適解を特徴づけ、最近、ニューラルネットワークのトレーニングを凸空間に持ち上げるために使われた双対性に基づく分析を活用できない。
  論文  参考訳（メタデータ） (2020-06-10T15:38:30Z)
• Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
  本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。 上記の問題に対処するための特徴歪み法(Disout)を提案する。 より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
  論文  参考訳（メタデータ） (2020-02-23T13:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。