論文の概要: SGD-Net: Efficient Model-Based Deep Learning with Theoretical Guarantees
- arxiv url: http://arxiv.org/abs/2101.09379v1
- Date: Fri, 22 Jan 2021 23:33:11 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-20 17:14:31.985999
- Title: SGD-Net: Efficient Model-Based Deep Learning with Theoretical Guarantees
- Title（参考訳）: SGD-Net:理論的保証を伴う効率的なモデルベースディープラーニング
- Authors: Jiaming Liu, Yu Sun, Weijie Gan, Xiaojian Xu, Brendt Wohlberg, and
Ulugbek S. Kamilov
- Abstract要約: 深層展開網の効率性向上のための新しい手法としてSGD-Netを提案する。
理論的解析により,SGD-Netはバッチの深部展開ネットワークを任意の精度で近似できることがわかった。
強度回折トモグラフィとスパースビュー計算トモグラフィの数値結果は、SGD-Netがトレーニングとテストの複雑さのほんの一部でバッチネットワークのパフォーマンスに一致できることを示しています。
- 参考スコア（独自算出の注目度）: 35.01173046356158
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep unfolding networks have recently gained popularity in the context of
solving imaging inverse problems. However, the computational and memory
complexity of data-consistency layers within traditional deep unfolding
networks scales with the number of measurements, limiting their applicability
to large-scale imaging inverse problems. We propose SGD-Net as a new
methodology for improving the efficiency of deep unfolding through stochastic
approximations of the data-consistency layers. Our theoretical analysis shows
that SGD-Net can be trained to approximate batch deep unfolding networks to an
arbitrary precision. Our numerical results on intensity diffraction tomography
and sparse-view computed tomography show that SGD-Net can match the performance
of the batch network at a fraction of training and testing complexity.
- Abstract（参考訳）: 近年、画像逆問題解決の文脈で、ディープ展開ネットワークが人気を集めている。
しかし、従来の深層展開ネットワークにおけるデータ一貫性層の計算とメモリの複雑さは、測定数とともにスケールし、大規模なイメージング逆問題に適用可能である。
本稿では,データ一貫性層の確率的近似による深部展開効率の向上手法としてSGD-Netを提案する。
理論的解析により,SGD-Netはバッチの深部展開ネットワークを任意の精度で近似できることがわかった。
回折トモグラフィーとスパースビュー計算トモグラフィーの数値計算結果から,SGD-Netはバッチネットワークの性能を少数の訓練とテストの複雑さで一致させることができることがわかった。
関連論文リスト
- Component-based Sketching for Deep ReLU Nets [55.404661149594375]
各種タスクのためのディープネットコンポーネントに基づくスケッチ手法を開発した。
我々はディープネットトレーニングを線形経験的リスク最小化問題に変換する。
提案したコンポーネントベーススケッチは飽和関数の近似においてほぼ最適であることを示す。
論文 参考訳（メタデータ） (2024-09-21T15:30:43Z) - Efficient Training of Deep Neural Operator Networks via Randomized Sampling [0.0]
ディープオペレータネットワーク(DeepNet)は、様々な科学的・工学的応用における複雑な力学のリアルタイム予測に成功している。
本稿では,DeepONetのトレーニングを取り入れたランダムサンプリング手法を提案する。
実験の結果,訓練中にトランクネットワーク入力にランダム化を組み込むことで,DeepONetの効率性と堅牢性が向上し,複雑な物理系のモデリングにおけるフレームワークの性能向上に期待できる道筋が得られた。
論文 参考訳（メタデータ） (2024-09-20T07:18:31Z) - Node Centrality Approximation For Large Networks Based On Inductive
Graph Neural Networks [2.4012886591705738]
ネットワーク分析において、クローズネス中央度(CC)とブロードネス中央度(BC)が重要な指標である。
大規模なネットワーク上での実践的な実装は、その高速な複雑さのため、計算的に要求される。
本稿では,CNCA-IGEモデルを提案する。CNCA-IGEモデルは,CCやBCのメトリクスに基づいてノードをランク付けするインダクティブグラフエンコーダ・デコーダモデルである。
論文 参考訳（メタデータ） (2024-03-08T01:23:12Z) - Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth
Soft-Thresholding [57.71603937699949]
我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。
トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
論文 参考訳（メタデータ） (2023-09-12T13:03:47Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳（メタデータ） (2023-03-03T08:17:47Z) - Impact of Scaled Image on Robustness of Deep Neural Networks [0.0]
生画像のスケーリングはアウト・オブ・ディストリビューションデータを生成するため、ネットワークを騙すための敵攻撃の可能性がある。
本研究では,ImageNet Challengeデータセットのサブセットを複数でスケーリングすることで,Scaling-DistortionデータセットのImageNet-CSを提案する。
論文 参考訳（メタデータ） (2022-09-02T08:06:58Z) - ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。
本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
論文 参考訳（メタデータ） (2020-06-28T23:09:27Z) - Complexity Analysis of an Edge Preserving CNN SAR Despeckling Algorithm [1.933681537640272]
我々は, 畳み込みニューラルネットワークの複雑化によるSARの切り離し効果を生かした。
より深いネットワークは、シミュレートされた画像と実際の画像の両方でより一般化される。
論文 参考訳（メタデータ） (2020-04-17T17:02:01Z) - Deep Adaptive Inference Networks for Single Image Super-Resolution [72.7304455761067]
シングルイメージ超解像(SISR)は、ディープ畳み込みニューラルネットワーク(CNN)の展開により、近年大きく進歩している。
本稿では,深部SISR(AdaDSR)の適応型推論ネットワークを活用することで,この問題に対処する。
我々のAdaDSRは、SISRモデルをバックボーンとし、画像の特徴とリソース制約を入力として取り、ローカルネットワーク深さのマップを予測する軽量アダプタモジュールを備える。
論文 参考訳（メタデータ） (2020-04-08T10:08:20Z) - A Mean-field Analysis of Deep ResNet and Beyond: Towards Provable
Optimization Via Overparameterization From Depth [19.866928507243617]
勾配降下(SGD)を伴う深層ニューラルネットワークのトレーニングは、現実世界の風景でのトレーニング損失をゼロにすることが多い。
我々は,アラーがグローバルであるという意味で優れたトレーニングを享受する,無限大深部残差ネットワークの新たな限界を提案する。
論文 参考訳（メタデータ） (2020-03-11T20:14:47Z) - Large Batch Training Does Not Need Warmup [111.07680619360528]
大きなバッチサイズを使用してディープニューラルネットワークをトレーニングすることは、有望な結果を示し、多くの現実世界のアプリケーションに利益をもたらしている。
本稿では,大規模バッチ学習のための全層適応レートスケーリング(CLARS)アルゴリズムを提案する。
分析に基づいて,このギャップを埋め,3つの一般的な大規模バッチトレーニング手法の理論的洞察を提示する。
論文 参考訳（メタデータ） (2020-02-04T23:03:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。