論文の概要: Scaling Laws For Deep Learning Based Image Reconstruction

• arxiv url: http://arxiv.org/abs/2209.13435v1
• Date: Tue, 27 Sep 2022 14:44:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-28 14:23:25.863926
• Title: Scaling Laws For Deep Learning Based Image Reconstruction
• Title（参考訳）: ディープラーニングに基づく画像再構成のためのスケーリング法則
• Authors: Tobit Klug and Reinhard Heckel
• Abstract要約: トレーニングセットのサイズをスケールアップすることで、大きなパフォーマンス向上が期待できるかどうかを調査する。 初期の急激なパワーロースケーリングは、適度なトレーニングセットサイズですでに大幅に遅くなっています。 我々は、線形推定器の性能を早期に停止勾配降下によって解析的に評価した。
• 参考スコア（独自算出の注目度）: 26.808569077500128
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks trained end-to-end to map a measurement of a (noisy) image to a clean image perform excellent for a variety of linear inverse problems. Current methods are only trained on a few hundreds or thousands of images as opposed to the millions of examples deep networks are trained on in other domains. In this work, we study whether major performance gains are expected from scaling up the training set size. We consider image denoising, accelerated magnetic resonance imaging, and super-resolution and empirically determine the reconstruction quality as a function of training set size, while optimally scaling the network size. For all three tasks we find that an initially steep power-law scaling slows significantly already at moderate training set sizes. Interpolating those scaling laws suggests that even training on millions of images would not significantly improve performance. To understand the expected behavior, we analytically characterize the performance of a linear estimator learned with early stopped gradient descent. The result formalizes the intuition that once the error induced by learning the signal model is small relative to the error floor, more training examples do not improve performance.
• Abstract（参考訳）: ディープニューラルネットワークは、(ノイズ)画像の測定をクリーンイメージにマッピングするためにエンドツーエンドを訓練し、様々な線形逆問題に優れた性能を発揮する。 現在の手法は数百から数千の画像でしか訓練されないが、ディープネットワークが他のドメインで訓練されている数百万の例とは対照的である。 本研究は,トレーニングセットサイズをスケールアップすることで,大きなパフォーマンス向上が期待できるかどうかを考察する。 ネットワークサイズを最適にスケーリングしながら,画像デノイング,加速磁気共鳴イメージング,超高分解能・経験的に再構成品質をトレーニングセットサイズの関数として決定する。 3つのタスクすべてにおいて、当初急激なパワールールのスケーリングは、適度なトレーニングセットサイズですでに大幅に遅くなっています。 これらのスケーリング法則の補間は、何百万もの画像のトレーニングでさえ、パフォーマンスが大幅に向上しないことを示している。 予測された挙動を理解するために,初期停止勾配降下で学習した線形推定器の性能を解析的に特徴付ける。 その結果、信号モデルの学習によって引き起こされるエラーがエラーフロアに対して小さいという直観が定式化され、より多くのトレーニング例ではパフォーマンスが向上しない。

関連論文リスト

• Enhancing pretraining efficiency for medical image segmentation via transferability metrics [0.0]
  医用画像のセグメンテーションタスクでは、ラベル付きトレーニングデータの不足が大きな課題となっている。 本稿では,事前学習したモデルが対象データをいかに頑健に表現できるかを計測する,対照的な学習に基づく新しい伝達可能性指標を提案する。
  論文  参考訳（メタデータ） (2024-10-24T12:11:52Z)
• A Dynamical Model of Neural Scaling Laws [79.59705237659547]
  ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。 我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
  論文  参考訳（メタデータ） (2024-02-02T01:41:38Z)
• Relearning Forgotten Knowledge: on Forgetting, Overfit and Training-Free Ensembles of DNNs [9.010643838773477]
  本稿では,検証データ上での深層モデルの忘れ度をモニタする,過剰適合度定量化のための新しいスコアを提案する。 オーバーフィットは検証精度を低下させることなく発生しうることを示し,従来よりも一般的である可能性が示唆された。 我々は,1つのネットワークのトレーニング履歴のみに基づいて,新たなアンサンブル法を構築するために,我々の観測結果を用いて,トレーニング時間に追加のコストを要さず,大幅な改善を実現する。
  論文  参考訳（メタデータ） (2023-10-17T09:22:22Z)
• Diffused Redundancy in Pre-trained Representations [98.55546694886819]
  事前訓練された表現で機能がどのようにコード化されているか、より詳しく見ていきます。 与えられた層における学習された表現は拡散冗長性を示す。 我々の発見は、事前訓練されたディープニューラルネットワークによって学習された表現の性質に光を当てた。
  論文  参考訳（メタデータ） (2023-05-31T21:00:50Z)
• Boosting Verified Training for Robust Image Classifications via Abstraction [20.656457368486876]
  本稿では,ロバストな画像分類器のための新しい,抽象的,認証されたトレーニング手法を提案する。 間隔のトレーニングにより、同じ間隔にマッピングされた全ての摂動画像を同じラベルに分類する。 また,この学習手法により,健全かつ完全なブラックボックス検証手法が実現される。
  論文  参考訳（メタデータ） (2023-03-21T02:38:14Z)
• Theoretical Characterization of How Neural Network Pruning Affects its Generalization [131.1347309639727]
  この研究は、異なるプルーニング率がモデルの勾配降下ダイナミクスと一般化にどのように影響するかを研究する最初の試みである。 プルーニング率が一定の閾値以下である限り、勾配降下はトレーニング損失をゼロに導くことができる。 より驚くべきことに、プルーニング分数が大きくなるにつれて、一般化境界はより良くなる。
  論文  参考訳（メタデータ） (2023-01-01T03:10:45Z)
• Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
  自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。 追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。 スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
  論文  参考訳（メタデータ） (2022-09-30T15:15:05Z)
• Is Deep Image Prior in Need of a Good Education? [57.3399060347311]
  画像再構成に有効な先行画像として, 奥行き画像が導入された。 その印象的な再建性にもかかわらず、学習技術や伝統的な再建技術と比べてアプローチは遅い。 計算課題に対処する2段階の学習パラダイムを開発する。
  論文  参考訳（メタデータ） (2021-11-23T15:08:26Z)
• Compressive sensing with un-trained neural networks: Gradient descent finds the smoothest approximation [60.80172153614544]
  訓練されていない畳み込みニューラルネットワークは、画像の回復と復元に非常に成功したツールとして登場した。 トレーニングされていない畳み込みニューラルネットワークは、ほぼ最小限のランダムな測定値から、十分に構造化された信号や画像を概ね再構成可能であることを示す。
  論文  参考訳（メタデータ） (2020-05-07T15:57:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。