論文の概要: Analyzing the Sample Complexity of Self-Supervised Image Reconstruction Methods

• arxiv url: http://arxiv.org/abs/2305.19079v2
• Date: Fri, 27 Oct 2023 14:18:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-30 17:53:26.945663
• Title: Analyzing the Sample Complexity of Self-Supervised Image Reconstruction Methods
• Title（参考訳）: 自己教師あり画像再構成法のサンプル複雑さの解析
• Authors: Tobit Klug, Dogukan Atik, Reinhard Heckel
• Abstract要約: クリーンな画像とノイズ測定のペアによるディープニューラルネットワークの監視トレーニングは、多くの画像再構成タスクにおいて最先端のパフォーマンスを達成する。 自己監督手法は、クリーンな画像なしでノイズ測定のみに基づくトレーニングを可能にする。 このような自己教師型トレーニングでトレーニングされたモデルが、教師型トレーニングでトレーニングされたモデルと同等であることを示す。
• 参考スコア（独自算出の注目度）: 24.840134419242414
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Supervised training of deep neural networks on pairs of clean image and noisy measurement achieves state-of-the-art performance for many image reconstruction tasks, but such training pairs are difficult to collect. Self-supervised methods enable training based on noisy measurements only, without clean images. In this work, we investigate the cost of self-supervised training in terms of sample complexity for a class of self-supervised methods that enable the computation of unbiased estimates of gradients of the supervised loss, including noise2noise methods. We analytically show that a model trained with such self-supervised training is as good as the same model trained in a supervised fashion, but self-supervised training requires more examples than supervised training. We then study self-supervised denoising and accelerated MRI empirically and characterize the cost of self-supervised training in terms of the number of additional samples required, and find that the performance gap between self-supervised and supervised training vanishes as a function of the training examples, at a problem-dependent rate, as predicted by our theory.
• Abstract（参考訳）: クリーンな画像とノイズ測定のペアによるディープニューラルネットワークのトレーニングは、多くの画像再構成タスクにおいて最先端のパフォーマンスを達成するが、そのようなトレーニングペアの収集は困難である。 自己監督手法は、クリーンな画像なしでノイズ測定のみに基づくトレーニングを可能にする。 本研究では,ノイズ2ノイズ法を含む教師付き損失の勾配の偏りのない推定値の計算を可能にする自己教師型メソッドの,サンプリング複雑性の観点から,自己教師型トレーニングのコストを検討する。 このような自己教師型トレーニングで訓練されたモデルは、教師型トレーニングと同じモデルであることを示すが、自己教師型トレーニングは教師型トレーニングよりも多くの例を必要とする。 そこで我々は,MRIの自己指導・加速を実証的に研究し,追加サンプル数の観点から自己指導訓練のコストを特徴付けるとともに,自己指導訓練と教師訓練のパフォーマンスギャップが,問題依存率で,我々の理論によって予測される訓練例の関数として消滅することを発見した。

関連論文リスト

• EfficientTrain++: Generalized Curriculum Learning for Efficient Visual Backbone Training [79.96741042766524]
  訓練カリキュラムをソフトセレクション機能として再構築する。 自然画像の内容の露光は,データ拡張の強度によって容易に達成できることを示す。 結果のメソッドであるEfficientTrain++は単純で汎用的だが驚くほど効果的である。
  論文  参考訳（メタデータ） (2024-05-14T17:00:43Z)
• Distilled Datamodel with Reverse Gradient Matching [74.75248610868685]
  オフライントレーニングとオンライン評価段階を含む,データ影響評価のための効率的なフレームワークを提案する。 提案手法は, 直接再学習法と比較して, プロセスの大幅な高速化を図りながら, 同等のモデル行動評価を実現する。
  論文  参考訳（メタデータ） (2024-04-22T09:16:14Z)
• Improving In-Context Few-Shot Learning via Self-Supervised Training [48.801037246764935]
  本稿では,事前学習と下流での撮影の中間訓練段階において,自己監督を併用することを提案する。 中間的な自己超越段階は、強いベースラインよりも優れたモデルを生成する。
  論文  参考訳（メタデータ） (2022-05-03T18:01:07Z)
• Better Self-training for Image Classification through Self-supervision [3.492636597449942]
  自己監督(Self-supervision)は、自動生成されたプレテキストタスクを解決し、手動による監督なしに学習することである。 本稿では,画像分類の精度を高めるために,自己訓練に自己監督を取り入れる3つの方法について検討する。
  論文  参考訳（メタデータ） (2021-09-02T08:24:41Z)
• Bootstrapped Self-Supervised Training with Monocular Video for Semantic Segmentation and Depth Estimation [11.468537169201083]
  ラベル付きデータセット上の教師付きトレーニングでシステムが初期ブートストラップされる自己教師付き学習問題を定式化する。 本研究では,単眼映像におけるフレーム間の時間的一貫性を利用して自己監督訓練を行う。 さらに,自己指導型学習フレームワークは,ネットワークが純粋指導型トレーニングや自己指導型トレーニングよりも深度推定を学習しやすいことを示す。
  論文  参考訳（メタデータ） (2021-03-19T21:28:58Z)
• Unsupervised Difficulty Estimation with Action Scores [7.6146285961466]
  トレーニング中の各サンプルの損失の蓄積に基づいて,難易度を簡易に算出する手法を提案する。 提案手法では,コールバックとして実装できるため,外部監視も不要である。
  論文  参考訳（メタデータ） (2020-11-23T15:18:44Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)
• Single-step Adversarial training with Dropout Scheduling [59.50324605982158]
  単段階逆行訓練法を用いて学習したモデルは、単段階逆行の発生を防止するために学習する。 提案手法を用いて訓練されたモデルは, 単段階攻撃と多段階攻撃の両方に対して堅牢である。
  論文  参考訳（メタデータ） (2020-04-18T14:14:00Z)
• Regularizers for Single-step Adversarial Training [49.65499307547198]
  本稿では,1ステップの対数学習手法を用いて,ロバストモデル学習を支援する3種類の正則化器を提案する。 正規化器は、ロバストモデルと擬ロバストモデルとを区別する特性を利用することにより、勾配マスキングの効果を緩和する。
  論文  参考訳（メタデータ） (2020-02-03T09:21:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。