論文の概要: One Size Fits All: Can We Train One Denoiser for All Noise Levels?

• arxiv url: http://arxiv.org/abs/2005.09627v3
• Date: Thu, 16 Jul 2020 20:25:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 13:21:45.508464
• Title: One Size Fits All: Can We Train One Denoiser for All Noise Levels?
• Title（参考訳）: 1つのサイズ:全ての騒音レベルに1つのデノイザーを訓練できるか?
• Authors: Abhiram Gnansambandam, Stanley H. Chan
• Abstract要約: 1つのニューラルネットワーク推定器を訓練し、それを全てのノイズレベルに適用することが好ましい。 事実上のプロトコルは、ノイズが均一に分散されたノイズサンプルで推定器を訓練することである。 本稿では,ミニマックスリスク最適化の観点から,サンプル問題に対処する。
• 参考スコア（独自算出の注目度）: 13.46272057205994
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When training an estimator such as a neural network for tasks like image denoising, it is often preferred to train one estimator and apply it to all noise levels. The de facto training protocol to achieve this goal is to train the estimator with noisy samples whose noise levels are uniformly distributed across the range of interest. However, why should we allocate the samples uniformly? Can we have more training samples that are less noisy, and fewer samples that are more noisy? What is the optimal distribution? How do we obtain such a distribution? The goal of this paper is to address this training sample distribution problem from a minimax risk optimization perspective. We derive a dual ascent algorithm to determine the optimal sampling distribution of which the convergence is guaranteed as long as the set of admissible estimators is closed and convex. For estimators with non-convex admissible sets such as deep neural networks, our dual formulation converges to a solution of the convex relaxation. We discuss how the algorithm can be implemented in practice. We evaluate the algorithm on linear estimators and deep networks.
• Abstract（参考訳）: イメージデノイングなどのタスクのためにニューラルネットワークなどの推定器をトレーニングする場合、ひとつの推定器をトレーニングして、すべてのノイズレベルに適用することが望ましい。 この目標を達成するためのデファクトトレーニングプロトコルは、ノイズレベルが関心範囲に均一に分散しているノイズサンプルで推定器をトレーニングすることである。 しかし、なぜサンプルを均一に割り当てるべきなのか? ノイズが少なく、ノイズの多いサンプルが少ないほど、より多くのトレーニングサンプルが得られますか? 最適分布とは何か? どうやってそのような分布を得るのか。 本研究の目的は,この学習サンプル分布問題をミニマックスリスク最適化の観点から解決することである。 我々は、許容推定器の集合が閉じて凸である限り、収束が保証される最適なサンプリング分布を決定するための双対昇降アルゴリズムを導出する。 ディープニューラルネットワークのような非凸許容集合を持つ推定器では、二重定式化は凸緩和の解に収束する。 実際にどのようにアルゴリズムを実装できるかを論じる。 線形推定器およびディープネットワーク上でのアルゴリズムの評価を行う。

関連論文リスト

• Efficient Neural Network Training via Subset Pretraining [5.352839075466439]
  ニューラルネットワークのトレーニングでは、バッチ上で計算された部分勾配を使用するのが一般的である。 トレーニングセットの損失最小限は、そのサブセットのミニマによって適切に近似されることが期待できる。 実験の結果 従来の訓練に匹敵する結果に 達できることが確認されました。
  論文  参考訳（メタデータ） (2024-10-21T21:31:12Z)
• The Sampling-Gaussian for stereo matching [7.9898209414259425]
  ソフトアルグマックス演算は、ニューラルネットワークベースのステレオマッチング法で広く採用されている。 従来の手法では精度を効果的に向上できず、ネットワークの効率を損なうこともあった。 本稿では,ステレオマッチングのための新しい監視手法,サンプリング・ガウシアンを提案する。
  論文  参考訳（メタデータ） (2024-10-09T03:57:13Z)
• Learning conditional distributions on continuous spaces [0.0]
  多次元単位箱上の条件分布のサンプルベース学習について検討する。 我々は2つの異なるクラスタリングスキームを用いる: 1つは固定ラディウス球に基づいており、もう1つは近接する近傍にある。 我々は,ニューラルネットワークのトレーニングに近接する手法を取り入れることを提案する。
  論文  参考訳（メタデータ） (2024-06-13T17:53:47Z)
• Distributed Extra-gradient with Optimal Complexity and Communication Guarantees [60.571030754252824]
  複数のプロセッサ/ワーカー/クライアントがローカルなデュアルベクトルにアクセス可能なマルチGPU設定において、モノトン変分不等式(VI)問題を考察する。 モノトーンVI問題に対するデファクトアルゴリズムであるExtra-gradientは、通信効率が良くないように設計されている。 そこで本稿では,VI の解法に適した非バイアスで適応的な圧縮手法である量子化一般化外部勾配 (Q-GenX) を提案する。
  論文  参考訳（メタデータ） (2023-08-17T21:15:04Z)
• Optimizing the Noise in Self-Supervised Learning: from Importance Sampling to Noise-Contrastive Estimation [80.07065346699005]
  GAN(Generative Adversarial Networks)のように、最適な雑音分布はデータ分布に等しくなると広く想定されている。 我々は、この自己教師型タスクをエネルギーベースモデルの推定問題として基礎づけるノイズ・コントラスト推定に目を向ける。 本研究は, 最適雑音のサンプリングは困難であり, 効率性の向上は, データに匹敵する雑音分布を選択することに比べ, 緩やかに行うことができると結論付けた。
  論文  参考訳（メタデータ） (2023-01-23T19:57:58Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)
• Unrolling Particles: Unsupervised Learning of Sampling Distributions [102.72972137287728]
  粒子フィルタリングは複素系の優れた非線形推定を計算するために用いられる。 粒子フィルタは様々なシナリオにおいて良好な推定値が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-06T16:58:34Z)
• Communication-Efficient Sampling for Distributed Training of Graph Convolutional Networks [3.075766050800645]
  隣のノードからデータを集約する必要があるため、トレーニンググラフ畳み込みネットワーク(GCN)は高価です。 先行研究では,少数の隣人を対象に,収集結果を推定する様々な近傍サンプリング手法が提案されている。 本稿では, 局所サンプリング確率を判定し, スクイード隣りのサンプリングがトレーニングの収束度に大きく影響しないことを確かめるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-19T16:12:44Z)
• Learning Halfspaces with Tsybakov Noise [50.659479930171585]
  テュバコフ雑音の存在下でのハーフスペースの学習可能性について検討する。 真半空間に関して誤分類誤差$epsilon$を達成するアルゴリズムを与える。
  論文  参考訳（メタデータ） (2020-06-11T14:25:02Z)
• Bandit Samplers for Training Graph Neural Networks [63.17765191700203]
  グラフ畳み込みネットワーク(GCN)の訓練を高速化するために, ばらつきを低減したサンプリングアルゴリズムが提案されている。 これらのサンプリングアルゴリズムは、グラフ注意ネットワーク(GAT)のような固定重みよりも学習重量を含む、より一般的なグラフニューラルネットワーク(GNN)には適用できない。
  論文  参考訳（メタデータ） (2020-06-10T12:48:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。