論文の概要: A noise-corrected Langevin algorithm and sampling by half-denoising

• arxiv url: http://arxiv.org/abs/2410.05837v1
• Date: Tue, 8 Oct 2024 09:06:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 12:30:00.639010
• Title: A noise-corrected Langevin algorithm and sampling by half-denoising
• Title（参考訳）: 雑音補正Langevinアルゴリズムと半復調によるサンプリング
• Authors: Aapo Hyvärinen,
• Abstract要約: ランゲヴィンアルゴリズムは、与えられたpdfを実空間でサンプリングする古典的な方法である。 ディープラーニングでは、いわゆるノイズスコア関数(noisy score function)を学ぶのが簡単になることが多い。 本稿では,雑音によるバイアスを除去するLangevinアルゴリズムのノイズ補正版を提案する。
• 参考スコア（独自算出の注目度）: 8.38645149466758
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Langevin algorithm is a classic method for sampling from a given pdf in a real space. In its basic version, it only requires knowledge of the gradient of the log-density, also called the score function. However, in deep learning, it is often easier to learn the so-called "noisy score function", i.e. the gradient of the log-density of noisy data, more precisely when Gaussian noise is added to the data. Such an estimate is biased and complicates the use of the Langevin method. Here, we propose a noise-corrected version of the Langevin algorithm, where the bias due to noisy data is removed, at least regarding first-order terms. Unlike diffusion models, our algorithm needs to know the noisy score function for one single noise level only. We further propose a simple special case which has an interesting intuitive interpretation of iteratively adding noise the data and then attempting to remove half of that noise.
• Abstract（参考訳）: ランゲヴィンアルゴリズム(英: Langevin algorithm)は、実空間において与えられたpdfからサンプリングする古典的な方法である。 基本的なバージョンでは、ログ密度の勾配に関する知識のみを必要とする(スコア関数とも呼ばれる)。 しかし、ディープラーニングでは、ガウスノイズがデータに追加されたときに、いわゆる「ノイズスコア関数」、すなわち、ノイズデータのログ密度の勾配を学習することがしばしば容易になる。 そのような推定は偏りがあり、ランゲヴィン法の使用を複雑にする。 本稿では、少なくとも1次項に関して、ノイズによる偏りを除去するLangevinアルゴリズムのノイズ補正版を提案する。 拡散モデルとは異なり、我々のアルゴリズムは1つのノイズレベルに対してのみノイズスコア関数を知っておく必要がある。 さらに、データに繰り返しノイズを加え、そのノイズの半分を取り除こうとする、興味深い直感的な解釈を持つ単純な特殊なケースを提案する。

関連論文リスト

• Evolutionary Algorithms Are Significantly More Robust to Noise When They Ignore It [10.165640083594573]
  再評価の必要性は過大評価される可能性があり、実際は有害である。 この進化的アルゴリズムの最初の分析は、再評価なしに単一目的雑音の問題を解くことで、そのようなアルゴリズムが以前考えられていたよりもずっと良いノイズに対処できることを示している。
  論文  参考訳（メタデータ） (2024-08-31T00:10:10Z)
• SoftPatch: Unsupervised Anomaly Detection with Noisy Data [67.38948127630644]
  本稿では,画像センサ異常検出におけるラベルレベルのノイズを初めて考察する。 本稿では,メモリベースの非教師付きAD手法であるSoftPatchを提案する。 既存の手法と比較して、SoftPatchは通常のデータの強力なモデリング能力を維持し、コアセットにおける過信問題を軽減する。
  論文  参考訳（メタデータ） (2024-03-21T08:49:34Z)
• Latent Class-Conditional Noise Model [54.56899309997246]
  本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。 次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。 提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
  論文  参考訳（メタデータ） (2023-02-19T15:24:37Z)
• Optimizing the Noise in Self-Supervised Learning: from Importance Sampling to Noise-Contrastive Estimation [80.07065346699005]
  GAN(Generative Adversarial Networks)のように、最適な雑音分布はデータ分布に等しくなると広く想定されている。 我々は、この自己教師型タスクをエネルギーベースモデルの推定問題として基礎づけるノイズ・コントラスト推定に目を向ける。 本研究は, 最適雑音のサンプリングは困難であり, 効率性の向上は, データに匹敵する雑音分布を選択することに比べ, 緩やかに行うことができると結論付けた。
  論文  参考訳（メタデータ） (2023-01-23T19:57:58Z)
• Identifying Hard Noise in Long-Tailed Sample Distribution [76.16113794808001]
  NLT(Noisy Long-Tailed Classification)を紹介する。 ほとんどのノイズ除去法は、ハードノイズを特定するのに失敗する。 我々はH2E(Hard-to-Easy)と呼ばれる反復的な雑音学習フレームワークを設計する。
  論文  参考訳（メタデータ） (2022-07-27T09:03:03Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)
• Noise2Score: Tweedie's Approach to Self-Supervised Image Denoising without Clean Images [35.41467558264341]
  異なるアプローチを統合するために,ノイズ2スコアと呼ばれる新しい手法を提案する。 具体的には,後部分布のモードを見つけることで,クリーンな画像のない画像認識問題に対処できることを示す。 そこで本手法では,残差復調オートエンコーダを用いて雑音画像からスコア関数を安定に推定する手法を提案する。
  論文  参考訳（メタデータ） (2021-06-13T14:41:09Z)
• Learning based signal detection for MIMO systems with unknown noise statistics [84.02122699723536]
  本論文では,未知のノイズ統計による信号を堅牢に検出する一般化最大確率(ML)推定器を考案する。 実際には、システムノイズに関する統計的な知識はほとんどなく、場合によっては非ガウス的であり、衝動的であり、分析不可能である。 我々のフレームワークは、ノイズサンプルのみを必要とする教師なしの学習アプローチによって駆動される。
  論文  参考訳（メタデータ） (2021-01-21T04:48:15Z)
• Denoising Score Matching with Random Fourier Features [11.60130641443281]
  Kernel Exponential Family を用いたDenoising Score matching の解析式をモデル分布として導出する。 得られた式はノイズのばらつきに明示的に依存するため、バリデーション損失はノイズレベルを調整するために簡単に使用できる。
  論文  参考訳（メタデータ） (2021-01-13T18:02:39Z)
• Noise in Classification [32.458986097202626]
  本章では,雑音の存在下での線形しきい値学習の計算的・統計的側面について考察する。 本稿では,データ生成過程における自然な仮定を生かして,これらのネガティブな結果を扱うためのアプローチについて議論する。
  論文  参考訳（メタデータ） (2020-10-10T19:52:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。