論文の概要: Target Score Matching
- arxiv url: http://arxiv.org/abs/2402.08667v1
- Date: Tue, 13 Feb 2024 18:48:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-14 14:03:53.215865
- Title: Target Score Matching
- Title（参考訳）: ターゲットスコアマッチング
- Authors: Valentin De Bortoli, Michael Hutchinson, Peter Wirnsberger, Arnaud
Doucet
- Abstract要約: 対象スコアの知識を活用できることが示される。
ターゲットスコア識別と対応するターゲットスコアマッチング回帰損失を示す。
- 参考スコア（独自算出の注目度）: 36.80075781966174
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Denoising Score Matching estimates the score of a noised version of a target
distribution by minimizing a regression loss and is widely used to train the
popular class of Denoising Diffusion Models. A well known limitation of
Denoising Score Matching, however, is that it yields poor estimates of the
score at low noise levels. This issue is particularly unfavourable for problems
in the physical sciences and for Monte Carlo sampling tasks for which the score
of the clean original target is known. Intuitively, estimating the score of a
slightly noised version of the target should be a simple task in such cases. In
this paper, we address this shortcoming and show that it is indeed possible to
leverage knowledge of the target score. We present a Target Score Identity and
corresponding Target Score Matching regression loss which allows us to obtain
score estimates admitting favourable properties at low noise levels.
- Abstract（参考訳）: Denoising Score Matchingは、回帰損失を最小限に抑えて目標分布の雑音バージョンスコアを推定し、一般的なDenoising Diffusion Modelの訓練に広く使われている。
しかし、Denoising Score Matchingのよく知られた制限は、低騒音レベルにおけるスコアの評価が低いことである。
この問題は、物理科学における問題や、クリーンなオリジナルターゲットのスコアが知られているモンテカルロサンプリングタスクには特に不適当である。
直感的には、ターゲットのわずかにノイズのあるバージョンのスコアを推定することは、そのような場合の簡単なタスクである。
本稿では,この欠点に対処し,目標スコアの知識を活用することが実際に可能であることを示す。
雑音レベルが低い場合に好適な特性が認められるスコア推定値を得るためのターゲットスコア識別と対応するターゲットスコアマッチング回帰損失を提案する。
関連論文リスト
- Language Generation with Strictly Proper Scoring Rules [70.340673452404]
本稿では,非局所的なスコアリングルールを用いた言語モデリングが可能な,スコアリングルールを言語生成に適用するための戦略を提案する。
対数スコアの代替として、ブライアスコアと球面スコアの2つの古典的厳密なスコアルールを用いて言語生成モデルを訓練する。
論文 参考訳（メタデータ） (2024-05-29T09:09:00Z) - Towards noise contrastive estimation with soft targets for conditional models [0.6138671548064356]
本稿では確率的目標に適合する損失関数を提案する。
我々の新しいソフトターゲットInfoNCE損失は概念的にはシンプルで、計算に効率的であり、ノイズコントラスト推定の枠組みを通じて動機付けできる。
ソフトターゲットInfoNCEは,強いソフトターゲットのクロスエントロピーベースラインと同等に動作し,一般的なベンチマークにおいてハードターゲットNLLとInfoNCEの損失を上回ります。
論文 参考訳（メタデータ） (2024-04-22T10:45:59Z) - Improving Interpretability of Scores in Anomaly Detection Based on Gaussian-Bernoulli Restricted Boltzmann Machine [0.0]
GBRBMによる異常検出では、GBRBMのエネルギー関数と同一のスコアに基づいて正規値と異常値のデータを分類する。
本稿では,その累積分布に基づいて,スコアの解釈可能性を向上させる尺度を提案する。
また、解釈可能な尺度を用いてしきい値を設定するためのガイドラインを確立する。
論文 参考訳（メタデータ） (2024-03-19T12:13:52Z) - Sample Complexity Bounds for Score-Matching: Causal Discovery and
Generative Modeling [82.36856860383291]
我々は,標準深部ReLUニューラルネットワークをトレーニングすることにより,スコア関数の正確な推定が可能であることを実証した。
スコアマッチングに基づく因果発見手法を用いて因果関係の回復の誤差率の限界を確立する。
論文 参考訳（メタデータ） (2023-10-27T13:09:56Z) - Label Noise: Correcting the Forward-Correction [0.0]
ラベルノイズのあるデータセット上でニューラルネットワーク分類器を訓練することは、ノイズのあるラベルに過度に適合するリスクをもたらす。
ラベルノイズによる過度適合に対処する手法を提案する。
本研究は, オーバーフィッティングを緩和するために, トレーニング損失に低い限界を課すことを提案する。
論文 参考訳（メタデータ） (2023-07-24T19:41:19Z) - Denoising Likelihood Score Matching for Conditional Score-based Data
Generation [22.751924447125955]
そこで本研究では,真の対数確率密度の勾配に合わせるために,DLSM(Denoising Likelihood Score Matching)損失という新たなトレーニング目標を提案する。
実験により,提案手法は,いくつかの重要な評価指標において,従来の手法よりも顕著に優れた性能を示した。
論文 参考訳（メタデータ） (2022-03-27T04:37:54Z) - Rethinking Counting and Localization in Crowds:A Purely Point-Based
Framework [59.578339075658995]
そこで本稿では,共同クラウドカウントと個別ローカライゼーションのための純粋にポイントベースのフレームワークを提案する。
我々は、P2PNet(Point to Point Network)と呼ばれる、このフレームワークの下で直感的なソリューションを設計する。
論文 参考訳（メタデータ） (2021-07-27T11:41:50Z) - Deconfounding Scores: Feature Representations for Causal Effect
Estimation with Weak Overlap [140.98628848491146]
推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。
分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。
特に,この手法が標準正規化の魅力的な代替となることを示す。
論文 参考訳（メタデータ） (2021-04-12T18:50:11Z) - Exploiting Sample Uncertainty for Domain Adaptive Person
Re-Identification [137.9939571408506]
各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。
不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
論文 参考訳（メタデータ） (2020-12-16T04:09:04Z) - Probabilistic Anchor Assignment with IoU Prediction for Object Detection [9.703212439661097]
オブジェクト検出では、どのアンカーを正または負のサンプルとして割り当てるか、すなわちアンカー代入(アンカー代入)がモデルの性能に大きく影響を与えるコアプロシージャとして明らかにされている。
本稿では,モデルの学習状況に応じて,アンカーを正と負のサンプルに適応的に分離する新しいアンカー代入戦略を提案する。
論文 参考訳（メタデータ） (2020-07-16T04:26:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。