Fugu-MT 論文翻訳(概要): Overcoming Saturation in Density Ratio Estimation by Iterated Regularization

論文の概要: Overcoming Saturation in Density Ratio Estimation by Iterated Regularization

arxiv url: http://arxiv.org/abs/2402.13891v2
Date: Mon, 3 Jun 2024 11:40:32 GMT
ステータス: 処理完了
システム内更新日: 2024-06-04 16:38:05.134366
Title: Overcoming Saturation in Density Ratio Estimation by Iterated Regularization
Title（参考訳）: 反復正規化による密度比推定における過渡飽和
Authors: Lukas Gruber, Markus Holzleitner, Johannes Lehner, Sepp Hochreiter, Werner Zellinger,
Abstract要約: 密度比推定のためのカーネル手法のクラスが誤差飽和に悩まされていることを示す。高速な誤差率を達成するために, 密度比推定における繰り返し正規化を導入する。
参考スコア（独自算出の注目度）: 11.244546184962996
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Estimating the ratio of two probability densities from finitely many samples, is a central task in machine learning and statistics. In this work, we show that a large class of kernel methods for density ratio estimation suffers from error saturation, which prevents algorithms from achieving fast error convergence rates on highly regular learning problems. To resolve saturation, we introduce iterated regularization in density ratio estimation to achieve fast error rates. Our methods outperform its non-iteratively regularized versions on benchmarks for density ratio estimation as well as on large-scale evaluations for importance-weighted ensembling of deep unsupervised domain adaptation models.
Abstract（参考訳）: 有限個のサンプルから2つの確率密度の比を推定することは、機械学習と統計学における中心的な課題である。本研究では,高次正規学習問題に対して,アルゴリズムが高速な誤り収束率を達成できないように,密度比推定のための大規模なカーネル手法が誤差飽和に悩まされていることを示す。飽和を解消するために,高速な誤差率を達成するために,密度比推定の反復正規化を導入する。提案手法は,密度比推定のためのベンチマークや,深層非教師付きドメイン適応モデルの重要度重み付けのための大規模評価において,非定型化バージョンよりも優れていた。

関連論文リスト

In-Context Parametric Inference: Point or Distribution Estimators? [66.22308335324239]
償却点推定器は一般に後部推論より優れているが、後者は低次元問題では競争力がある。実験の結果, 償却点推定器は一般に後部推定より優れているが, 後者は低次元問題では競争力があることがわかった。
論文参考訳（メタデータ） (2025-02-17T10:00:24Z)
Density Ratio Estimation with Conditional Probability Paths [14.251729168309067]
条件変数に基づく時間スコア推定のための新しいフレームワークを提案する。従来の手法と比較して,本手法は時間スコアの学習を高速化し,密度比の推定精度が向上することを示した。
論文参考訳（メタデータ） (2025-02-04T13:13:35Z)
Robust Representation Consistency Model via Contrastive Denoising [83.47584074390842]
ランダムな平滑化は、敵の摂動に対する堅牢性を証明する理論的保証を提供する。拡散モデルは、ノイズ摂動サンプルを浄化するためにランダムな平滑化に成功している。我々は,画素空間における拡散軌跡に沿った生成的モデリングタスクを,潜在空間における識別的タスクとして再構成する。
論文参考訳（メタデータ） (2025-01-22T18:52:06Z)
Adaptive learning of density ratios in RKHS [3.047411947074805]
有限個の観測から2つの確率密度の比を推定することは、機械学習と統計学における中心的な問題である。我々は、再生カーネルヒルベルト空間における真の密度比とモデルの間の正規化ブレグマン偏差を最小化する大規模な密度比推定法を分析する。
論文参考訳（メタデータ） (2023-07-30T08:18:39Z)
Sobolev Space Regularised Pre Density Models [51.558848491038916]
本研究では,ソボレフ法則の正則化に基づく非パラメトリック密度推定法を提案する。この方法は統計的に一貫したものであり、帰納的検証モデルを明確かつ一貫したものにしている。
論文参考訳（メタデータ） (2023-07-25T18:47:53Z)
On double-descent in uncertainty quantification in overparametrized models [24.073221004661427]
不確かさの定量化は、信頼性と信頼性のある機械学習における中心的な課題である。最適正規化推定器のキャリブレーション曲線において, 分類精度とキャリブレーションのトレードオフを示す。これは経験的ベイズ法とは対照的であり、高次一般化誤差と過度パラメトリゼーションにもかかわらず、我々の設定では十分に校正されていることを示す。
論文参考訳（メタデータ） (2022-10-23T16:01:08Z)
A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。ブレグマン最小化の発散の観点から一般的な枠組みを開発する。我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
論文参考訳（メタデータ） (2021-12-07T01:23:20Z)
Density Ratio Estimation via Infinitesimal Classification [85.08255198145304]
そこで我々は, DRE-inftyを提案する。 DRE-inftyは, 密度比推定(DRE)を, より簡単なサブプロブレムに還元する手法である。モンテカルロ法にインスパイアされ、中間ブリッジ分布の無限連続体を介して2つの分布の間を滑らかに補間する。提案手法は,複雑な高次元データセット上での相互情報推定やエネルギーベースモデリングなどの下流タスクにおいて良好に動作することを示す。
論文参考訳（メタデータ） (2021-11-22T06:26:29Z)
Featurized Density Ratio Estimation [82.40706152910292]
本研究では,2つの分布を推定前の共通特徴空間にマッピングするために,可逆生成モデルを活用することを提案する。この偉業化は、学習された入力空間の密度比が任意に不正確な場合、潜在空間において密度が密接な関係をもたらす。同時に、特徴写像の可逆性は、特徴空間で計算された比が入力空間で計算された比と同値であることを保証する。
論文参考訳（メタデータ） (2021-07-05T18:30:26Z)
TREND: Truncated Generalized Normal Density Estimation of Inception Embeddings for Accurate GAN Evaluation [27.80517509528215]
Frech'et Inception distanceはGANの評価に最も広く使われている指標の1つです。これは過度に単純化された仮定であり、信頼性の低い評価結果につながる可能性がある。 TREND(TRuncated gEneralized Normal Density Estimation of Inception Embeddings)という,GANの正確な評価のための新しい指標を提案する。
論文参考訳（メタデータ） (2021-04-30T05:51:07Z)
Telescoping Density-Ratio Estimation [21.514983459970903]
我々は、テレスコープ密度比推定(TRE)という新しいフレームワークを導入する。 TREは高次元空間における高相似密度の比を推定できる。実験により、TREは既存の単一比法よりも大幅に改善できることが示された。
論文参考訳（メタデータ） (2020-06-22T12:55:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。