論文の概要: Bounds on Lp errors in density ratio estimation via f-divergence loss functions

• arxiv url: http://arxiv.org/abs/2410.01516v2
• Date: Mon, 17 Mar 2025 03:01:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 15:57:02.065032
• Title: Bounds on Lp errors in density ratio estimation via f-divergence loss functions
• Title（参考訳）: f分割損失関数を用いた密度比推定におけるLp誤差の境界
• Authors: Yoshiaki Kitazawa,
• Abstract要約: 密度比推定(DRE)は2つの確率分布の関係を捉える手法である。 $f$-divergence損失関数は、$f$-divergenceの変動表現から派生したもので、最先端のパフォーマンスを達成する上では、DREの標準選択となっている。 この研究は、$f$-divergence損失関数を通して$L_p$エラーの上と下の境界を導出することにより、DREに対する新たな理論的洞察を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Density ratio estimation (DRE) is a core technique in machine learning used to capture relationships between two probability distributions. $f$-divergence loss functions, which are derived from variational representations of $f$-divergence, have become a standard choice in DRE for achieving cutting-edge performance. This study provides novel theoretical insights into DRE by deriving upper and lower bounds on the $L_p$ errors through $f$-divergence loss functions. These bounds apply to any estimator belonging to a class of Lipschitz continuous estimators, irrespective of the specific $f$-divergence loss function employed. The derived bounds are expressed as a product involving the data dimensionality and the expected value of the density ratio raised to the $p$-th power. Notably, the lower bound includes an exponential term that depends on the Kullback--Leibler (KL) divergence, revealing that the $L_p$ error increases significantly as the KL divergence grows when $p > 1$. This increase becomes even more pronounced as the value of $p$ grows. The theoretical insights are validated through numerical experiments.
• Abstract（参考訳）: 密度比推定(DRE)は、2つの確率分布の関係を捉えるために使用される機械学習のコア技術である。 $f$-divergence損失関数は、$f$-divergenceの変動表現から派生したもので、最先端のパフォーマンスを達成する上では、DREの標準選択となっている。 この研究は、$f$-divergence損失関数を通して$L_p$エラーの上と下の境界を導出することにより、DREに対する新たな理論的洞察を提供する。 これらの境界は、特定の$f$分割損失関数によらず、リプシッツ連続推定器のクラスに属する任意の推定器に適用できる。 導出されたバウンダリは、データ次元と、密度比の期待値が$p$-thまで上昇する積として表現される。 特に、下界はクルバック-リーブラ(KL)の発散に依存する指数項を含み、KLの発散が$p > 1$のときに増加するにつれて、$L_p$誤差が著しく増加する。 この増加は、$p$の値が大きくなるにつれてさらに顕著になる。 理論的洞察は数値実験によって検証される。

関連論文リスト

• A Statistical Analysis for Supervised Deep Learning with Exponential Families for Intrinsically Low-dimensional Data [32.98264375121064]
  本研究では,指数関数系に従って説明変数が分散された場合の教師付き深層学習について考察する。 説明変数の上界密度を仮定すると、収束速度は $tildemathcalOleft(dfrac2lfloorbetarfloor(beta + d)2beta + dn-frac22beta + dn-frac22beta + dn-frac22beta + dn-frac22beta と特徴づけられる。
  論文  参考訳（メタデータ） (2024-12-13T01:15:17Z)
• A Unified Analysis for Finite Weight Averaging [50.75116992029417]
  Gradient Descent(SGD)の平均イテレーションは、SWA(Weight Averaging)、EMA(Exponential moving Average)、LAWA(Latest Weight Averaging)といったディープラーニングモデルのトレーニングにおいて、経験的な成功を収めている。 本稿では、LAWAを有限重み平均化(FWA)として一般化し、最適化と一般化の観点からSGDと比較して、それらの利点を説明する。
  論文  参考訳（メタデータ） (2024-11-20T10:08:22Z)
• Convergence Rate Analysis of LION [54.28350823319057]
  LION は、勾配カルシュ=クーン=T (sqrtdK-)$で測定された $cal(sqrtdK-)$ の反復を収束する。 従来のSGDと比較して,LIONは損失が小さく,性能も高いことを示す。
  論文  参考訳（メタデータ） (2024-11-12T11:30:53Z)
• Convergence Analysis of Probability Flow ODE for Score-based Generative Models [5.939858158928473]
  確率フローODEに基づく決定論的サンプリング器の収束特性を理論的・数値的両面から検討する。 連続時間レベルでは、ターゲットと生成されたデータ分布の総変動を$mathcalO(d3/4delta1/2)$で表すことができる。
  論文  参考訳（メタデータ） (2024-04-15T12:29:28Z)
• $α$-Divergence Loss Function for Neural Density Ratio Estimation [0.0]
  密度比推定(DRE)は2つの確率分布の関係を捉えるための基礎的な機械学習手法である。 既存の手法では、低ウンバウンド損失関数によるオーバーフィッティング、バイアス付きミニバッチ勾配、トレーニング損失勾配の消失、KL(Kullback-Leibler)分散損失関数に対する高いサンプル要求など、最適化上の課題に直面している。 本稿では,DREの新しい損失関数である$alpha$-divergence loss function(alpha$-Div)を提案する。
  論文  参考訳（メタデータ） (2024-02-03T05:33:01Z)
• Effective Minkowski Dimension of Deep Nonparametric Regression: Function Approximation and Statistical Theories [70.90012822736988]
  ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。 本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
  論文  参考訳（メタデータ） (2023-06-26T17:13:31Z)
• $\alpha$-GAN: Convergence and Estimation Guarantees [7.493779672689531]
  一般CPE損失関数 GAN の min-max 最適化と、関連する$f$-divergences の最小化との対応性を証明する。 次に、$alpha$-GAN を $alpha$-loss で定義し、いくつかの GAN を補間し、有元発散の最小化に対応する。
  論文  参考訳（メタデータ） (2022-05-12T23:26:51Z)
• Faster Convergence of Local SGD for Over-Parameterized Models [1.5504102675587357]
  現代の機械学習アーキテクチャは、しばしば非常に表現力が高い。 不均一なデータ設定における過パラメータ化関数に対する局所SGD(またはFedAvg)の収束を解析する。 一般凸損失関数に対しては、$O(K/T)$の誤差が成立する。 非剰余関数に対しては、どちらの場合も$O(K/T)$の誤差が証明される。 確立された収束率を、合理的に小さなステップサイズで一定の要因に密着した問題インスタンスを提供することで、結果を完成させる。
  論文  参考訳（メタデータ） (2022-01-30T04:05:56Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• Understanding the Under-Coverage Bias in Uncertainty Estimation [58.03725169462616]
  量子レグレッションは、現実の望ましいカバレッジレベルよりもアンファンダーカバー(enmphunder-cover)する傾向がある。 我々は、量子レグレッションが固有のアンダーカバーバイアスに悩まされていることを証明している。 我々の理論は、この過大被覆バイアスが特定の高次元パラメータ推定誤差に起因することを明らかにしている。
  論文  参考訳（メタデータ） (2021-06-10T06:11:55Z)
• Fast Rates for the Regret of Offline Reinforcement Learning [69.23654172273085]
  無限水平割引決定プロセス(MDP)における固定行動ポリシーによって生成されたオフラインデータからの強化学習の後悔について検討する。 最適品質関数 $Q*$ に対する任意の推定が与えられたとき、定義するポリシーの後悔は、$Q*$-estimate の点収束率の指数によって与えられる速度で収束することを示す。
  論文  参考訳（メタデータ） (2021-01-31T16:17:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。