論文の概要: Bounds on $L_p$ Errors in Density Ratio Estimation via $f$-Divergence Loss Functions

• arxiv url: http://arxiv.org/abs/2410.01516v1
• Date: Wed, 2 Oct 2024 13:05:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 17:24:31.130173
• Title: Bounds on $L_p$ Errors in Density Ratio Estimation via $f$-Divergence Loss Functions
• Title（参考訳）: $f$-divergence Loss関数による密度比推定における$L_p$エラーのバウンド
• Authors: Yoshiaki Kitazawa,
• Abstract要約: 密度比推定(DRE)は2つの確率分布の関係を同定する基礎的な機械学習手法である。 $f$-divergence損失関数は、$f$-divergenceの変分表現から派生したもので、DREで最先端の結果を達成するために一般的に使用される。 本研究では,$L_p$エラーの上下境界を導出することにより,$f$-divergence損失関数を用いたDREの新しい視点を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Density ratio estimation (DRE) is a fundamental machine learning technique for identifying relationships between two probability distributions. $f$-divergence loss functions, derived from variational representations of $f$-divergence, are commonly employed in DRE to achieve state-of-the-art results. This study presents a novel perspective on DRE using $f$-divergence loss functions by deriving the upper and lower bounds on $L_p$ errors. These bounds apply to any estimator within a class of Lipschitz continuous estimators, irrespective of the specific $f$-divergence loss functions utilized. The bounds are formulated as a product of terms that include the data dimension and the expected value of the density ratio raised to the power of $p$. Notably, the lower bound incorporates an exponential term dependent on the Kullback--Leibler divergence, indicating that the $L_p$ error significantly increases with the Kullback--Leibler divergence for $p > 1$, and this increase becomes more pronounced as $p$ increases. Furthermore, these theoretical findings are substantiated through numerical experiments.
• Abstract（参考訳）: 密度比推定(DRE)は2つの確率分布の関係を同定する基礎的な機械学習手法である。 $f$-divergence損失関数は、$f$-divergenceの変分表現から派生したもので、DREで最先端の結果を達成するために一般的に使用される。 本研究では,$L_p$エラーの上下境界を導出することにより,$f$-divergence損失関数を用いたDREの新しい視点を示す。 これらの境界は、特定の$f$分割損失関数によらず、リプシッツ連続推定器のクラス内の任意の推定器に適用できる。 境界は、データ次元と密度比の期待値が$p$まで上がる項の積として定式化される。 特に、下界はクルバック-リーブラーの発散に依存する指数項を包含しており、$L_p$誤差は、$p > 1$のクルバック-リーブラーの発散によって著しく増加し、この増加は$p$の増加とともにより顕著になる。 さらに、これらの理論的知見は数値実験によって裏付けられている。

関連論文リスト

• A Unified Analysis for Finite Weight Averaging [50.75116992029417]
  Gradient Descent(SGD)の平均イテレーションは、SWA(Weight Averaging)、EMA(Exponential moving Average)、LAWA(Latest Weight Averaging)といったディープラーニングモデルのトレーニングにおいて、経験的な成功を収めている。 本稿では、LAWAを有限重み平均化(FWA)として一般化し、最適化と一般化の観点からSGDと比較して、それらの利点を説明する。
  論文  参考訳（メタデータ） (2024-11-20T10:08:22Z)
• Convergence Rate Analysis of LION [54.28350823319057]
  LION は、勾配カルシュ=クーン=T (sqrtdK-)$で測定された $cal(sqrtdK-)$ の反復を収束する。 従来のSGDと比較して,LIONは損失が小さく,性能も高いことを示す。
  論文  参考訳（メタデータ） (2024-11-12T11:30:53Z)
• Convergence Analysis of Probability Flow ODE for Score-based Generative Models [5.939858158928473]
  確率フローODEに基づく決定論的サンプリング器の収束特性を理論的・数値的両面から検討する。 連続時間レベルでは、ターゲットと生成されたデータ分布の総変動を$mathcalO(d3/4delta1/2)$で表すことができる。
  論文  参考訳（メタデータ） (2024-04-15T12:29:28Z)
• $α$-Divergence Loss Function for Neural Density Ratio Estimation [0.0]
  密度比推定(DRE)は2つの確率分布の関係を捉えるための基礎的な機械学習手法である。 既存の手法では、低ウンバウンド損失関数によるオーバーフィッティング、バイアス付きミニバッチ勾配、トレーニング損失勾配の消失、KL(Kullback-Leibler)分散損失関数に対する高いサンプル要求など、最適化上の課題に直面している。 本稿では,DREの新しい損失関数である$alpha$-divergence loss function(alpha$-Div)を提案する。
  論文  参考訳（メタデータ） (2024-02-03T05:33:01Z)
• Effective Minkowski Dimension of Deep Nonparametric Regression: Function Approximation and Statistical Theories [70.90012822736988]
  ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。 本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
  論文  参考訳（メタデータ） (2023-06-26T17:13:31Z)
• $\alpha$-GAN: Convergence and Estimation Guarantees [7.493779672689531]
  一般CPE損失関数 GAN の min-max 最適化と、関連する$f$-divergences の最小化との対応性を証明する。 次に、$alpha$-GAN を $alpha$-loss で定義し、いくつかの GAN を補間し、有元発散の最小化に対応する。
  論文  参考訳（メタデータ） (2022-05-12T23:26:51Z)
• Faster Convergence of Local SGD for Over-Parameterized Models [1.5504102675587357]
  現代の機械学習アーキテクチャは、しばしば非常に表現力が高い。 不均一なデータ設定における過パラメータ化関数に対する局所SGD(またはFedAvg)の収束を解析する。 一般凸損失関数に対しては、$O(K/T)$の誤差が成立する。 非剰余関数に対しては、どちらの場合も$O(K/T)$の誤差が証明される。 確立された収束率を、合理的に小さなステップサイズで一定の要因に密着した問題インスタンスを提供することで、結果を完成させる。
  論文  参考訳（メタデータ） (2022-01-30T04:05:56Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• Understanding the Under-Coverage Bias in Uncertainty Estimation [58.03725169462616]
  量子レグレッションは、現実の望ましいカバレッジレベルよりもアンファンダーカバー(enmphunder-cover)する傾向がある。 我々は、量子レグレッションが固有のアンダーカバーバイアスに悩まされていることを証明している。 我々の理論は、この過大被覆バイアスが特定の高次元パラメータ推定誤差に起因することを明らかにしている。
  論文  参考訳（メタデータ） (2021-06-10T06:11:55Z)
• Fast Rates for the Regret of Offline Reinforcement Learning [69.23654172273085]
  無限水平割引決定プロセス(MDP)における固定行動ポリシーによって生成されたオフラインデータからの強化学習の後悔について検討する。 最適品質関数 $Q*$ に対する任意の推定が与えられたとき、定義するポリシーの後悔は、$Q*$-estimate の点収束率の指数によって与えられる速度で収束することを示す。
  論文  参考訳（メタデータ） (2021-01-31T16:17:56Z)
• Rates of convergence for density estimation with generative adversarial networks [19.71040653379663]
  我々は、基礎となる密度$mathsfp*$とGAN推定値の間のJensen-Shannon (JS) 分岐に対するオラクルの不等式を証明した。 GANの推定値と$mathsfp*$のJS偏差が$(logn/n)2beta/ (2beta + d)$の速さで崩壊することを示す。
  論文  参考訳（メタデータ） (2021-01-30T09:59:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。