論文の概要: $α$-Divergence Loss Function for Neural Density Ratio Estimation
- arxiv url: http://arxiv.org/abs/2402.02041v3
- Date: Wed, 02 Oct 2024 12:57:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-03 15:18:19.288291
- Title: $α$-Divergence Loss Function for Neural Density Ratio Estimation
- Title(参考訳): ニューラル密度比推定のための$α$-divergence損失関数
- Authors: Yoshiaki Kitazawa,
- Abstract要約: 密度比推定(DRE)は2つの確率分布の関係を捉えるための基礎的な機械学習手法である。
既存の手法では、低ウンバウンド損失関数によるオーバーフィッティング、バイアス付きミニバッチ勾配、トレーニング損失勾配の消失、KL(Kullback-Leibler)分散損失関数に対する高いサンプル要求など、最適化上の課題に直面している。
本稿では,DREの新しい損失関数である$alpha$-divergence loss function(alpha$-Div)を提案する。
- 参考スコア(独自算出の注目度): 0.0
- License:
- Abstract: Density ratio estimation (DRE) is a fundamental machine learning technique for capturing relationships between two probability distributions. State-of-the-art DRE methods estimate the density ratio using neural networks trained with loss functions derived from variational representations of $f$-divergence. However, existing methods face optimization challenges, such as overfitting due to lower-unbounded loss functions, biased mini-batch gradients, vanishing training loss gradients, and high sample requirements for Kullback-Leibler (KL) divergence loss functions. To address these issues, we focus on $\alpha$-divergence, which provides a suitable variational representation of $f$-divergence. Subsequently, a novel loss function for DRE, the $\alpha$-divergence loss function ($\alpha$-Div), is derived. $\alpha$-Div is concise but offers stable and effective optimization for DRE. The boundedness of $\alpha$-divergence provides the potential for successful DRE with data exhibiting high KL-divergence. Our numerical experiments demonstrate the effectiveness in optimization using $\alpha$-Div. However, the experiments also show that the proposed loss function offers no significant advantage over the KL-divergence loss function in terms of RMSE for DRE. This indicates that the accuracy of DRE is primarily determined by the amount of KL-divergence in the data and is less dependent on $\alpha$-divergence.
- Abstract(参考訳): 密度比推定(DRE)は2つの確率分布の関係を捉えるための基礎的な機械学習手法である。
State-of-the-art DRE法は、$f$-divergenceの変動表現から得られる損失関数をトレーニングしたニューラルネットワークを用いて密度比を推定する。
しかし、既存の手法では、低ウンバウンド損失関数によるオーバーフィッティング、バイアス付きミニバッチ勾配、トレーニング損失勾配の消失、KL(Kullback-Leibler)分散損失関数に対する高いサンプル要求など、最適化上の課題に直面している。
これらの問題に対処するために、$f$-divergenceの適切な変分表現を提供する$\alpha$-divergenceに焦点を当てる。
次に、DREの新しい損失関数である$\alpha$-divergence loss関数($\alpha$-Div)を導出する。
$\alpha$-Divは簡潔だが、DREの安定的で効果的な最適化を提供する。
$\alpha$-divergence の有界性は、高い KL-divergence を示すデータで DRE を成功させる可能性をもたらす。
我々の数値実験は$\alpha$-Div を用いた最適化の有効性を示す。
しかし, 提案した損失関数は, RMSE for DREにおけるKL偏差損失関数に対して有意な優位性は示さない。
これはDREの精度が主にデータのKL分割量によって決定され、$\alpha$-divergenceに依存しないことを示している。
関連論文リスト
- A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimiax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳(メタデータ) (2024-04-18T16:46:08Z) - On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。
アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文 参考訳(メタデータ) (2023-12-13T02:11:07Z) - RoBoSS: A Robust, Bounded, Sparse, and Smooth Loss Function for
Supervised Learning [0.0]
そこで本研究では,教師あり学習のための,頑健で,有界で,スパースで,スムーズなロス関数(RoBoSS)を提案する。
未確認データの一般化のために,$mathcalL_rbss$-SVMという新しいロバストアルゴリズムを導入する。
提案した$mathcalL_rbss$-SVM を実世界の UCI と KEEL のデータセットで18ドルで評価した。
論文 参考訳(メタデータ) (2023-09-05T13:59:50Z) - Leaving the Nest: Going Beyond Local Loss Functions for
Predict-Then-Optimize [57.22851616806617]
本手法は,文献から得られた4つの領域において,最先端の成果が得られることを示す。
提案手法は, 局所性仮定が破られた場合, 既存手法よりも200%近く性能が向上する。
論文 参考訳(メタデータ) (2023-05-26T11:17:45Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳(メタデータ) (2023-03-03T08:17:47Z) - Xtreme Margin: A Tunable Loss Function for Binary Classification
Problems [0.0]
本稿では,新しい損失関数 Xtreme Margin の損失関数について概説する。
二進的クロスエントロピーやヒンジ損失関数とは異なり、この損失関数は研究者や実践者がトレーニングプロセスに柔軟性をもたらす。
論文 参考訳(メタデータ) (2022-10-31T22:39:32Z) - Real order total variation with applications to the loss functions in
learning schemes [5.8868325478050165]
本稿では、$r$-order (an)-isotropic total variation semi-norms $TVr$, $rin mathbbR+$からなる損失関数を提案する。
このような損失関数の関数と微分$r$の順序の両方に関して、下半連続性やコンパクト性のような重要な理論的性質の研究に焦点をあてる。
論文 参考訳(メタデータ) (2022-04-10T02:44:04Z) - Do Lessons from Metric Learning Generalize to Image-Caption Retrieval? [67.45267657995748]
半ハードな負のトリプルト損失は、スクラッチから最適化されたイメージキャプション検索(ICR)メソッドのデファクト選択となっている。
近年のメトリクス学習の進歩により、画像検索や表現学習といったタスクにおいて、三重項損失を上回る新たな損失関数が生まれている。
これらの結果は,2つのICR法における3つの損失関数を比較することで,ICRの設定に一般化するかどうかを問う。
論文 参考訳(メタデータ) (2022-02-14T15:18:00Z) - Instance-optimality in optimal value estimation: Adaptivity via
variance-reduced Q-learning [99.34907092347733]
本稿では,マルコフ決定過程における最適な$Q$値関数を離散状態と動作で推定する問題を解析する。
局所的なミニマックスフレームワークを用いて、この関数は任意の推定手順の精度の低い境界に現れることを示す。
他方,Q$ラーニングの分散還元版を解析することにより,状態と行動空間の対数的要因まで,下位境界のシャープさを確立する。
論文 参考訳(メタデータ) (2021-06-28T00:38:54Z) - A surrogate loss function for optimization of $F_\beta$ score in binary
classification with imbalanced data [0.0]
提案されたサーロゲート$F_beta$損失関数の勾配パスは、$F_beta$スコアの大きなサンプル限界の勾配パスを近似する。
F_beta$損失関数はクラス不均衡下でのF_beta$スコアの最適化に有効であることを示す。
論文 参考訳(メタデータ) (2021-04-03T18:36:23Z) - $\sigma^2$R Loss: a Weighted Loss by Multiplicative Factors using
Sigmoidal Functions [0.9569316316728905]
我々は,二乗還元損失(sigma2$R損失)と呼ばれる新たな損失関数を導入する。
我々の損失は明らかな直観と幾何学的解釈を持ち、我々の提案の有効性を実験によって実証する。
論文 参考訳(メタデータ) (2020-09-18T12:34:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。