論文の概要: $\alpha$-Divergence Loss Function for Neural Density Ratio Estimation
- arxiv url: http://arxiv.org/abs/2402.02041v2
- Date: Sun, 18 Feb 2024 10:53:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 02:52:52.437756
- Title: $\alpha$-Divergence Loss Function for Neural Density Ratio Estimation
- Title(参考訳): 神経密度比推定のための$\alpha$-divergence loss関数
- Authors: Yoshiaki Kitazawa
- Abstract要約: 本稿では、簡潔な実装と安定な最適化を提供する$alpha$-divergence損失関数($alpha$-Div)を提案する。
提案した損失関数の安定性を実証的に検証し,DREタスクの推定精度について検討した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, neural networks have produced state-of-the-art results for
density-ratio estimation (DRE), a fundamental technique in machine learning.
However, existing methods bear optimization issues that arise from the loss
functions of DRE: a large sample requirement of Kullback--Leibler
(KL)-divergence, vanishing of train loss gradients, and biased gradients of the
loss functions. Thus, an $\alpha$-divergence loss function ($\alpha$-Div) that
offers concise implementation and stable optimization is proposed in this
paper. Furthermore, technical justifications for the proposed loss function are
presented. The stability of the proposed loss function is empirically
demonstrated and the estimation accuracy of DRE tasks is investigated.
Additionally, this study presents a sample requirement for DRE using the
proposed loss function in terms of the upper bound of $L_1$ error, which
connects a curse of dimensionality as a common problem in high-dimensional DRE
tasks.
- Abstract(参考訳): 近年、ニューラルネットワークは、機械学習の基本技術である密度比推定(DRE)の最先端の結果を生み出している。
しかしながら、既存の手法では、kullback-leibler (kl)-divergenceの大きなサンプル要件、列車損失勾配の消失、損失関数の偏り勾配といったdreの損失関数から生じる最適化の問題がある。
そこで本稿では,簡単な実装と安定な最適化を提供する$\alpha$-divergence loss関数($\alpha$-div)を提案する。
さらに,提案した損失関数の技術的正当性を示す。
提案した損失関数の安定性を実証的に検証し,DREタスクの推定精度を検討した。
さらに,提案した損失関数を用いたDREのサンプル要件を,高次元DREタスクにおける一般的な問題として次元性の呪いを結び付ける,$L_1$エラーの上限という観点から提示する。
関連論文リスト
- On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。
アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文 参考訳(メタデータ) (2023-12-13T02:11:07Z) - RoBoSS: A Robust, Bounded, Sparse, and Smooth Loss Function for
Supervised Learning [0.0]
そこで本研究では,教師あり学習のための,頑健で,有界で,スパースで,スムーズなロス関数(RoBoSS)を提案する。
未確認データの一般化のために,$mathcalL_rbss$-SVMという新しいロバストアルゴリズムを導入する。
提案した$mathcalL_rbss$-SVM を実世界の UCI と KEEL のデータセットで18ドルで評価した。
論文 参考訳(メタデータ) (2023-09-05T13:59:50Z) - Leaving the Nest: Going Beyond Local Loss Functions for
Predict-Then-Optimize [57.22851616806617]
本手法は,文献から得られた4つの領域において,最先端の成果が得られることを示す。
提案手法は, 局所性仮定が破られた場合, 既存手法よりも200%近く性能が向上する。
論文 参考訳(メタデータ) (2023-05-26T11:17:45Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳(メタデータ) (2023-03-03T08:17:47Z) - Xtreme Margin: A Tunable Loss Function for Binary Classification
Problems [0.0]
本稿では,新しい損失関数 Xtreme Margin の損失関数について概説する。
二進的クロスエントロピーやヒンジ損失関数とは異なり、この損失関数は研究者や実践者がトレーニングプロセスに柔軟性をもたらす。
論文 参考訳(メタデータ) (2022-10-31T22:39:32Z) - Real order total variation with applications to the loss functions in
learning schemes [5.8868325478050165]
本稿では、$r$-order (an)-isotropic total variation semi-norms $TVr$, $rin mathbbR+$からなる損失関数を提案する。
このような損失関数の関数と微分$r$の順序の両方に関して、下半連続性やコンパクト性のような重要な理論的性質の研究に焦点をあてる。
論文 参考訳(メタデータ) (2022-04-10T02:44:04Z) - Do Lessons from Metric Learning Generalize to Image-Caption Retrieval? [67.45267657995748]
半ハードな負のトリプルト損失は、スクラッチから最適化されたイメージキャプション検索(ICR)メソッドのデファクト選択となっている。
近年のメトリクス学習の進歩により、画像検索や表現学習といったタスクにおいて、三重項損失を上回る新たな損失関数が生まれている。
これらの結果は,2つのICR法における3つの損失関数を比較することで,ICRの設定に一般化するかどうかを問う。
論文 参考訳(メタデータ) (2022-02-14T15:18:00Z) - Instance-optimality in optimal value estimation: Adaptivity via
variance-reduced Q-learning [99.34907092347733]
本稿では,マルコフ決定過程における最適な$Q$値関数を離散状態と動作で推定する問題を解析する。
局所的なミニマックスフレームワークを用いて、この関数は任意の推定手順の精度の低い境界に現れることを示す。
他方,Q$ラーニングの分散還元版を解析することにより,状態と行動空間の対数的要因まで,下位境界のシャープさを確立する。
論文 参考訳(メタデータ) (2021-06-28T00:38:54Z) - A surrogate loss function for optimization of $F_\beta$ score in binary
classification with imbalanced data [0.0]
提案されたサーロゲート$F_beta$損失関数の勾配パスは、$F_beta$スコアの大きなサンプル限界の勾配パスを近似する。
F_beta$損失関数はクラス不均衡下でのF_beta$スコアの最適化に有効であることを示す。
論文 参考訳(メタデータ) (2021-04-03T18:36:23Z) - Loss Function Discovery for Object Detection via Convergence-Simulation
Driven Search [101.73248560009124]
本稿では,効率的な収束シミュレーションによる進化的探索アルゴリズムCSE-Autolossを提案する。
一般的な検出器上での損失関数探索の広範囲な評価を行い、探索された損失の優れた一般化能力を検証した。
実験の結果, 2段検出器と1段検出器のmAPでは, 最適損失関数の組み合わせが1.1%と0.8%を上回っていることがわかった。
論文 参考訳(メタデータ) (2021-02-09T08:34:52Z) - $\sigma^2$R Loss: a Weighted Loss by Multiplicative Factors using
Sigmoidal Functions [0.9569316316728905]
我々は,二乗還元損失(sigma2$R損失)と呼ばれる新たな損失関数を導入する。
我々の損失は明らかな直観と幾何学的解釈を持ち、我々の提案の有効性を実験によって実証する。
論文 参考訳(メタデータ) (2020-09-18T12:34:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。