論文の概要: $\alpha$-Divergence Loss Function for Neural Density Ratio Estimation

• arxiv url: http://arxiv.org/abs/2402.02041v1
• Date: Sat, 3 Feb 2024 05:33:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 22:41:17.083592
• Title: $\alpha$-Divergence Loss Function for Neural Density Ratio Estimation
• Title（参考訳）: 神経密度比推定のための$\alpha$-divergence loss関数
• Authors: Yoshiaki Kitazawa
• Abstract要約: 本稿では、簡潔な実装と安定な最適化を提供する$alpha$-divergence損失関数($alpha$-Div)を提案する。 提案した損失関数の安定性を実証的に検証し,DREタスクの推定精度について検討した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, neural networks have produced state-of-the-art results for density-ratio estimation (DRE), a fundamental technique in machine learning. However, existing methods bear optimization issues that arise from the loss functions of DRE: a large sample requirement of Kullback--Leibler (KL)-divergence, vanishing of train loss gradients, and biased gradients of the loss functions. Thus, an $\alpha$-divergence loss function ($\alpha$-Div) that offers concise implementation and stable optimization is proposed in this paper. Furthermore, technical justifications for the proposed loss function are presented. The stability of the proposed loss function is empirically demonstrated and the estimation accuracy of DRE tasks is investigated. Additionally, this study presents a sample requirement for DRE using the proposed loss function in terms of the upper bound of $L_1$ error, which connects a curse of dimensionality as a common problem in high-dimensional DRE tasks.
• Abstract（参考訳）: 近年、ニューラルネットワークは、機械学習の基本技術である密度比推定(DRE)の最先端の結果を生み出している。 しかしながら、既存の手法では、kullback-leibler (kl)-divergenceの大きなサンプル要件、列車損失勾配の消失、損失関数の偏り勾配といったdreの損失関数から生じる最適化の問題がある。 そこで本稿では,簡単な実装と安定な最適化を提供する$\alpha$-divergence loss関数($\alpha$-div)を提案する。 さらに,提案した損失関数の技術的正当性を示す。 提案した損失関数の安定性を実証的に検証し,DREタスクの推定精度を検討した。 さらに,提案した損失関数を用いたDREのサンプル要件を,高次元DREタスクにおける一般的な問題として次元性の呪いを結び付ける,$L_1$エラーの上限という観点から提示する。

関連論文リスト

• Bounds on $L_p$ Errors in Density Ratio Estimation via $f$-Divergence Loss Functions [0.0]
  密度比推定(DRE)は2つの確率分布の関係を同定する基礎的な機械学習手法である。 $f$-divergence損失関数は、$f$-divergenceの変分表現から派生したもので、DREで最先端の結果を達成するために一般的に使用される。 本研究では,$L_p$エラーの上下境界を導出することにより,$f$-divergence損失関数を用いたDREの新しい視点を示す。
  論文  参考訳（メタデータ） (2024-10-02T13:05:09Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Byzantine-resilient Federated Learning With Adaptivity to Data Heterogeneity [54.145730036889496]
  本稿では、ビザンツの悪意ある攻撃データの存在下でのグラディエント・ラーニング(FL)を扱う。 Average Algorithm (RAGA) が提案され、ロバストネスアグリゲーションを活用してデータセットを選択することができる。
  論文  参考訳（メタデータ） (2024-03-20T08:15:08Z)
• Decoupled Kullback-Leibler Divergence Loss [90.54331083430597]
  我々は、クルバック・リブラー(KL)の除算損失がデカップリングカルバック・リブラー(DKL)の除算損失と等価であることを証明した。 我々はKL/DKLにクラスワイドなグローバル情報を導入し、個々のサンプルからバイアスを取ります。 提案手法は,新たな最先端の対人ロバスト性を公衆のリーダーボード上で実現する。
  論文  参考訳（メタデータ） (2023-05-23T11:17:45Z)
• $\alpha$-divergence Improves the Entropy Production Estimation via Machine Learning [0.0]
  損失関数のホストが存在し、すなわち$alpha$-divergenceの変分表現を実装するものが存在することを示す。 1$から0$の値に$alpha$を固定することで、$alpha$-NEEPは強い非平衡駆動やスローダイナミクスに対してより堅牢な性能を示す。
  論文  参考訳（メタデータ） (2023-03-06T05:35:32Z)
• Provably Efficient Offline Reinforcement Learning with Trajectory-Wise Reward [66.81579829897392]
  我々はPessimistic vAlue iteRaTionとrEward Decomposition (PARTED)という新しいオフライン強化学習アルゴリズムを提案する。 PartEDは、最小2乗ベースの報酬再分配を通じて、ステップごとのプロキシ報酬に軌道を分解し、学習したプロキシ報酬に基づいて悲観的な値を実行する。 私たちの知る限りでは、PartEDは、トラジェクティブな報酬を持つ一般のMDPにおいて、証明可能な効率のよい最初のオフラインRLアルゴリズムである。
  論文  参考訳（メタデータ） (2022-06-13T19:11:22Z)
• Doubly Robust Distributionally Robust Off-Policy Evaluation and Learning [59.02006924867438]
  オフ政治評価と学習(OPE/L)は、オフラインの観察データを使用してより良い意思決定を行う。 近年の研究では、分散ロバストなOPE/L (DROPE/L) が提案されているが、この提案は逆正則重み付けに依存している。 KL分散不確実性集合を用いたDROPE/Lの最初のDRアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-02-19T20:00:44Z)
• Instance-optimality in optimal value estimation: Adaptivity via variance-reduced Q-learning [99.34907092347733]
  本稿では,マルコフ決定過程における最適な$Q$値関数を離散状態と動作で推定する問題を解析する。 局所的なミニマックスフレームワークを用いて、この関数は任意の推定手順の精度の低い境界に現れることを示す。 他方,Q$ラーニングの分散還元版を解析することにより,状態と行動空間の対数的要因まで,下位境界のシャープさを確立する。
  論文  参考訳（メタデータ） (2021-06-28T00:38:54Z)
• A surrogate loss function for optimization of $F_\beta$ score in binary classification with imbalanced data [0.0]
  提案されたサーロゲート$F_beta$損失関数の勾配パスは、$F_beta$スコアの大きなサンプル限界の勾配パスを近似する。 F_beta$損失関数はクラス不均衡下でのF_beta$スコアの最適化に有効であることを示す。
  論文  参考訳（メタデータ） (2021-04-03T18:36:23Z)
• $\sigma^2$R Loss: a Weighted Loss by Multiplicative Factors using Sigmoidal Functions [0.9569316316728905]
  我々は,二乗還元損失(sigma2$R損失)と呼ばれる新たな損失関数を導入する。 我々の損失は明らかな直観と幾何学的解釈を持ち、我々の提案の有効性を実験によって実証する。
  論文  参考訳（メタデータ） (2020-09-18T12:34:40Z)
• Least $k$th-Order and R\'{e}nyi Generative Adversarial Networks [12.13405065406781]
  実験結果から,MNISTデータセットとCelebAデータセットに適用した損失関数は,それぞれ$k$と$alpha$のパラメータによって提供される余分な自由度により,性能上のメリットが期待できることがわかった。 本研究は GAN に適用されているが,提案手法は汎用的であり,情報理論の他の応用例,例えば人工知能における公正性やプライバシの問題などに応用することができる。
  論文  参考訳（メタデータ） (2020-06-03T18:44:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。