Fugu-MT 論文翻訳(概要): Non-Negative Bregman Divergence Minimization for Deep Direct Density Ratio Estimation

論文の概要: Non-Negative Bregman Divergence Minimization for Deep Direct Density Ratio Estimation

arxiv url: http://arxiv.org/abs/2006.06979v3
Date: Sat, 17 Jul 2021 09:25:37 GMT
ステータス: 処理完了
システム内更新日: 2022-11-22 02:14:06.952464
Title: Non-Negative Bregman Divergence Minimization for Deep Direct Density Ratio Estimation
Title（参考訳）: 深部直接密度比推定のための非負のブレグマンダイバージェンス最小化
Authors: Masahiro Kato, Takeshi Teshima
Abstract要約: 実験的なBD推定器の非負の補正手法を提案する。提案手法は,不整合型外乱検出において良好な性能を示す。
参考スコア（独自算出の注目度）: 18.782750537161615
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Density ratio estimation (DRE) is at the core of various machine learning tasks such as anomaly detection and domain adaptation. In existing studies on DRE, methods based on Bregman divergence (BD) minimization have been extensively studied. However, BD minimization when applied with highly flexible models, such as deep neural networks, tends to suffer from what we call train-loss hacking, which is a source of overfitting caused by a typical characteristic of empirical BD estimators. In this paper, to mitigate train-loss hacking, we propose a non-negative correction for empirical BD estimators. Theoretically, we confirm the soundness of the proposed method through a generalization error bound. Through our experiments, the proposed methods show a favorable performance in inlier-based outlier detection.
Abstract（参考訳）: 密度比推定(DRE)は、異常検出やドメイン適応など、さまざまな機械学習タスクの中核にある。 DREに関する既存の研究では、Bregman divergence(BD)最小化に基づく手法が広く研究されている。しかしながら、ディープニューラルネットワークのような柔軟なモデルを適用する場合、BDの最小化は、経験的BD推定器の典型的な特徴によって引き起こされる過度な適合の原因であるトレインロスハッキング(Train-loss Hacking)と呼ばれる問題に悩まされる傾向にある。本稿では,列車ロスハッキングを緩和するために,経験的BD推定器の非負の補正を提案する。理論上,一般化誤差境界を用いて提案手法の健全性を確認する。実験により, 提案手法は不整合型外乱検出において良好な性能を示した。

関連論文リスト

On Training Implicit Meta-Learning With Applications to Inductive Weighing in Consistency Regularization [0.0]
暗黙的メタラーニング(IML)では、特にヘシアン(Hessian)の計算に2ドル(約2,200円)の勾配を必要とする。ヘッセンの様々な近似が提案されたが、計算コスト、安定性、解の一般化、推定精度の体系的な比較はほとんど見過ごされてしまった。本稿では,ドメイン固有の特徴を抽出するために,信頼ネットワークをトレーニングすることで,有用画像のアップウェイトや配布外サンプルのダウンウェイトを学べることを示す。
論文参考訳（メタデータ） (2023-10-28T15:50:03Z)
Adaptive learning of density ratios in RKHS [3.047411947074805]
有限個の観測から2つの確率密度の比を推定することは、機械学習と統計学における中心的な問題である。我々は、再生カーネルヒルベルト空間における真の密度比とモデルの間の正規化ブレグマン偏差を最小化する大規模な密度比推定法を分析する。
論文参考訳（メタデータ） (2023-07-30T08:18:39Z)
Convergence of uncertainty estimates in Ensemble and Bayesian sparse model discovery [4.446017969073817]
ブートストラップに基づく逐次しきい値最小二乗推定器による雑音に対する精度と頑健性の観点から経験的成功を示す。このブートストラップに基づくアンサンブル手法は,誤差率の指数収束率で,確率的に正しい可変選択を行うことができることを示す。
論文参考訳（メタデータ） (2023-01-30T04:07:59Z)
On double-descent in uncertainty quantification in overparametrized models [24.073221004661427]
不確かさの定量化は、信頼性と信頼性のある機械学習における中心的な課題である。最適正規化推定器のキャリブレーション曲線において, 分類精度とキャリブレーションのトレードオフを示す。これは経験的ベイズ法とは対照的であり、高次一般化誤差と過度パラメトリゼーションにもかかわらず、我々の設定では十分に校正されていることを示す。
論文参考訳（メタデータ） (2022-10-23T16:01:08Z)
Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文参考訳（メタデータ） (2022-04-13T12:43:12Z)
Doubly Robust Collaborative Targeted Learning for Recommendation on Data Missing Not at Random [6.563595953273317]
推薦システムでは、受信したフィードバックデータが常にランダムではない(MNAR)。本稿では,エラー計算(EIB)法と二重頑健(DR)法の両方の利点を効果的に捉えるbf DR-TMLEを提案する。我々はまた、bf DR-TMLE-TLと呼ばれるDR-TMLEのための新しいRCT非協調目標学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2022-03-19T06:48:50Z)
Learning to Estimate Without Bias [57.82628598276623]
ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
論文参考訳（メタデータ） (2021-10-24T10:23:51Z)
Imputation-Free Learning from Incomplete Observations [73.15386629370111]
本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
論文参考訳（メタデータ） (2021-07-05T12:44:39Z)
On the Practicality of Deterministic Epistemic Uncertainty [106.06571981780591]
決定論的不確実性法(DUM)は,分布外データの検出において高い性能を達成する。 DUMが十分に校正されており、現実のアプリケーションにシームレスにスケールできるかどうかは不明だ。
論文参考訳（メタデータ） (2021-07-01T17:59:07Z)
Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
論文参考訳（メタデータ） (2021-06-07T17:47:16Z)
Adversarial Distributional Training for Robust Deep Learning [53.300984501078126]
逆行訓練(AT)は、逆行例によるトレーニングデータを増やすことにより、モデルロバスト性を改善する最も効果的な手法の一つである。既存のAT手法の多くは、敵の例を作らせるために特定の攻撃を採用しており、他の目に見えない攻撃に対する信頼性の低い堅牢性につながっている。本稿では,ロバストモデル学習のための新しいフレームワークであるADTを紹介する。
論文参考訳（メタデータ） (2020-02-14T12:36:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。