論文の概要: Binary Losses for Density Ratio Estimation

• arxiv url: http://arxiv.org/abs/2407.01371v3
• Date: Mon, 27 Jan 2025 08:58:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:52:36.860165
• Title: Binary Losses for Density Ratio Estimation
• Title（参考訳）: 密度比推定のための二項損失
• Authors: Werner Zellinger,
• Abstract要約: 有限個の観測値から2つの確率密度の比を推定することは、中央の機械学習問題である。 本研究では, 誤差の小さい密度比推定器が生じる損失関数を特徴付ける。 本研究では,大きな密度比値の正確な推定を優先するような,特定の特性を持つ損失関数を構成するための簡単なレシピを得る。
• 参考スコア（独自算出の注目度）: 2.512309434783062
• License:
• Abstract: Estimating the ratio of two probability densities from a finite number of observations is a central machine learning problem. A common approach is to construct estimators using binary classifiers that distinguish observations from the two densities. However, the accuracy of these estimators depends on the choice of the binary loss function, raising the question of which loss function to choose based on desired error properties. For example, traditional loss functions, such as logistic or boosting loss, prioritize accurate estimation of small density ratio values over large ones, even though the latter are more critical in many applications. In this work, we start with prescribed error measures in a class of Bregman divergences and characterize all loss functions that result in density ratio estimators with small error. Our characterization extends results on composite binary losses from (Reid & Williamson, 2010) and their connection to density ratio estimation as identified by (Menon & Ong, 2016). As a result, we obtain a simple recipe for constructing loss functions with certain properties, such as those that prioritize an accurate estimation of large density ratio values. Our novel loss functions outperform related approaches for resolving parameter choice issues of 11 deep domain adaptation algorithms in average performance across 484 real-world tasks including sensor signals, texts, and images.
• Abstract（参考訳）: 有限個の観測値から2つの確率密度の比を推定することは、中央の機械学習問題である。 一般的なアプローチは、二つの密度の観測を区別する二項分類器を用いて推定器を構築することである。 しかし、これらの推定器の精度は二項損失関数の選択に依存するため、所望の誤差特性に基づいてどの損失関数を選択するかという疑問が提起される。 例えば、ロジスティックやブースティング損失のような伝統的な損失関数は、多くのアプリケーションにおいて後者がより重要であるにもかかわらず、大きなものよりも小さな密度比値の正確な推定を優先する。 本稿では,ブレグマン発散のクラスにおける所定の誤差測定から始め,誤差の少ない密度比推定器となるすべての損失関数を特徴づける。 本稿では,Reid & Williamson, 2010) と密度比推定(Menon & Ong, 2016) の複合二乗損失について検討した。 その結果,大きな密度比値の正確な推定を優先するような,特定の特性を持つ損失関数を構成するための簡単なレシピが得られた。 センサ信号,テキスト,画像を含む484の現実的タスクにおいて,11の深部ドメイン適応アルゴリズムのパラメータ選択問題を平均的性能で解くための新しい損失関数は,パラメータ選択問題を解くための関連する手法よりも優れていた。

関連論文リスト

• Semiparametric conformal prediction [79.6147286161434]
  リスクに敏感なアプリケーションは、複数の、潜在的に相関したターゲット変数に対して、よく校正された予測セットを必要とする。 スコアをランダムなベクトルとして扱い、それらの連接関係構造を考慮した予測セットを構築することを目的とする。 実世界のレグレッション問題に対して,所望のカバレッジと競争効率について報告する。
  論文  参考訳（メタデータ） (2024-11-04T14:29:02Z)
• Robust Non-parametric Knowledge-based Diffusion Least Mean Squares over Adaptive Networks [12.266804067030455]
  提案アルゴリズムは, 協調推定器群における未知パラメータベクトルのロバストな推定に導かれる。 その結果,異なるノイズの種類が存在する場合,提案アルゴリズムのロバスト性を示す。
  論文  参考訳（メタデータ） (2023-12-03T06:18:59Z)
• Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
  実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。 本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
  論文  参考訳（メタデータ） (2023-06-13T01:18:16Z)
• Asymptotic Characterisation of Robust Empirical Risk Minimisation Performance in the Presence of Outliers [18.455890316339595]
  我々は,次元$d$とデータ点数$n$が固定比$alpha=n/d$で分岐した場合,高次元の線形回帰について検討し,出力率を含むデータモデルについて検討する。 我々は、$ell$-regularized $ell$, $ell_$, Huber損失を用いて、経験的リスク最小化(ERM)のパフォーマンスの正確性を提供する。
  論文  参考訳（メタデータ） (2023-05-30T12:18:39Z)
• Nonparametric Probabilistic Regression with Coarse Learners [1.8275108630751844]
  我々は, 密度の形状や形状について最小限の仮定で, 正確な条件密度を計算することができることを示す。 このアプローチをさまざまなデータセットで実証し、特に大きなデータセットで競合性能を示す。
  論文  参考訳（メタデータ） (2022-10-28T16:25:26Z)
• Meta Learning Low Rank Covariance Factors for Energy-Based Deterministic Uncertainty [58.144520501201995]
  ニューラルネットワーク層のBi-Lipschitz正規化は、各レイヤの特徴空間におけるデータインスタンス間の相対距離を保存する。 注意セットエンコーダを用いて,タスク固有の共分散行列を効率的に構築するために,対角的,対角的,低ランクな要素のメタ学習を提案する。 また,最終的な予測分布を達成するために,スケールしたエネルギーを利用する推論手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T22:04:19Z)
• Featurized Density Ratio Estimation [82.40706152910292]
  本研究では,2つの分布を推定前の共通特徴空間にマッピングするために,可逆生成モデルを活用することを提案する。 この偉業化は、学習された入力空間の密度比が任意に不正確な場合、潜在空間において密度が密接な関係をもたらす。 同時に、特徴写像の可逆性は、特徴空間で計算された比が入力空間で計算された比と同値であることを保証する。
  論文  参考訳（メタデータ） (2021-07-05T18:30:26Z)
• Learning Optical Flow from a Few Matches [67.83633948984954]
  密な相関体積表現は冗長であり、その中の要素のほんの一部で正確なフロー推定が達成できることを示した。 実験により,高い精度を維持しつつ計算コストとメモリ使用量を大幅に削減できることを示した。
  論文  参考訳（メタデータ） (2021-04-05T21:44:00Z)
• Optimized Loss Functions for Object detection: A Case Study on Nighttime Vehicle Detection [0.0]
  本稿では,2つの損失関数を同時に分類と局所化に最適化する。 本研究は, 正試料の局在化精度向上のためにのみ相関が適用されている既存研究と比較して, 相関を利用して真に硬い負試料を得る。 MIoUと呼ばれる新しい局所化損失は、予測ボックスとターゲットボックスの間のマハラノビス距離を組み込むことで、DIoU損失の勾配の不整合を解消する。
  論文  参考訳（メタデータ） (2020-11-11T03:00:49Z)
• Evaluating representations by the complexity of learning low-loss predictors [55.94170724668857]
  下流タスクの解決に使用されるデータの表現を評価することの問題点を考察する。 本稿では,関心のあるタスクにおける低損失を実現する表現の上に,予測器を学習する複雑性によって表現の質を測定することを提案する。
  論文  参考訳（メタデータ） (2020-09-15T22:06:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。