Fugu-MT 論文翻訳(概要): Criterion collapse and loss distribution control

論文の概要: Criterion collapse and loss distribution control

arxiv url: http://arxiv.org/abs/2402.09802v1
Date: Thu, 15 Feb 2024 08:58:58 GMT
ステータス: 処理完了
システム内更新日: 2024-02-16 16:15:41.376787
Title: Criterion collapse and loss distribution control
Title（参考訳）: 基準崩壊と損失分布制御
Authors: Matthew J. Holland
Abstract要約: 我々は、ある計量の最適化が別の計量の最適性を暗示する「基準崩壊」の概念を考える。我々は、ベルヌーイ分布による損失の文脈における崩壊が、CVaRとDROの既存の結果よりもはるかに多く、その上で、損失を代理する範囲を広げていることを示す。
参考スコア（独自算出の注目度）: 8.666172545138275
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this work, we consider the notion of "criterion collapse," in which optimization of one metric implies optimality in another, with a particular focus on conditions for collapse into error probability minimizers under a wide variety of learning criteria, ranging from DRO and OCE risks (CVaR, tilted ERM) to non-monotonic criteria underlying recent ascent-descent algorithms explored in the literature (Flooding, SoftAD). We show how collapse in the context of losses with a Bernoulli distribution goes far beyond existing results for CVaR and DRO, then expand our scope to include surrogate losses, showing conditions where monotonic criteria such as tilted ERM cannot avoid collapse, whereas non-monotonic alternatives can.
Abstract（参考訳）: 本研究では,DRO と OCE リスク (CVaR, 傾倒ERM) から,最近の文献(Flooding, SoftAD) で探索された漸近的アルゴリズム(Flooding, SoftAD) の根底にある非単調な基準まで,多岐にわたる学習基準下での誤り確率最小化条件に着目し,ある指標の最適化が他の指標の最適性を示唆する「基準崩壊」の概念を考察する。ベルヌーイ分布による損失の文脈における崩壊が、cvarとdroの既存の結果よりもはるかに大きいことを示し、その後、超越的損失を含む範囲を拡大し、傾斜したermのような単調な基準が崩壊を防げない条件を示す。

関連論文リスト

Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
論文参考訳（メタデータ） (2023-12-07T15:55:58Z)
On the Variance, Admissibility, and Stability of Empirical Risk Minimization [80.26309576810844]
2乗損失を持つ経験的リスク最小化(ERM)は、極小最適誤差率に達する可能性がある。軽微な仮定では、ERMの準最適性はばらつきよりも大きなバイアスによるものでなければならない。また、我々の推定は、非ドンスカー類に対するCaponnetto と Rakhlin (2006) の主な結果を補完する ERM の安定性を示唆している。
論文参考訳（メタデータ） (2023-05-29T15:25:48Z)
Modeling the Q-Diversity in a Min-max Play Game for Robust Optimization [61.39201891894024]
群分布的ロバスト最適化(群 DRO)は、事前定義された群に対する最悪の損失を最小限にすることができる。グループDROフレームワークをQ-Diversityを提案して再構築する。インタラクティブなトレーニングモードによって特徴付けられるQ-Diversityは、アノテーションからグループ識別を緩和し、直接パラメータ化を行う。
論文参考訳（メタデータ） (2023-05-20T07:02:27Z)
A Local Convergence Theory for the Stochastic Gradient Descent Method in Non-Convex Optimization With Non-isolated Local Minima [0.0]
非孤立ミニマは、未探索のままのユニークな挑戦を示す。本稿では, 勾配降下法の非溶解大域ミニマへの局所収束について検討する。
論文参考訳（メタデータ） (2022-03-21T13:33:37Z)
Label Distributionally Robust Losses for Multi-class Classification: Consistency, Robustness and Adaptivity [55.29408396918968]
多クラス分類のためのラベル分布ロバスト(LDR)損失という損失関数群について検討した。我々の貢献は、多クラス分類のためのLDR損失のトップ$kの一貫性を確立することによって、一貫性と堅牢性の両方を含んでいる。本稿では,各インスタンスのクラスラベルの雑音度に個別化温度パラメータを自動的に適応させる適応型LDR損失を提案する。
論文参考訳（メタデータ） (2021-12-30T00:27:30Z)
Selective Regression Under Fairness Criteria [30.672082160544996]
少数派集団のパフォーマンスは、カバー範囲を減らしながら低下する場合もある。満足度基準を満たす特徴を構築できれば、そのような望ましくない行動は避けられることを示す。
論文参考訳（メタデータ） (2021-10-28T19:05:12Z)
On Tilted Losses in Machine Learning: Theory and Applications [26.87656095874882]
指数傾き(英: Exponential tilting)は、統計学、確率、情報理論、最適化などの分野で一般的に用いられる技法である。本研究では、指数傾斜を用いて個人損失の影響を柔軟に調整するEMMへの簡単な拡張について検討する。フレームワークはEMMを一貫して上回り、最先端の、問題固有のアプローチと競合するパフォーマンスを提供できることが分かりました。
論文参考訳（メタデータ） (2021-09-13T17:33:42Z)
The Risks of Invariant Risk Minimization [52.7137956951533]
不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。 IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
論文参考訳（メタデータ） (2020-10-12T14:54:32Z)
On Lower Bounds for Standard and Robust Gaussian Process Bandit Optimization [55.937424268654645]
有界ノルムを持つ関数のブラックボックス最適化問題に対するアルゴリズム非依存な下界を考える。本稿では, 単純さ, 汎用性, エラー確率への依存性の向上など, 後悔の下位境界を導出するための新しい証明手法を提案する。
論文参考訳（メタデータ） (2020-08-20T03:48:14Z)
Adversarial Classification via Distributional Robustness with Wasserstein Ambiguity [12.576828231302134]
ワッサーシュタインの曖昧さの下では、モデルは誤分類のリスクを最小限にすることを目的としている。この分類の非整合性にもかかわらず、標準降下法はこの問題に対して収束しているように見える。
論文参考訳（メタデータ） (2020-05-28T07:28:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。