論文の概要: Tilted Empirical Risk Minimization

• arxiv url: http://arxiv.org/abs/2007.01162v2
• Date: Wed, 17 Mar 2021 16:34:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-14 13:52:38.715577
• Title: Tilted Empirical Risk Minimization
• Title（参考訳）: 試作品のリスク最小化
• Authors: Tian Li, Ahmad Beirami, Maziar Sanjabi, Virginia Smith
• Abstract要約: 経験的リスク最小化への直接的な拡張を通じて、個人の損失の影響を柔軟に調整できることを示す。 その結果, TERMはアウトリーチの影響を増大または減少させ, 公平性や堅牢性を実現することができることがわかった。 また、外れ値に同時に対処したり、公平性を促進するなど、全く新しいアプリケーションを可能にすることもできる。
• 参考スコア（独自算出の注目度）: 26.87656095874882
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Empirical risk minimization (ERM) is typically designed to perform well on the average loss, which can result in estimators that are sensitive to outliers, generalize poorly, or treat subgroups unfairly. While many methods aim to address these problems individually, in this work, we explore them through a unified framework -- tilted empirical risk minimization (TERM). In particular, we show that it is possible to flexibly tune the impact of individual losses through a straightforward extension to ERM using a hyperparameter called the tilt. We provide several interpretations of the resulting framework: We show that TERM can increase or decrease the influence of outliers, respectively, to enable fairness or robustness; has variance-reduction properties that can benefit generalization; and can be viewed as a smooth approximation to a superquantile method. We develop batch and stochastic first-order optimization methods for solving TERM, and show that the problem can be efficiently solved relative to common alternatives. Finally, we demonstrate that TERM can be used for a multitude of applications, such as enforcing fairness between subgroups, mitigating the effect of outliers, and handling class imbalance. TERM is not only competitive with existing solutions tailored to these individual problems, but can also enable entirely new applications, such as simultaneously addressing outliers and promoting fairness.
• Abstract（参考訳）: 経験的リスク最小化(ERM: Empirical Risk Minimization)は、通常、平均的な損失に対して良好に機能するよう設計されており、アウトレーヤに敏感な推定器、不適切な一般化、またはサブグループを不公平に扱うことができる。 多くの手法が個別にこれらの問題に対処することを目指しているが、本研究ではそれらを統合されたフレームワーク、傾いた経験的リスク最小化(TERM)を通して探索する。 特に,傾きと呼ばれるハイパーパラメータを用いてermへ直接拡張することで,個々の損失の影響を柔軟に調整できることを示す。 我々は, TERMがそれぞれ, フェアネスやロバストネスを実現するために, 外れ値の影響を増大あるいは減少させることができること, 一般化に寄与する分散還元特性を有すること, スーパークエンタイル法に対するスムーズな近似とみなすことができること, などの解釈を提示する。 本稿では,TERMを解くためのバッチおよび確率的一階最適化手法を開発し,その問題を一般的な方法と比較して効率的に解けることを示す。 最後に、TERMは、サブグループ間の公平性を強制したり、アウトレーヤの効果を緩和したり、クラス不均衡を処理するなど、様々な用途に利用できることを示す。 TERMは、これらの個々の問題に適した既存のソリューションと競合するだけでなく、外れ値の対応や公平性の促進など、全く新しいアプリケーションを実現することもできる。

関連論文リスト

• Enlarging Feature Support Overlap for Domain Generalization [9.227839292188346]
  不変リスク最小化(IRM)は、不変機能を学び、異なるドメインにわたるリスクを最小限にすることでこの問題に対処する。 本稿では,ドメイン一般化のための機能サポートオーバーラップを拡大する新しい手法を提案する。 具体的には、サンプルの多様性を高め、IRMの欠如を克服するためにベイズランダムデータ拡張を導入する。
  論文  参考訳（メタデータ） (2024-07-08T09:16:42Z)
• Domain Generalization without Excess Empirical Risk [83.26052467843725]
  一般的なアプローチは、一般化を捉え、ペナルティと共同で経験的リスクを最小化するために、データ駆動の代理ペナルティを設計することである。 我々は、このレシピの重大な失敗モードは、共同最適化における誤ったペナルティや難しさによる過度なリスクであると主張している。 我々は,この問題を解消するアプローチを提案し,経験的リスクと刑罰を同時に最小化する代わりに,経験的リスクの最適性の制約の下でのペナルティを最小化する。
  論文  参考訳（メタデータ） (2023-08-30T08:46:46Z)
• On the Variance, Admissibility, and Stability of Empirical Risk Minimization [80.26309576810844]
  2乗損失を持つ経験的リスク最小化(ERM)は、極小最適誤差率に達する可能性がある。 軽微な仮定では、ERMの準最適性はばらつきよりも大きなバイアスによるものでなければならない。 また、我々の推定は、非ドンスカー類に対するCaponnetto と Rakhlin (2006) の主な結果を補完する ERM の安定性を示唆している。
  論文  参考訳（メタデータ） (2023-05-29T15:25:48Z)
• Modeling the Q-Diversity in a Min-max Play Game for Robust Optimization [61.39201891894024]
  群分布的ロバスト最適化(群 DRO)は、事前定義された群に対する最悪の損失を最小限にすることができる。 グループDROフレームワークをQ-Diversityを提案して再構築する。 インタラクティブなトレーニングモードによって特徴付けられるQ-Diversityは、アノテーションからグループ識別を緩和し、直接パラメータ化を行う。
  論文  参考訳（メタデータ） (2023-05-20T07:02:27Z)
• Pareto Invariant Risk Minimization [32.01775861630696]
  我々は、パレート不変リスク最小化(PAIR)と呼ばれる、不変リスク最小化(IRM)のための新しい最適化手法を提案する。 適切なガイダンスが提供されると、PAIRは実際のIRMのバリアを克服して、本来のIRMによる障壁を克服できることを示す。
  論文  参考訳（メタデータ） (2022-06-15T19:04:02Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• On Tilted Losses in Machine Learning: Theory and Applications [26.87656095874882]
  指数傾き(英: Exponential tilting)は、統計学、確率、情報理論、最適化などの分野で一般的に用いられる技法である。 本研究では、指数傾斜を用いて個人損失の影響を柔軟に調整するEMMへの簡単な拡張について検討する。 フレームワークはEMMを一貫して上回り、最先端の、問題固有のアプローチと競合するパフォーマンスを提供できることが分かりました。
  論文  参考訳（メタデータ） (2021-09-13T17:33:42Z)
• KL Guided Domain Adaptation [88.19298405363452]
  ドメイン適応は重要な問題であり、現実世界のアプリケーションにしばしば必要である。 ドメイン適応文学における一般的なアプローチは、ソースとターゲットドメインに同じ分布を持つ入力の表現を学ぶことである。 確率的表現ネットワークにより、KL項はミニバッチサンプルにより効率的に推定できることを示す。
  論文  参考訳（メタデータ） (2021-06-14T22:24:23Z)
• An Online Learning Approach to Interpolation and Extrapolation in Domain Generalization [53.592597682854944]
  リスクを最小化するプレイヤーと新しいテストを示す敵の間のオンラインゲームとしてサブグループの一般化を再放送する。 両課題に対してERMは極小最適であることを示す。
  論文  参考訳（メタデータ） (2021-02-25T19:06:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。