論文の概要: Achievable distributional robustness when the robust risk is only partially identified

• arxiv url: http://arxiv.org/abs/2502.02710v1
• Date: Tue, 04 Feb 2025 20:42:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:28:52.700153
• Title: Achievable distributional robustness when the robust risk is only partially identified
• Title（参考訳）: 頑健なリスクが部分的にのみ特定される場合の達成可能な分布ロバスト性
• Authors: Julia Kostin, Nicola Gnecco, Fanny Yang,
• Abstract要約: 安全クリティカルなアプリケーションでは、機械学習モデルは最悪の分散シフトの下でうまく一般化すべきである。 我々は、識別可能性に関係なく常に明確に定義された、ロバスト性の新しい尺度として、最悪のロバストリスクを導入します。 まず, 既存のロバストネス法が部分的に同定可能な場合において, 確実に準最適であることを示す。
• 参考スコア（独自算出の注目度）: 8.192907805418583
• License:
• Abstract: In safety-critical applications, machine learning models should generalize well under worst-case distribution shifts, that is, have a small robust risk. Invariance-based algorithms can provably take advantage of structural assumptions on the shifts when the training distributions are heterogeneous enough to identify the robust risk. However, in practice, such identifiability conditions are rarely satisfied -- a scenario so far underexplored in the theoretical literature. In this paper, we aim to fill the gap and propose to study the more general setting when the robust risk is only partially identifiable. In particular, we introduce the worst-case robust risk as a new measure of robustness that is always well-defined regardless of identifiability. Its minimum corresponds to an algorithm-independent (population) minimax quantity that measures the best achievable robustness under partial identifiability. While these concepts can be defined more broadly, in this paper we introduce and derive them explicitly for a linear model for concreteness of the presentation. First, we show that existing robustness methods are provably suboptimal in the partially identifiable case. We then evaluate these methods and the minimizer of the (empirical) worst-case robust risk on real-world gene expression data and find a similar trend: the test error of existing robustness methods grows increasingly suboptimal as the fraction of data from unseen environments increases, whereas accounting for partial identifiability allows for better generalization.
• Abstract（参考訳）: 安全クリティカルなアプリケーションでは、機械学習モデルは最悪の分散シフト、すなわち小さなロバストリスクの下でうまく一般化すべきである。 不変性に基づくアルゴリズムは、トレーニング分布が頑健なリスクを特定するのに十分不均一である場合、シフトに関する構造的仮定を確実に活用することができる。 しかし、実際にはそのような同一性条件が満たされることはめったにない。 本稿では,このギャップを埋めることを目的として,ロバストリスクが部分的にのみ識別可能である場合に,より一般的な設定を検討することを提案する。 特に、識別可能性に関係なく常に明確に定義されている、ロバスト性の新しい尺度として、最悪の場合のロバストリスクを導入します。 最小限はアルゴリズムに依存しない(人口)ミニマックスの量で、部分的識別性の下で達成可能な最良のロバスト性を測定する。 これらの概念はより広範に定義できるが、本論文では、プレゼンテーションの具体性のための線形モデルとして、これらの概念を明示的に導入し、導出する。 まず, 既存のロバストネス法が部分的に同定可能な場合において, 確実に準最適であることを示す。 次に、これらの手法と、実世界の遺伝子発現データに対する(経験的)最悪のロバストリスクの最小化を評価し、同様の傾向を見出した。

関連論文リスト

• Learning from Noisy Labels via Conditional Distributionally Robust Optimization [5.85767711644773]
  クラウドソーシングは、大規模なデータセットをラベル付けするための実用的なソリューションとして現れました。 これは、様々なレベルの専門知識を持つアノテータからのノイズの多いラベルによって、正確なモデルを学習する上で大きな課題となる。
  論文  参考訳（メタデータ） (2024-11-26T05:03:26Z)
• Mitigating optimistic bias in entropic risk estimation and optimization with an application to insurance [5.407319151576265]
  エントロピーリスク尺度は、不確実な損失に関連する尾のリスクを説明するために広く使用されている。 経験的エントロピーリスク推定器のバイアスを軽減するために, 強く一貫したブートストラップ手法を提案する。 当社の手法は、住宅所有者に対してより高い(そしてより正確な)プレミアムを示唆している。
  論文  参考訳（メタデータ） (2024-09-30T04:02:52Z)
• Domain Generalization without Excess Empirical Risk [83.26052467843725]
  一般的なアプローチは、一般化を捉え、ペナルティと共同で経験的リスクを最小化するために、データ駆動の代理ペナルティを設計することである。 我々は、このレシピの重大な失敗モードは、共同最適化における誤ったペナルティや難しさによる過度なリスクであると主張している。 我々は,この問題を解消するアプローチを提案し,経験的リスクと刑罰を同時に最小化する代わりに,経験的リスクの最適性の制約の下でのペナルティを最小化する。
  論文  参考訳（メタデータ） (2023-08-30T08:46:46Z)
• Capsa: A Unified Framework for Quantifying Risk in Deep Neural Networks [142.67349734180445]
  ディープニューラルネットワークにリスク認識を提供する既存のアルゴリズムは複雑でアドホックである。 ここでは、リスク認識でモデルを拡張するためのフレームワークであるcapsaを紹介します。
  論文  参考訳（メタデータ） (2023-08-01T02:07:47Z)
• On the Variance, Admissibility, and Stability of Empirical Risk Minimization [80.26309576810844]
  2乗損失を持つ経験的リスク最小化(ERM)は、極小最適誤差率に達する可能性がある。 軽微な仮定では、ERMの準最適性はばらつきよりも大きなバイアスによるものでなければならない。 また、我々の推定は、非ドンスカー類に対するCaponnetto と Rakhlin (2006) の主な結果を補完する ERM の安定性を示唆している。
  論文  参考訳（メタデータ） (2023-05-29T15:25:48Z)
• Mitigating multiple descents: A model-agnostic framework for risk monotonization [84.6382406922369]
  クロスバリデーションに基づくリスクモノトナイズのための一般的なフレームワークを開発する。 本稿では,データ駆動方式であるゼロステップとワンステップの2つの手法を提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:41:40Z)
• The Risks of Invariant Risk Minimization [52.7137956951533]
  不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。 我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。 IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
  論文  参考訳（メタデータ） (2020-10-12T14:54:32Z)
• Optimal Best-Arm Identification Methods for Tail-Risk Measures [9.128264779870538]
  条件付きバリュー・アット・リスク(CVaR)とバリュー・アット・リスク(VaR)は金融や保険業界で人気のあるテール・アット・リスク対策である。 CVaR, VaR, CVaRの最小値の平均は, CVaR, VaR, CVaRの最小値の平均である。
  論文  参考訳（メタデータ） (2020-08-17T20:23:24Z)
• A One-step Approach to Covariate Shift Adaptation [82.01909503235385]
  多くの機械学習シナリオにおけるデフォルトの前提は、トレーニングとテストサンプルは同じ確率分布から引き出されることである。 予測モデルと関連する重みを1つの最適化で共同で学習する新しいワンステップアプローチを提案する。
  論文  参考訳（メタデータ） (2020-07-08T11:35:47Z)
• Asymptotic normality of robust risk minimizers [2.0432586732993374]
  本稿では,古典的経験的リスクのロバストな類似と見なせるアルゴリズムの特性について検討する。 幅広いパラメトリック問題に対して、適切に定義されたリスクのロバストプロキシの最小化は、同じ速度で真のリスクの最小化に収束することを示す。
  論文  参考訳（メタデータ） (2020-04-05T22:03:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。