論文の概要: Decision-Focused Evaluation of Worst-Case Distribution Shift

• arxiv url: http://arxiv.org/abs/2407.03557v1
• Date: Thu, 4 Jul 2024 01:00:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-08 19:41:16.649290
• Title: Decision-Focused Evaluation of Worst-Case Distribution Shift
• Title（参考訳）: ワーストケース分布シフトの意思決定による評価
• Authors: Kevin Ren, Yewon Byun, Bryan Wilder,
• Abstract要約: 本稿では,予測資源割り当て設定における最悪の分散シフトを特定するための新しいフレームワークを提案する。 本稿では,この問題を部分モジュラー最適化問題として再定義し,最悪の場合の損失を効率的に近似できることを示す。 実データに私たちのフレームワークを適用すると、あるメトリクスによって識別される最悪のケースシフトが、他のメトリクスによって識別される最悪のケース分布と著しく異なるという経験的な証拠が得られます。
• 参考スコア（独自算出の注目度）: 18.98504221245623
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distribution shift is a key challenge for predictive models in practice, creating the need to identify potentially harmful shifts in advance of deployment. Existing work typically defines these worst-case shifts as ones that most degrade the individual-level accuracy of the model. However, when models are used to make a downstream population-level decision like the allocation of a scarce resource, individual-level accuracy may be a poor proxy for performance on the task at hand. We introduce a novel framework that employs a hierarchical model structure to identify worst-case distribution shifts in predictive resource allocation settings by capturing shifts both within and across instances of the decision problem. This task is more difficult than in standard distribution shift settings due to combinatorial interactions, where decisions depend on the joint presence of individuals in the allocation task. We show that the problem can be reformulated as a submodular optimization problem, enabling efficient approximations of worst-case loss. Applying our framework to real data, we find empirical evidence that worst-case shifts identified by one metric often significantly diverge from worst-case distributions identified by other metrics.
• Abstract（参考訳）: 分散シフトは、実際には予測モデルにとって重要な課題であり、デプロイメントに先立って潜在的に有害なシフトを特定する必要がある。 既存の作業は通常、これらの最悪のケースシフトを、モデルの個々のレベルの精度を最も低下させるものとして定義する。 しかし、少ないリソースの割り当てのような下流の人口レベルの決定にモデルが使用される場合、個々のレベルの精度は、そのタスクにおけるパフォーマンスの指標として不十分である可能性がある。 本稿では、階層的なモデル構造を用いて、決定問題のインスタンス内およびインスタンス間のシフトをキャプチャすることで、予測資源割り当て設定における最悪のケース分散シフトを識別する新しいフレームワークを提案する。 このタスクは、割り当てタスクにおける個人の共同存在に依存した、組合せ相互作用による標準的な分散シフト設定よりも難しい。 本稿では,この問題を部分モジュラー最適化問題として再定義し,最悪の場合の損失を効率的に近似できることを示す。 実データに私たちのフレームワークを適用すると、あるメトリクスによって識別される最悪のケースシフトが、他のメトリクスによって識別される最悪のケース分布と著しく異なるという経験的な証拠が得られます。

関連論文リスト

• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Distributionally Robust Post-hoc Classifiers under Prior Shifts [31.237674771958165]
  本研究では,クラスプライヤやグループプライヤの分布の変化による変化に頑健なトレーニングモデルの問題点について検討する。 本稿では,事前学習モデルからの予測に対するスケーリング調整を行う,非常に軽量なポストホック手法を提案する。
  論文  参考訳（メタデータ） (2023-09-16T00:54:57Z)
• Modeling the Q-Diversity in a Min-max Play Game for Robust Optimization [61.39201891894024]
  群分布的ロバスト最適化(群 DRO)は、事前定義された群に対する最悪の損失を最小限にすることができる。 グループDROフレームワークをQ-Diversityを提案して再構築する。 インタラクティブなトレーニングモードによって特徴付けられるQ-Diversityは、アノテーションからグループ識別を緩和し、直接パラメータ化を行う。
  論文  参考訳（メタデータ） (2023-05-20T07:02:27Z)
• Evaluating Robustness and Uncertainty of Graph Models Under Structural Distributional Shifts [43.40315460712298]
  グラフ学習におけるノードレベルの問題では、分散シフトは特に複雑である。 本稿では,グラフ構造に基づく分布変化の一般化手法を提案する。 単純なモデルは、考慮された構造的シフトにおいて、より洗練された手法よりも優れていることがよく示される。
  論文  参考訳（メタデータ） (2023-02-27T15:25:21Z)
• Evaluating Robustness to Dataset Shift via Parametric Robustness Sets [7.347989843033034]
  モデル性能に大きな違いをもたらす分布の変化を積極的に同定する手法を提案する。 画像から性別を分類する手法を適用し,非因果属性の変化に対する感受性を明らかにする。
  論文  参考訳（メタデータ） (2022-05-31T16:44:18Z)
• Beyond Discriminant Patterns: On the Robustness of Decision Rule Ensembles [22.57678894050416]
  局所的な決定規則は、関連するパターンの局所的な性質のため、より説明しやすいと一般的に理解されている。 トレーニング環境とデプロイメント環境の両方において堅牢なローカルな意思決定ルールを学習し,アンサンブルするための新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-09-21T20:50:10Z)
• Predicting with Confidence on Unseen Distributions [90.68414180153897]
  ドメイン適応と予測不確実性文学を結びつけて、挑戦的な未知分布のモデル精度を予測する。 分類器の予測における信頼度(DoC)の差は,様々な変化に対して,分類器の性能変化を推定することに成功した。 具体的には, 合成分布と自然分布の区別について検討し, その単純さにもかかわらず, DoCは分布差の定量化に優れることを示した。
  論文  参考訳（メタデータ） (2021-07-07T15:50:18Z)
• Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
  我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。 入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。 分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-14T05:39:09Z)
• Causally-motivated Shortcut Removal Using Auxiliary Labels [63.686580185674195]
  このようなリスク不変予測器の学習に重要な課題はショートカット学習である。 この課題に対処するために、フレキシブルで因果的なアプローチを提案する。 この因果的動機付けされた正規化スキームが堅牢な予測子を生み出すことを理論的および実証的に示す。
  論文  参考訳（メタデータ） (2021-05-13T16:58:45Z)
• Estimating Generalization under Distribution Shifts via Domain-Invariant Representations [75.74928159249225]
  未知の真のターゲットラベルのプロキシとして、ドメイン不変の予測器のセットを使用します。 結果として生じるリスク見積の誤差は、プロキシモデルのターゲットリスクに依存する。
  論文  参考訳（メタデータ） (2020-07-06T17:21:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。