論文の概要: Causally-motivated Shortcut Removal Using Auxiliary Labels

• arxiv url: http://arxiv.org/abs/2105.06422v1
• Date: Thu, 13 May 2021 16:58:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-14 13:51:22.478103
• Title: Causally-motivated Shortcut Removal Using Auxiliary Labels
• Title（参考訳）: 補助ラベルを用いた因果的ショートカット除去
• Authors: Maggie Makar, Ben Packer, Dan Moldovan, Davis Blalock, Yoni Halpern, Alexander D'Amour
• Abstract要約: このようなリスク不変予測器の学習に重要な課題はショートカット学習である。 この課題に対処するために、フレキシブルで因果的なアプローチを提案する。 この因果的動機付けされた正規化スキームが堅牢な予測子を生み出すことを理論的および実証的に示す。
• 参考スコア（独自算出の注目度）: 63.686580185674195
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robustness to certain distribution shifts is a key requirement in many ML applications. Often, relevant distribution shifts can be formulated in terms of interventions on the process that generates the input data. Here, we consider the problem of learning a predictor whose risk across such shifts is invariant. A key challenge to learning such risk-invariant predictors is shortcut learning, or the tendency for models to rely on spurious correlations in practice, even when a predictor based on shift-invariant features could achieve optimal i.i.d generalization in principle. We propose a flexible, causally-motivated approach to address this challenge. Specifically, we propose a regularization scheme that makes use of auxiliary labels for potential shortcut features, which are often available at training time. Drawing on the causal structure of the problem, we enforce a conditional independence between the representation used to predict the main label and the auxiliary labels. We show both theoretically and empirically that this causally-motivated regularization scheme yields robust predictors that generalize well both in-distribution and under distribution shifts, and does so with better sample efficiency than standard regularization or weighting approaches.
• Abstract（参考訳）: 特定の分散シフトに対するロバスト性は多くのMLアプリケーションにおいて重要な要件である。 しばしば、関連する分布シフトは入力データを生成するプロセスへの介入の観点から定式化することができる。 本稿では,このようなシフトのリスクが不変である予測器を学習する問題を考察する。 このようなリスク不変量予測器を学ぶ上での鍵となる課題は、近道学習や、シフト不変量に基づく予測器が原理上最適なi.i.d一般化を実現できる場合でも、モデルが実際にスプリアス相関に依存する傾向である。 この課題に対処するために、フレキシブルで因果的なアプローチを提案する。 具体的には、トレーニング時にしばしば利用できる潜在的なショートカット機能に補助ラベルを利用する正規化方式を提案する。 問題の因果構造を考察し,主ラベルと補助ラベルの予測に使用される表現間の条件付き独立性(条件付き独立性)を強制する。 この因果的モチベーションによる正規化スキームが、分布内および分布シフトの双方をよく一般化し、標準正規化や重み付けアプローチよりも優れたサンプル効率をもたらす頑健な予測子をもたらすことを理論的および実証的に示す。

関連論文リスト

• Decision-Focused Evaluation of Worst-Case Distribution Shift [18.98504221245623]
  本稿では,予測資源割り当て設定における最悪の分散シフトを特定するための新しいフレームワークを提案する。 本稿では,この問題を部分モジュラー最適化問題として再定義し,最悪の場合の損失を効率的に近似できることを示す。 実データに私たちのフレームワークを適用すると、あるメトリクスによって識別される最悪のケースシフトが、他のメトリクスによって識別される最悪のケース分布と著しく異なるという経験的な証拠が得られます。
  論文  参考訳（メタデータ） (2024-07-04T01:00:53Z)
• Conformal Validity Guarantees Exist for Any Data Distribution (and How to Find Them) [14.396431159723297]
  理論上,共形予測はテキスト共同データ分布に拡張可能であることを示す。 最も一般的なケースは計算に実用的でないが、具体的には特定の共形アルゴリズムを導出するための手順を概説する。
  論文  参考訳（メタデータ） (2024-05-10T17:40:24Z)
• STRAPPER: Preference-based Reinforcement Learning via Self-training Augmentation and Peer Regularization [18.811470043767713]
  優先に基づく強化学習(PbRL)は、複雑な報酬関数を2進的な人間の好みで学習することを約束する。 本稿では,不定形ラベルを記憶した報酬モデルをペナルティ化し,自信ある予測を得る自己学習手法を提案する。
  論文  参考訳（メタデータ） (2023-07-19T00:31:58Z)
• On Regularization and Inference with Label Constraints [62.60903248392479]
  機械学習パイプラインにおけるラベル制約を符号化するための2つの戦略、制約付き正規化、制約付き推論を比較した。 正規化については、制約に不整合なモデルを前置することで一般化ギャップを狭めることを示す。 制約付き推論では、モデルの違反を訂正することで人口リスクを低減し、それによってその違反を有利にすることを示す。
  論文  参考訳（メタデータ） (2023-07-08T03:39:22Z)
• When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
  カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。 deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。 カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
  論文  参考訳（メタデータ） (2023-07-06T04:13:57Z)
• Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
  我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。 合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
  論文  参考訳（メタデータ） (2023-02-23T18:57:14Z)
• Self-supervised debiasing using low rank regularization [59.84695042540525]
  純粋な相関は、ディープニューラルネットワークの強いバイアスを引き起こし、一般化能力を損なう可能性がある。 ラベルのないサンプルと互換性のある自己監督型脱バイアスフレームワークを提案する。 注目すべきは,提案フレームワークが自己教師付き学習ベースラインの一般化性能を著しく向上させることである。
  論文  参考訳（メタデータ） (2022-10-11T08:26:19Z)
• Domain Adaptation meets Individual Fairness. And they get along [48.95808607591299]
  アルゴリズムフェアネスの介入は、機械学習モデルが分散シフトを克服するのに役立つことを示す。 特に,個人フェアネス(IF)の適切な概念を強制することで,MLモデルの分布外精度が向上することを示す。
  論文  参考訳（メタデータ） (2022-05-01T16:19:55Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。