論文の概要: Predictors from causal features do not generalize better to new domains

• arxiv url: http://arxiv.org/abs/2402.09891v1
• Date: Thu, 15 Feb 2024 11:34:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-16 15:49:15.445906
• Title: Predictors from causal features do not generalize better to new domains
• Title（参考訳）: 因果的特徴の予測子は新しい領域に一般化しない
• Authors: Vivian Y. Nastl and Moritz Hardt
• Abstract要約: 我々は、因果的特徴に基づいて訓練された機械学習モデルがドメイン間でどのように一般化されるかを研究する。 我々の目標は、因果的特徴に基づいて訓練されたモデルがドメイン間でより良く一般化されるという仮説をテストすることである。
• 参考スコア（独自算出の注目度）: 18.95420918106124
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We study how well machine learning models trained on causal features generalize across domains. We consider 16 prediction tasks on tabular datasets covering applications in health, employment, education, social benefits, and politics. Each dataset comes with multiple domains, allowing us to test how well a model trained in one domain performs in another. For each prediction task, we select features that have a causal influence on the target of prediction. Our goal is to test the hypothesis that models trained on causal features generalize better across domains. Without exception, we find that predictors using all available features, regardless of causality, have better in-domain and out-of-domain accuracy than predictors using causal features. Moreover, even the absolute drop in accuracy from one domain to the other is no better for causal predictors than for models that use all features. If the goal is to generalize to new domains, practitioners might as well train the best possible model on all available features.
• Abstract（参考訳）: 因果的特徴に基づいて訓練された機械学習モデルは、ドメイン間でどのように一般化されるかを研究する。 我々は、健康、雇用、教育、社会的利益、政治の応用を網羅した表表データセット上の16の予測タスクを検討する。 各データセットには複数のドメインがあり、あるドメインでトレーニングされたモデルが別のドメインでどのように機能するかをテストできます。 予測タスク毎に,予測対象に因果的影響を及ぼす特徴を選択する。 私たちの目標は、因果的特徴に基づいてトレーニングされたモデルがドメインをまたがってより一般化するという仮説をテストすることです。 例外なく、因果関係によらず、利用可能な全ての特徴を用いた予測器の方が、因果的特徴を用いた予測器よりもドメイン内および領域外精度が優れていることが分かる。 さらに、あるドメインから別のドメインへの絶対的な精度の低下は、すべての機能を使用するモデルよりも因果予測者にとって望ましいものではない。 新たなドメインに一般化することが目標ならば,すべての利用可能な機能に対して,可能な限り最高のモデルをトレーニングするべきだ。

関連論文リスト

• ASPEST: Bridging the Gap Between Active Learning and Selective Prediction [56.001808843574395]
  選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。 アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。 本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
  論文  参考訳（メタデータ） (2023-04-07T23:51:07Z)
• Out-of-Domain Robustness via Targeted Augmentations [90.94290420322457]
  領域外一般化のためのデータ拡張設計の原理を考察する。 線形設定に関する理論的解析により動機付けを行い,対象拡大を提案する。 その結果,OOD性能は3.2～15.2ポイント向上した。
  論文  参考訳（メタデータ） (2023-02-23T08:59:56Z)
• Rationalizing Predictions by Adversarial Information Calibration [65.19407304154177]
  我々は2つのモデルを共同で訓練する: 1つは、正確だがブラックボックスな方法でタスクを解く典型的なニューラルモデルであり、もう1つは、予測の理論的根拠を付加するセレクタ・予測モデルである。 我々は,2つのモデルから抽出した情報を,それらの違いが欠落した特徴や過度に選択された特徴の指標であるように校正するために,敵対的手法を用いる。
  論文  参考訳（メタデータ） (2023-01-15T03:13:09Z)
• Generalizability Analysis of Graph-based Trajectory Predictor with Vectorized Representation [29.623692599892365]
  軌道予測は自動運転車にとって不可欠な課題の1つである。 機械学習の最近の進歩は、一連の高度な軌道予測アルゴリズムを生み出した。
  論文  参考訳（メタデータ） (2022-08-06T20:19:52Z)
• Model Optimization in Imbalanced Regression [2.580765958706854]
  不均衡なドメイン学習は、あまり表現されていないがドメインにとって最も重要であるインスタンスを予測するための正確なモデルを作成することを目的としている。 主な理由の1つは、極端な(まれな)値の誤差を最小限に抑えることができる損失関数の欠如である。 最近、評価指標が導入された: 正方形誤差関連領域(SERA) このメトリクスは、極端な値で犯したエラーに重点を置いていると同時に、ターゲット変数全体のパフォーマンスも考慮している。
  論文  参考訳（メタデータ） (2022-06-20T20:23:56Z)
• Uncertainty Modeling for Out-of-Distribution Generalization [56.957731893992495]
  特徴統計を適切に操作することで、ディープラーニングモデルの一般化能力を向上させることができると論じる。 一般的な手法では、特徴統計を学習した特徴から測定された決定論的値とみなすことが多い。 我々は、学習中に合成された特徴統計を用いて、領域シフトの不確かさをモデル化することにより、ネットワークの一般化能力を向上させる。
  論文  参考訳（メタデータ） (2022-02-08T16:09:12Z)
• Out-of-Distribution Generalization Analysis via Influence Function [25.80365416547478]
  トレーニングとターゲットデータのミスマッチは、機械学習システムにとって大きな課題のひとつだ。 我々は,OOD一般化問題に,ロバスト統計学の古典的ツールであるインフルエンス関数を導入する。 実験領域と提案指標の精度は,OODアルゴリズムが必要かどうか,モデルが優れたOOD一般化を実現するかどうかを判別する上で有効であることを示す。
  論文  参考訳（メタデータ） (2021-01-21T09:59:55Z)
• Learning from the Best: Rationalizing Prediction by Adversarial Information Calibration [39.685626118667074]
  2つのモデルを共同でトレーニングする。1つは手前のタスクを正確だがブラックボックスな方法で解く典型的なニューラルモデルであり、もう1つはセレクタ-予測モデルであり、予測の根拠も生み出す。 両モデルから抽出した情報の校正には,逆数に基づく手法を用いる。 自然言語タスクには, 言語モデルに基づく正規化子を用いて, 流線型論理の抽出を促進することを提案する。
  論文  参考訳（メタデータ） (2020-12-16T11:54:15Z)
• Adaptive Risk Minimization: Learning to Adapt to Domain Shift [109.87561509436016]
  ほとんどの機械学習アルゴリズムの基本的な前提は、トレーニングとテストデータは、同じ基礎となる分布から引き出されることである。 本研究では,学習データをドメインに構造化し,複数のテスト時間シフトが存在する場合の領域一般化の問題点について考察する。 本稿では、適応リスク最小化(ARM)の枠組みを紹介し、モデルがトレーニング領域に適応することを学ぶことで、効果的な適応のために直接最適化される。
  論文  参考訳（メタデータ） (2020-07-06T17:59:30Z)
• Estimating Generalization under Distribution Shifts via Domain-Invariant Representations [75.74928159249225]
  未知の真のターゲットラベルのプロキシとして、ドメイン不変の予測器のセットを使用します。 結果として生じるリスク見積の誤差は、プロキシモデルのターゲットリスクに依存する。
  論文  参考訳（メタデータ） (2020-07-06T17:21:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。