論文の概要: Distribution Shift Is Key to Learning Invariant Prediction

• arxiv url: http://arxiv.org/abs/2601.12296v1
• Date: Sun, 18 Jan 2026 07:49:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:22.558837
• Title: Distribution Shift Is Key to Learning Invariant Prediction
• Title（参考訳）: 分散シフトは不変予測学習の鍵となる
• Authors: Hong Zheng, Fei Teng,
• Abstract要約: 大規模な分散シフトは、経験的リスク最小化の下でも、よりよいパフォーマンスをもたらす可能性がある。 我々は、あるデータ条件下では、ERMソリューションは不変予測モデルに匹敵する性能が得られることを証明した。
• 参考スコア（独自算出の注目度）: 4.138246425588323
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: An interesting phenomenon arises: Empirical Risk Minimization (ERM) sometimes outperforms methods specifically designed for out-of-distribution tasks. This motivates an investigation into the reasons behind such behavior beyond algorithmic design. In this study, we find that one such reason lies in the distribution shift across training domains. A large degree of distribution shift can lead to better performance even under ERM. Specifically, we derive several theoretical and empirical findings demonstrating that distribution shift plays a crucial role in model learning and benefits learning invariant prediction. Firstly, the proposed upper bounds indicate that the degree of distribution shift directly affects the prediction ability of the learned models. If it is large, the models' ability can increase, approximating invariant prediction models that make stable predictions under arbitrary known or unseen domains; and vice versa. We also prove that, under certain data conditions, ERM solutions can achieve performance comparable to that of invariant prediction models. Secondly, the empirical validation results demonstrated that the predictions of learned models approximate those of Oracle or Optimal models, provided that the degree of distribution shift in the training data increases.
• Abstract（参考訳）: 経験的リスク最小化(Empirical Risk Minimization, ERM)は、アウト・オブ・ディストリビューション(out-of-distriion)タスクのために特別に設計された手法を上回ることがある。 このことは、アルゴリズム設計を超えてそのような行動の背後にある理由を調査する動機となっている。 本研究では,トレーニング領域間の分布変化にそのような理由が1つあることを明らかにする。 大規模な分散シフトは、EMMの下でもパフォーマンスが向上する可能性がある。 具体的には,分散シフトがモデル学習において重要な役割を担い,非変分予測の学習に有効であることを示す理論的,経験的ないくつかの知見を導出する。 まず、提案した上限値から、分布シフトの度合いが学習モデルの予測能力に直接影響を与えることを示す。 もしそれが大きいなら、モデルの能力は増大し、任意の既知の領域や見えない領域で安定した予測を行う不変の予測モデルを近似し、その逆もできる。 また、あるデータ条件下では、ERMソリューションは不変予測モデルに匹敵する性能を達成できることを示す。 第2に、学習モデルの予測がOracleやOptimalモデルと近似していることを示し、トレーニングデータの分布シフトの程度が増加することを実証した。

関連論文リスト

• Internal Causal Mechanisms Robustly Predict Language Model Out-of-Distribution Behaviors [61.92704516732144]
  正当性予測の最も堅牢な特徴は、モデルの振舞いに特徴的な因果的役割を果たすものであることを示す。 モデル出力の正しさを予測するために因果メカニズムを利用する2つの手法を提案する。
  論文  参考訳（メタデータ） (2025-05-17T00:31:39Z)
• Influence Functions for Scalable Data Attribution in Diffusion Models [52.92223039302037]
  拡散モデルは、生成的モデリングに大きな進歩をもたらした。 しかし、彼らの普及はデータ属性と解釈可能性に関する課題を引き起こす。 これらの課題に対処するための影響関数フレームワークを開発する。
  論文  参考訳（メタデータ） (2024-10-17T17:59:02Z)
• Boosted Control Functions: Distribution generalization and invariance in confounded models [10.503777692702952]
  非線形で非同定可能な構造関数が存在する場合でも分布の一般化を可能にする不変性という強い概念を導入する。 フレキシブルな機械学習手法を用いて,ブースト制御関数(BCF)を推定する制御Twicingアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-09T15:43:46Z)
• Predicting with Confidence on Unseen Distributions [90.68414180153897]
  ドメイン適応と予測不確実性文学を結びつけて、挑戦的な未知分布のモデル精度を予測する。 分類器の予測における信頼度(DoC)の差は,様々な変化に対して,分類器の性能変化を推定することに成功した。 具体的には, 合成分布と自然分布の区別について検討し, その単純さにもかかわらず, DoCは分布差の定量化に優れることを示した。
  論文  参考訳（メタデータ） (2021-07-07T15:50:18Z)
• Which Invariance Should We Transfer? A Causal Minimax Learning Approach [18.71316951734806]
  本稿では、因果的観点からの包括的ミニマックス分析について述べる。 最小の最悪のリスクを持つサブセットを探索する効率的なアルゴリズムを提案する。 本手法の有効性と有効性は, 合成データとアルツハイマー病の診断で実証された。
  論文  参考訳（メタデータ） (2021-07-05T09:07:29Z)
• Estimating Generalization under Distribution Shifts via Domain-Invariant Representations [75.74928159249225]
  未知の真のターゲットラベルのプロキシとして、ドメイン不変の予測器のセットを使用します。 結果として生じるリスク見積の誤差は、プロキシモデルのターゲットリスクに依存する。
  論文  参考訳（メタデータ） (2020-07-06T17:21:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。