論文の概要: Bias as a Virtue: Rethinking Generalization under Distribution Shifts

• arxiv url: http://arxiv.org/abs/2506.00407v1
• Date: Sat, 31 May 2025 05:54:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:32.903629
• Title: Bias as a Virtue: Rethinking Generalization under Distribution Shifts
• Title（参考訳）: Bias as a Virtue:Rethinking Generalization under Distribution Shifts
• Authors: Ruixuan Chen, Wentao Li, Jiahui Xiao, Yuchen Li, Yimin Tang, Xiaonan Wang,
• Abstract要約: 機械学習モデルは、トレーニングデータとは異なるデータ分散にデプロイされると、しばしば劣化する。 また,IDバイアスの増大は,より優れたアウト・オブ・ディストリビューション(OOD)一般化につながる可能性が示唆された。 我々の研究は、一般化を改善するための実践的な方法と、堅牢な機械学習におけるバイアスの役割を再考するための理論的枠組みの両方を提供する。
• 参考スコア（独自算出の注目度）: 7.389812496011288
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning models often degrade when deployed on data distributions different from their training data. Challenging conventional validation paradigms, we demonstrate that higher in-distribution (ID) bias can lead to better out-of-distribution (OOD) generalization. Our Adaptive Distribution Bridge (ADB) framework implements this insight by introducing controlled statistical diversity during training, enabling models to develop bias profiles that effectively generalize across distributions. Empirically, we observe a robust negative correlation where higher ID bias corresponds to lower OOD error--a finding that contradicts standard practices focused on minimizing validation error. Evaluation on multiple datasets shows our approach significantly improves OOD generalization. ADB achieves robust mean error reductions of up to 26.8% compared to traditional cross-validation, and consistently identifies high-performing training strategies, evidenced by percentile ranks often exceeding 74.4%. Our work provides both a practical method for improving generalization and a theoretical framework for reconsidering the role of bias in robust machine learning.
• Abstract（参考訳）: 機械学習モデルは、トレーニングデータとは異なるデータ分散にデプロイされると、しばしば劣化する。 従来の検証パラダイムに則って,IDバイアスが高くなると,OOD(out-of-distriion)の一般化が向上することを示す。 我々のAdaptive Distribution Bridge(ADB)フレームワークは、トレーニング中に制御された統計的多様性を導入し、分散を効果的に一般化するバイアスプロファイルをモデルが開発できるようにする。 実証的に、高いIDバイアスが低いOODエラーに対応するようなロバストな負の相関を観察する。 複数のデータセットに対する評価は、OODの一般化を著しく改善することを示している。 ADBは従来のクロスバリデーションと比較して26.8%の堅牢な平均誤差削減を実現しており、パーセンタイルのランクが74.4%を超えることが証明されている高いパフォーマンスのトレーニング戦略を一貫して特定している。 我々の研究は、一般化を改善するための実践的な方法と、堅牢な機械学習におけるバイアスの役割を再考するための理論的枠組みの両方を提供する。

関連論文リスト

• Learning Where to Learn: Training Distribution Selection for Provable OOD Performance [2.7309692684728617]
  アウト・オブ・ディストリビューション(OOD)の一般化は、マシンラーニングにおける根本的な課題である。 本稿では,平均 OOD 性能を最大化するトレーニングデータ分布の設計について検討する。
  論文  参考訳（メタデータ） (2025-05-27T18:00:58Z)
• Diffusing DeBias: Synthetic Bias Amplification for Model Debiasing [15.214861534330236]
  Diffusing DeBias (DDB) を、教師なしモデルデバイアスの一般的な方法のためのプラグインとして導入する。 具体的には、条件付き拡散モデルを用いて、合成バイアス整合画像を生成する。 補助モデル学習におけるバイアス分散トレーニングサンプルの根本的な問題に対処することにより、提案手法は複数のベンチマークデータセットで最先端のモデルに勝る。
  論文  参考訳（メタデータ） (2025-02-13T18:17:03Z)
• Towards Calibrated Robust Fine-Tuning of Vision-Language Models [97.19901765814431]
  本研究は、視覚言語モデルにおいて、OOD精度と信頼性校正の両方を同時に改善する頑健な微調整法を提案する。 OOD分類とOOD校正誤差は2つのIDデータからなる共有上限を持つことを示す。 この知見に基づいて,最小の特異値を持つ制約付きマルチモーダルコントラスト損失を用いて微調整を行う新しいフレームワークを設計する。
  論文  参考訳（メタデータ） (2023-11-03T05:41:25Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• Improved OOD Generalization via Adversarial Training and Pre-training [49.08683910076778]
  本稿では,入力摂動に頑健なモデルがOODデータによく一般化されることを理論的に示す。 従来, 対人訓練が入力難聴の改善に有効であったことが示唆され, 対人訓練モデルがOODデータに過剰なリスクを集中していることが示唆された。
  論文  参考訳（メタデータ） (2021-05-24T08:06:35Z)
• On the Benefits of Invariance in Neural Networks [56.362579457990094]
  データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。 また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
  論文  参考訳（メタデータ） (2020-05-01T02:08:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。