論文の概要: Bias as a Virtue: Rethinking Generalization under Distribution Shifts

• arxiv url: http://arxiv.org/abs/2506.00407v1
• Date: Sat, 31 May 2025 05:54:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:32.903629
• Title: Bias as a Virtue: Rethinking Generalization under Distribution Shifts
• Title（参考訳）: Bias as a Virtue:Rethinking Generalization under Distribution Shifts
• Authors: Ruixuan Chen, Wentao Li, Jiahui Xiao, Yuchen Li, Yimin Tang, Xiaonan Wang,
• Abstract要約: 機械学習モデルは、トレーニングデータとは異なるデータ分散にデプロイされると、しばしば劣化する。 また,IDバイアスの増大は,より優れたアウト・オブ・ディストリビューション(OOD)一般化につながる可能性が示唆された。 我々の研究は、一般化を改善するための実践的な方法と、堅牢な機械学習におけるバイアスの役割を再考するための理論的枠組みの両方を提供する。
• 参考スコア（独自算出の注目度）: 7.389812496011288
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning models often degrade when deployed on data distributions different from their training data. Challenging conventional validation paradigms, we demonstrate that higher in-distribution (ID) bias can lead to better out-of-distribution (OOD) generalization. Our Adaptive Distribution Bridge (ADB) framework implements this insight by introducing controlled statistical diversity during training, enabling models to develop bias profiles that effectively generalize across distributions. Empirically, we observe a robust negative correlation where higher ID bias corresponds to lower OOD error--a finding that contradicts standard practices focused on minimizing validation error. Evaluation on multiple datasets shows our approach significantly improves OOD generalization. ADB achieves robust mean error reductions of up to 26.8% compared to traditional cross-validation, and consistently identifies high-performing training strategies, evidenced by percentile ranks often exceeding 74.4%. Our work provides both a practical method for improving generalization and a theoretical framework for reconsidering the role of bias in robust machine learning.
• Abstract（参考訳）: 機械学習モデルは、トレーニングデータとは異なるデータ分散にデプロイされると、しばしば劣化する。 従来の検証パラダイムに則って,IDバイアスが高くなると,OOD(out-of-distriion)の一般化が向上することを示す。 我々のAdaptive Distribution Bridge(ADB)フレームワークは、トレーニング中に制御された統計的多様性を導入し、分散を効果的に一般化するバイアスプロファイルをモデルが開発できるようにする。 実証的に、高いIDバイアスが低いOODエラーに対応するようなロバストな負の相関を観察する。 複数のデータセットに対する評価は、OODの一般化を著しく改善することを示している。 ADBは従来のクロスバリデーションと比較して26.8%の堅牢な平均誤差削減を実現しており、パーセンタイルのランクが74.4%を超えることが証明されている高いパフォーマンスのトレーニング戦略を一貫して特定している。 我々の研究は、一般化を改善するための実践的な方法と、堅牢な機械学習におけるバイアスの役割を再考するための理論的枠組みの両方を提供する。

関連論文リスト

• Learning Where to Learn: Training Distribution Selection for Provable OOD Performance [2.7309692684728617]
  アウト・オブ・ディストリビューション(OOD)の一般化は、マシンラーニングにおける根本的な課題である。 本稿では,平均 OOD 性能を最大化するトレーニングデータ分布の設計について検討する。
  論文  参考訳（メタデータ） (2025-05-27T18:00:58Z)
• Diffusing DeBias: Synthetic Bias Amplification for Model Debiasing [15.214861534330236]
  Diffusing DeBias (DDB) を、教師なしモデルデバイアスの一般的な方法のためのプラグインとして導入する。 具体的には、条件付き拡散モデルを用いて、合成バイアス整合画像を生成する。 補助モデル学習におけるバイアス分散トレーニングサンプルの根本的な問題に対処することにより、提案手法は複数のベンチマークデータセットで最先端のモデルに勝る。
  論文  参考訳（メタデータ） (2025-02-13T18:17:03Z)
• Enhancing Robust Fairness via Confusional Spectral Regularization [6.041034366572273]
  PAC-Bayesian フレームワーク内の最悪のクラスにおけるロバストなエラーに対して、ロバストな一般化を導出する。 本稿では,最低級のロバストな精度を向上し,ロバストな公正性を向上する新たな正則化手法を提案する。
  論文  参考訳（メタデータ） (2025-01-22T23:32:19Z)
• Mixture Data for Training Cannot Ensure Out-of-distribution Generalization [21.801115344132114]
  トレーニングデータのサイズが大きくなると、必ずしもテスト一般化誤差が減少するとは限らない。 本研究では,OODデータを混合学習データの凸内外にあるデータとして定量的に再定義する。 新たなリスクバウンドの証明は、よく訓練されたモデルの有効性が、目に見えないデータに対して保証されることに同意する。
  論文  参考訳（メタデータ） (2023-12-25T11:00:38Z)
• Towards Calibrated Robust Fine-Tuning of Vision-Language Models [97.19901765814431]
  本研究は、視覚言語モデルにおいて、OOD精度と信頼性校正の両方を同時に改善する頑健な微調整法を提案する。 OOD分類とOOD校正誤差は2つのIDデータからなる共有上限を持つことを示す。 この知見に基づいて,最小の特異値を持つ制約付きマルチモーダルコントラスト損失を用いて微調整を行う新しいフレームワークを設計する。
  論文  参考訳（メタデータ） (2023-11-03T05:41:25Z)
• DAFT: Distilling Adversarially Fine-tuned Models for Better OOD Generalization [35.53270942633211]
  我々は,OOD一般化の課題について考察する。その目的は,トレーニング分布と異なるテスト分布でよく機能するモデルをトレーニングすることである。 我々は,多数のリッチな特徴を逆向きに頑健に組み合わせることで,OODの堅牢性を実現するという直感に基づく新しい手法,DAFTを提案する。 我々は、DomainBedフレームワークの標準ベンチマーク上でDAFTを評価し、DAFTが現在の最先端OOD一般化法よりも大幅に改善できることを実証した。
  論文  参考訳（メタデータ） (2022-08-19T03:48:17Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• Self-balanced Learning For Domain Generalization [64.99791119112503]
  ドメインの一般化は、モデルが未知の統計を持つ対象のドメインに一般化できるように、マルチドメインのソースデータの予測モデルを学ぶことを目的としている。 既存のアプローチのほとんどは、ソースデータがドメインとクラスの両方の観点からバランスよく調整されているという前提の下で開発されている。 本稿では,多領域ソースデータの分布の違いによるバイアスを軽減するために,損失の重み付けを適応的に学習する自己均衡型領域一般化フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-31T03:17:54Z)
• Improved OOD Generalization via Adversarial Training and Pre-training [49.08683910076778]
  本稿では,入力摂動に頑健なモデルがOODデータによく一般化されることを理論的に示す。 従来, 対人訓練が入力難聴の改善に有効であったことが示唆され, 対人訓練モデルがOODデータに過剰なリスクを集中していることが示唆された。
  論文  参考訳（メタデータ） (2021-05-24T08:06:35Z)
• Mind the Trade-off: Debiasing NLU Models without Degrading the In-distribution Performance [70.31427277842239]
  信頼性正則化という新しいデバイアス化手法を導入する。 モデルがバイアスを悪用するのを防ぐと同時に、トレーニングのすべての例から学ぶのに十分なインセンティブを得られるようにします。 提案手法を3つのNLUタスクで評価し,前者とは対照的に,アウト・オブ・ディストリビューション・データセットの性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-05-01T11:22:55Z)
• On the Benefits of Invariance in Neural Networks [56.362579457990094]
  データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。 また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
  論文  参考訳（メタデータ） (2020-05-01T02:08:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。