論文の概要: Mixture Data for Training Cannot Ensure Out-of-distribution Generalization
- arxiv url: http://arxiv.org/abs/2312.16243v4
- Date: Tue, 23 Apr 2024 07:43:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-24 19:25:53.154106
- Title: Mixture Data for Training Cannot Ensure Out-of-distribution Generalization
- Title(参考訳): アウトオブディストリビューションの一般化を保証できない訓練用混合データ
- Authors: Songming Zhang, Yuxiao Luo, Qizhou Wang, Haoang Chi, Xiaofeng Chen, Bo Han, Jinyan Li,
- Abstract要約: トレーニングデータのサイズが大きくなると、必ずしもテスト一般化誤差が減少するとは限らない。
本研究では,OODデータを混合学習データの凸内外にあるデータとして定量的に再定義する。
新たなリスクバウンドの証明は、よく訓練されたモデルの有効性が、目に見えないデータに対して保証されることに同意する。
- 参考スコア(独自算出の注目度): 21.801115344132114
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks often face generalization problems to handle out-of-distribution (OOD) data, and there remains a notable theoretical gap between the contributing factors and their respective impacts. Literature evidence from in-distribution data has suggested that generalization error can shrink if the size of mixture data for training increases. However, when it comes to OOD samples, this conventional understanding does not hold anymore -- Increasing the size of training data does not always lead to a reduction in the test generalization error. In fact, diverse trends of the errors have been found across various shifting scenarios including those decreasing trends under a power-law pattern, initial declines followed by increases, or continuous stable patterns. Previous work has approached OOD data qualitatively, treating them merely as samples unseen during training, which are hard to explain the complicated non-monotonic trends. In this work, we quantitatively redefine OOD data as those situated outside the convex hull of mixed training data and establish novel generalization error bounds to comprehend the counterintuitive observations better. Our proof of the new risk bound agrees that the efficacy of well-trained models can be guaranteed for unseen data within the convex hull; More interestingly, but for OOD data beyond this coverage, the generalization cannot be ensured, which aligns with our observations. Furthermore, we attempted various OOD techniques to underscore that our results not only explain insightful observations in recent OOD generalization work, such as the significance of diverse data and the sensitivity to unseen shifts of existing algorithms, but it also inspires a novel and effective data selection strategy.
- Abstract(参考訳): ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データを扱うために一般化問題に直面することが多く、寄与要因とその影響との間には顕著な理論的ギャップが残っている。
分散データからの文献的証拠は、学習用混合データのサイズが大きくなると一般化誤差が小さくなることを示唆している。
しかし、OODサンプルに関しては、この従来の理解はもはや保たない -- トレーニングデータのサイズの増加は、テスト一般化エラーの削減につながるとは限らない。
実際、エラーのさまざまな傾向は、パワー・ロー・パターンの下でのトレンドの減少、最初の減少、それに続く増加、あるいは連続的な安定パターンなど、さまざまなシフトシナリオで発見されている。
これまでの研究は、OODデータに定性的にアプローチしており、トレーニング中に見つからないサンプルとして扱うだけで、複雑な非単調な傾向を説明するのは難しい。
本研究では,混合学習データの凸内外にあるOODデータを定量的に再定義し,新たな一般化誤差境界を設定して,反直観的観察をよりよく理解する。
新たなリスクバウンドの証明は、よく訓練されたモデルの有効性が凸内における見えないデータに対して保証できることに一致している。
さらに,本研究は,近年のOOD一般化研究における洞察に富む観察結果,例えば,多様なデータの重要さや,既存のアルゴリズムの見知らぬシフトに対する感度などを説明するだけでなく,新たな効果的なデータ選択戦略の創出にも寄与することを示すために,様々なOOD手法を試みている。
関連論文リスト
- LEVI: Generalizable Fine-tuning via Layer-wise Ensemble of Different
Views [28.917597757230745]
ファインチューニングは、新しい下流タスクで事前訓練された基礎モデルのパワーを活用するために使用される。
近年の研究では、微調整されたモデルから目に見えない分布への一般化の課題が観察されている。
そこで本研究では,タスク固有モデルを用いて,事前学習したモデルを階層的に適応的に組み立てる,一般化可能なファインチューニング手法LEVIを提案する。
論文 参考訳(メタデータ) (2024-02-07T08:16:40Z) - Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。
本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-06T14:49:59Z) - Agree to Disagree: Diversity through Disagreement for Better
Transferability [54.308327969778155]
本稿では,D-BAT(Diversity-By-dis-Agreement Training)を提案する。
我々は、D-BATが一般化された相違の概念から自然に現れることを示す。
論文 参考訳(メタデータ) (2022-02-09T12:03:02Z) - General Greedy De-bias Learning [163.65789778416172]
本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。
GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
論文 参考訳(メタデータ) (2021-12-20T14:47:32Z) - On Predicting Generalization using GANs [34.13321525940004]
ディープネットワークの一般化境界の研究は、トレーニングデータセットとネットワークパラメータだけでテストエラーを予測する方法を提供する。
本稿では,GAN(Generative Adversarial Network)を用いて生成した'synthetic data'を用いて,テストエラーを予測できるという考えを考察する。
GANにはよく知られた制限(例えばモード崩壊)があり、データの分布を正確に学ばないことが知られている。
論文 参考訳(メタデータ) (2021-11-28T19:03:21Z) - Linear Regression with Distributed Learning: A Generalization Error
Perspective [0.0]
大規模線形回帰のための分散学習の性能を検討する。
我々は、一般化エラー、すなわち、見当たらないデータのパフォーマンスに焦点を当てる。
その結果、分散ソリューションの一般化誤差は、集中ソリューションの一般化誤差よりも大幅に高いことが示された。
論文 参考訳(メタデータ) (2021-01-22T08:43:28Z) - MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
データに依存しない蒸留フレームワークであるMixKDを提案する。
妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。
限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
論文 参考訳(メタデータ) (2020-11-01T18:47:51Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳(メタデータ) (2020-06-22T21:12:31Z) - On the Benefits of Invariance in Neural Networks [56.362579457990094]
データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。
また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
論文 参考訳(メタデータ) (2020-05-01T02:08:58Z) - The Curious Case of Adversarially Robust Models: More Data Can Help,
Double Descend, or Hurt Generalization [36.87923859576768]
敵対的トレーニングは、入力データの摂動に頑健なモデルを作成する能力を示しているが、通常は標準精度の低下を犠牲にしている。
本稿では, 学習データの増加が, 分類問題における相対的ロバストモデルの一般化を損なうことを示す。
論文 参考訳(メタデータ) (2020-02-25T18:25:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。