論文の概要: Data Mixture in Training Un-assures Out-of-Distribution Generalization
- arxiv url: http://arxiv.org/abs/2312.16243v3
- Date: Fri, 2 Feb 2024 04:45:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-05 18:50:28.350167
- Title: Data Mixture in Training Un-assures Out-of-Distribution Generalization
- Title（参考訳）: アウトオブディストリビューション一般化を保証しないトレーニングにおけるデータ混合
- Authors: Songming Zhang, Yuxiao Luo, Qizhou Wang, Haoang Chi, Weikai Li, Bo
Han, Jinyan Li
- Abstract要約: モデルの分布外一般化能力の問題について検討する。
以前の証拠は、エラーがトレーニングセットのサイズのパワーとしてオフになることを示している。
トレーニングデータサイズの増加が必ずしもテスト一般化誤差の減少につながるとは限らないことを示す。
- 参考スコア（独自算出の注目度）: 23.519013423909417
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While deep neural networks can achieve good performance on in-distribution
samples, their generalization ability significantly degrades under unknown test
shifts. We study the problem of out-of-distribution (OOD) generalization
capability of models by exploring the relationship between generalization error
and training set size. Previous empirical evidence suggests that error falls
off as a power of training set size and that lower errors indicate better model
generalization. However, in the case of OOD samples, this is not true from our
observations. Counterintuitively, increasing training data size does not always
lead to a decrease in test generalization error. Such a non-decreasing
phenomenon is formally investigated under a linear setting with empirical
verification across varying visual benchmarks. To investigate the above
results, we redefine OOD data as data located outside the convex hull of the
data mixture in training and prove a new generalization error bound. Together
our observations highlight that the effectiveness of well-trained models can be
guaranteed on data within the convex hull of the training mixture. For OOD data
beyond this coverage, the capability of models may be unassured. To achieve
better generalization without knowledge of target environments, we demonstrate
multiple strategies including data augmentation and pre-training. We also
employ a novel data selection algorithm that outperforms baselines.
- Abstract（参考訳）: ディープニューラルネットワークは分布内サンプルで優れた性能を発揮するが、その一般化能力は未知のテストシフトで著しく低下する。
一般化誤差とトレーニングセットサイズとの関係を探索し, モデル外分布(OOD)一般化能力の問題について検討する。
以前の実証的な証拠は、エラーがトレーニングセットのサイズのパワーとして外れ、低いエラーはより優れたモデル一般化を示すことを示唆している。
しかし、OODサンプルの場合、これは我々の観測では正しくない。
対照的に、トレーニングデータサイズの増加は、必ずしもテスト一般化エラーの減少につながるとは限らない。
このような非減少現象は、様々な視覚的ベンチマークにまたがる経験的検証を伴う線形条件下で公式に研究される。
以上の結果を調べるため,データ混合物の凸殻外にあるデータとしてOODデータを再定義し,新たな一般化誤差を証明した。
以上より, 訓練混合物の凸殻内のデータに対して, 十分に訓練されたモデルの有効性を保証できることを示した。
このカバレッジを超えたOODデータでは、モデルの能力は保証されない可能性がある。
対象環境を知らずにより良い一般化を実現するために,データ拡張や事前学習を含む複数の戦略を実証する。
また、ベースラインを上回る新しいデータ選択アルゴリズムも採用している。
関連論文リスト
- Out-of-Distribution Learning with Human Feedback [26.398598663165636]
本稿では,人的フィードバックによるOOD学習のための新しい枠組みを提案する。
当社のフレームワークは、無償で利用可能な未ラベルデータに便乗しています。
人間のフィードバックを利用して、機械学習モデルの堅牢性と信頼性を高める。
論文 参考訳（メタデータ） (2024-08-14T18:49:27Z) - Rethinking Out-of-Distribution Detection on Imbalanced Data Distribution [38.844580833635725]
アーキテクチャ設計におけるバイアスを緩和し,不均衡なOOD検出器を増強する訓練時間正規化手法を提案する。
提案手法は,CIFAR10-LT,CIFAR100-LT,ImageNet-LTのベンチマークに対して一貫した改良を行う。
論文 参考訳（メタデータ） (2024-07-23T12:28:59Z) - On the Benefits of Over-parameterization for Out-of-Distribution Generalization [28.961538657831788]
本稿では,過度なオーバーフィット条件下でのアウト・オブ・ディストリビューション(OOD)損失を考慮した機械学習モデルの性能について検討する。
モデルパラメータ化のさらなる増大はOOD損失を著しく減少させることを示した。
これらの知見は、モデルアンサンブルによるOOD一般化の実証的な現象を説明する。
論文 参考訳（メタデータ） (2024-03-26T11:01:53Z) - Early Period of Training Impacts Out-of-Distribution Generalization [56.283944756315066]
ニューラルネットワークトレーニングの初期における学習力学とOOD一般化の関係について検討した。
トレーニング中に異なる時間にトレーニング可能なパラメータ数を選択することは、ID結果に極端に影響を及ぼすことを示す。
訓練初期におけるシャープネスの絶対値とフィッシャー情報の痕跡は,OOD一般化の指標にはならない。
論文 参考訳（メタデータ） (2024-03-22T13:52:53Z) - Causality and Independence Enhancement for Biased Node Classification [56.38828085943763]
各種グラフニューラルネットワーク(GNN)に適用可能な新しい因果性・独立性向上(CIE)フレームワークを提案する。
提案手法は,ノード表現レベルでの因果的特徴と突発的特徴を推定し,突発的相関の影響を緩和する。
我々のアプローチCIEは、GNNの性能を大幅に向上するだけでなく、最先端の debiased ノード分類法よりも優れています。
論文 参考訳（メタデータ） (2023-10-14T13:56:24Z) - LINe: Out-of-Distribution Detection by Leveraging Important Neurons [15.797257361788812]
本稿では,分布内データとOODデータ間のモデル出力の差を解析するための新しい側面を紹介する。
本稿では,分布検出のポストホックアウトのための新しい手法であるLINe( Leveraging Important Neurons)を提案する。
論文 参考訳（メタデータ） (2023-03-24T13:49:05Z) - Agree to Disagree: Diversity through Disagreement for Better
Transferability [54.308327969778155]
本稿では,D-BAT(Diversity-By-dis-Agreement Training)を提案する。
我々は、D-BATが一般化された相違の概念から自然に現れることを示す。
論文 参考訳（メタデータ） (2022-02-09T12:03:02Z) - General Greedy De-bias Learning [163.65789778416172]
本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。
GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
論文 参考訳（メタデータ） (2021-12-20T14:47:32Z) - Learn what you can't learn: Regularized Ensembles for Transductive
Out-of-distribution Detection [76.39067237772286]
ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。
本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。
本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
論文 参考訳（メタデータ） (2020-12-10T16:55:13Z) - On the Benefits of Invariance in Neural Networks [56.362579457990094]
データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。
また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
論文 参考訳（メタデータ） (2020-05-01T02:08:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。