論文の概要: Mixture Data for Training Cannot Ensure Out-of-distribution Generalization

• arxiv url: http://arxiv.org/abs/2312.16243v4
• Date: Tue, 23 Apr 2024 07:43:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-24 19:25:53.154106
• Title: Mixture Data for Training Cannot Ensure Out-of-distribution Generalization
• Title（参考訳）: アウトオブディストリビューションの一般化を保証できない訓練用混合データ
• Authors: Songming Zhang, Yuxiao Luo, Qizhou Wang, Haoang Chi, Xiaofeng Chen, Bo Han, Jinyan Li,
• Abstract要約: トレーニングデータのサイズが大きくなると、必ずしもテスト一般化誤差が減少するとは限らない。 本研究では,OODデータを混合学習データの凸内外にあるデータとして定量的に再定義する。 新たなリスクバウンドの証明は、よく訓練されたモデルの有効性が、目に見えないデータに対して保証されることに同意する。
• 参考スコア（独自算出の注目度）: 21.801115344132114
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks often face generalization problems to handle out-of-distribution (OOD) data, and there remains a notable theoretical gap between the contributing factors and their respective impacts. Literature evidence from in-distribution data has suggested that generalization error can shrink if the size of mixture data for training increases. However, when it comes to OOD samples, this conventional understanding does not hold anymore -- Increasing the size of training data does not always lead to a reduction in the test generalization error. In fact, diverse trends of the errors have been found across various shifting scenarios including those decreasing trends under a power-law pattern, initial declines followed by increases, or continuous stable patterns. Previous work has approached OOD data qualitatively, treating them merely as samples unseen during training, which are hard to explain the complicated non-monotonic trends. In this work, we quantitatively redefine OOD data as those situated outside the convex hull of mixed training data and establish novel generalization error bounds to comprehend the counterintuitive observations better. Our proof of the new risk bound agrees that the efficacy of well-trained models can be guaranteed for unseen data within the convex hull; More interestingly, but for OOD data beyond this coverage, the generalization cannot be ensured, which aligns with our observations. Furthermore, we attempted various OOD techniques to underscore that our results not only explain insightful observations in recent OOD generalization work, such as the significance of diverse data and the sensitivity to unseen shifts of existing algorithms, but it also inspires a novel and effective data selection strategy.
• Abstract（参考訳）: ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データを扱うために一般化問題に直面することが多く、寄与要因とその影響との間には顕著な理論的ギャップが残っている。 分散データからの文献的証拠は、学習用混合データのサイズが大きくなると一般化誤差が小さくなることを示唆している。 しかし、OODサンプルに関しては、この従来の理解はもはや保たない -- トレーニングデータのサイズの増加は、テスト一般化エラーの削減につながるとは限らない。 実際、エラーのさまざまな傾向は、パワー・ロー・パターンの下でのトレンドの減少、最初の減少、それに続く増加、あるいは連続的な安定パターンなど、さまざまなシフトシナリオで発見されている。 これまでの研究は、OODデータに定性的にアプローチしており、トレーニング中に見つからないサンプルとして扱うだけで、複雑な非単調な傾向を説明するのは難しい。 本研究では,混合学習データの凸内外にあるOODデータを定量的に再定義し,新たな一般化誤差境界を設定して,反直観的観察をよりよく理解する。 新たなリスクバウンドの証明は、よく訓練されたモデルの有効性が凸内における見えないデータに対して保証できることに一致している。 さらに,本研究は,近年のOOD一般化研究における洞察に富む観察結果,例えば,多様なデータの重要さや,既存のアルゴリズムの見知らぬシフトに対する感度などを説明するだけでなく,新たな効果的なデータ選択戦略の創出にも寄与することを示すために,様々なOOD手法を試みている。

関連論文リスト

• Rethinking Out-of-Distribution Detection on Imbalanced Data Distribution [38.844580833635725]
  アーキテクチャ設計におけるバイアスを緩和し,不均衡なOOD検出器を増強する訓練時間正規化手法を提案する。 提案手法は,CIFAR10-LT,CIFAR100-LT,ImageNet-LTのベンチマークに対して一貫した改良を行う。
  論文  参考訳（メタデータ） (2024-07-23T12:28:59Z)
• On the Benefits of Over-parameterization for Out-of-Distribution Generalization [28.961538657831788]
  本稿では,過度なオーバーフィット条件下でのアウト・オブ・ディストリビューション(OOD)損失を考慮した機械学習モデルの性能について検討する。 モデルパラメータ化のさらなる増大はOOD損失を著しく減少させることを示した。 これらの知見は、モデルアンサンブルによるOOD一般化の実証的な現象を説明する。
  論文  参考訳（メタデータ） (2024-03-26T11:01:53Z)
• Early Period of Training Impacts Out-of-Distribution Generalization [56.283944756315066]
  ニューラルネットワークトレーニングの初期における学習力学とOOD一般化の関係について検討した。 トレーニング中に異なる時間にトレーニング可能なパラメータ数を選択することは、ID結果に極端に影響を及ぼすことを示す。 訓練初期におけるシャープネスの絶対値とフィッシャー情報の痕跡は,OOD一般化の指標にはならない。
  論文  参考訳（メタデータ） (2024-03-22T13:52:53Z)
• Causality and Independence Enhancement for Biased Node Classification [56.38828085943763]
  各種グラフニューラルネットワーク(GNN)に適用可能な新しい因果性・独立性向上(CIE)フレームワークを提案する。 提案手法は,ノード表現レベルでの因果的特徴と突発的特徴を推定し,突発的相関の影響を緩和する。 我々のアプローチCIEは、GNNの性能を大幅に向上するだけでなく、最先端の debiased ノード分類法よりも優れています。
  論文  参考訳（メタデータ） (2023-10-14T13:56:24Z)
• LINe: Out-of-Distribution Detection by Leveraging Important Neurons [15.797257361788812]
  本稿では,分布内データとOODデータ間のモデル出力の差を解析するための新しい側面を紹介する。 本稿では,分布検出のポストホックアウトのための新しい手法であるLINe( Leveraging Important Neurons)を提案する。
  論文  参考訳（メタデータ） (2023-03-24T13:49:05Z)
• The Value of Out-of-Distribution Data [28.85184823032929]
  我々は,タスクの一般化誤差がOODサンプル数の非単調関数であることを示す。 言い換えれば、少量のOODデータに対するトレーニングには価値があります。
  論文  参考訳（メタデータ） (2022-08-23T13:41:01Z)
• Agree to Disagree: Diversity through Disagreement for Better Transferability [54.308327969778155]
  本稿では,D-BAT(Diversity-By-dis-Agreement Training)を提案する。 我々は、D-BATが一般化された相違の概念から自然に現れることを示す。
  論文  参考訳（メタデータ） (2022-02-09T12:03:02Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• Learn what you can't learn: Regularized Ensembles for Transductive Out-of-distribution Detection [76.39067237772286]
  ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。 本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。 本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
  論文  参考訳（メタデータ） (2020-12-10T16:55:13Z)
• On the Benefits of Invariance in Neural Networks [56.362579457990094]
  データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。 また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
  論文  参考訳（メタデータ） (2020-05-01T02:08:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。