論文の概要: Towards Out-Of-Distribution Generalization: A Survey
- arxiv url: http://arxiv.org/abs/2108.13624v1
- Date: Tue, 31 Aug 2021 05:28:42 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-01 14:26:56.598719
- Title: Towards Out-Of-Distribution Generalization: A Survey
- Title（参考訳）: アウト・オブ・ディストリビューション・ジェネライゼーションに向けて--調査
- Authors: Zheyan Shen, Jiashuo Liu, Yue He, Xingxuan Zhang, Renzhe Xu, Han Yu,
Peng Cui
- Abstract要約: 古典的な機械学習手法は、トレーニングデータとテストデータが独立して同じ分散であるという$i.d.$の仮定に基づいて構築されている。
実際のシナリオでは、$i.d.$の仮定はほとんど満たされず、分散シフトの下で古典的な機械学習アルゴリズムのパフォーマンスが急落する。
本論文は,OOD一般化問題を体系的かつ包括的に議論する最初の試みである。
- 参考スコア（独自算出の注目度）: 30.65295937312935
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Classic machine learning methods are built on the $i.i.d.$ assumption that
training and testing data are independent and identically distributed. However,
in real scenarios, the $i.i.d.$ assumption can hardly be satisfied, rendering
the sharp drop of classic machine learning algorithms' performances under
distributional shifts, which indicates the significance of investigating the
Out-of-Distribution generalization problem. Out-of-Distribution (OOD)
generalization problem addresses the challenging setting where the testing
distribution is unknown and different from the training. This paper serves as
the first effort to systematically and comprehensively discuss the OOD
generalization problem, from the definition, methodology, evaluation to the
implications and future directions. Firstly, we provide the formal definition
of the OOD generalization problem. Secondly, existing methods are categorized
into three parts based on their positions in the whole learning pipeline,
namely unsupervised representation learning, supervised model learning and
optimization, and typical methods for each category are discussed in detail. We
then demonstrate the theoretical connections of different categories, and
introduce the commonly used datasets and evaluation metrics. Finally, we
summarize the whole literature and raise some future directions for OOD
generalization problem. The summary of OOD generalization methods reviewed in
this survey can be found at http://out-of-distribution-generalization.com.
- Abstract（参考訳）: 古典的な機械学習手法は、トレーニングとテストのデータが独立して分散しているという$i.i.d.$の仮定に基づいている。
しかし、実際のシナリオでは、$i.d.$の仮定は満たされることがほとんどなく、古典的な機械学習アルゴリズムのパフォーマンスを分散シフトの下で急落させ、アウト・オブ・ディストリビューションの一般化問題を調べることの重要性を示している。
Out-of-Distribution (OOD) の一般化問題は、テスト分布が未知でトレーニングとは異なる困難な設定に対処する。
本稿は,OODの一般化問題を,定義,方法論,評価,含意,今後の方向性など,体系的かつ包括的に議論する最初の試みである。
まず、OOD一般化問題の形式的定義を提供する。
第2に、既存の手法は、学習パイプライン全体の位置、すなわち教師なし表現学習、教師付きモデル学習と最適化の3つの部分に分類し、各カテゴリの典型的な手法を詳細に議論する。
次に、異なるカテゴリの理論的関係を示し、よく使われるデータセットと評価指標を紹介する。
最後に、文献全体を要約し、OOD一般化問題の今後の方向性を示す。
本調査でレビューしたOOD一般化手法の要約はhttp://out-of-distriion- generalization.comで見ることができる。
関連論文リスト
- Bridging OOD Detection and Generalization: A Graph-Theoretic View [21.84304334604601]
OODの一般化と検出の両問題に対処するためのグラフ理論フレームワークを提案する。
グラフ定式化を利用すると、グラフの隣接行列の分解によってデータ表現が得られる。
経験的結果は既存の手法と比較して競争性能を示す。
論文 参考訳（メタデータ） (2024-09-26T18:35:51Z) - Revisiting Spurious Correlation in Domain Generalization [12.745076668687748]
データ生成プロセスにおける因果関係を記述するために,構造因果モデル(SCM)を構築した。
さらに、スプリアス相関に基づくメカニズムを徹底的に分析する。
そこで本研究では,OOD一般化における共起バイアスの制御について,相対性スコア重み付き推定器を導入して提案する。
論文 参考訳（メタデータ） (2024-06-17T13:22:00Z) - A Survey on Evaluation of Out-of-Distribution Generalization [41.39827887375374]
アウト・オブ・ディストリビューション(OOD)の一般化は複雑で基本的な問題である。
本報告は,OOD評価の総合的な評価を行うための最初の試みである。
我々は,OOD性能試験,OOD性能予測,OOD固有の特性評価という3つのパラダイムに分類した。
論文 参考訳（メタデータ） (2024-03-04T09:30:35Z) - Towards out-of-distribution generalization in large-scale astronomical
surveys: robust networks learn similar representations [3.653721769378018]
ニューラルネットワーク表現の類似度尺度である Centered Kernel Alignment (CKA) を用いて、表現類似度と性能の関係について検討する。
モデルが分散シフトに対して堅牢である場合、OODデータ上に層間でかなり異なる表現を生成することが分かりました。
本稿では,CKAを誘導バイアスとして取り入れることで,モデル設計,トレーニング戦略,OOD問題を緩和する上での類似性表現の可能性について論じる。
論文 参考訳（メタデータ） (2023-11-29T19:00:05Z) - DIVERSIFY: A General Framework for Time Series Out-of-distribution
Detection and Generalization [58.704753031608625]
時系列は、機械学習研究における最も困難なモダリティの1つである。
時系列上でのOODの検出と一般化は、その非定常性によって悩まされる傾向がある。
時系列の動的分布のOOD検出と一般化のためのフレームワークであるDIVERSIFYを提案する。
論文 参考訳（メタデータ） (2023-08-04T12:27:11Z) - Graph Structure and Feature Extrapolation for Out-of-Distribution Generalization [54.64375566326931]
アウト・オブ・ディストリビューション(OOD)の一般化は、テスト分布がトレーニング分布からシフトする一般的な学習シナリオを扱う。
我々は,非ユークリッド空間線型補間の新しい設計により,グラフOOD一般化を実現することを提案する。
我々の設計は、根底にある因果機構を損なうことなく、OODサンプルを特定のシフトのために調整する。
論文 参考訳（メタデータ） (2023-06-13T18:46:28Z) - SimSCOOD: Systematic Analysis of Out-of-Distribution Generalization in
Fine-tuned Source Code Models [58.78043959556283]
本研究は,Low-Rank Adaptation (LoRA)ファインチューニング手法を含む,異なる微調整手法によるモデルの挙動について検討する。
解析の結果、LoRAファインチューニングは様々なシナリオにおけるフルファインチューニングよりも、OODの一般化性能が大幅に向上していることが判明した。
論文 参考訳（メタデータ） (2022-10-10T16:07:24Z) - Domain Generalization -- A Causal Perspective [20.630396283221838]
機械学習モデルは、ヘルスケアからパーソナライズされたレコメンデーションまで、広く成功している。
これらのモデルの予備的な仮定の1つは、独立かつ同一の分布である。
モデルはこの仮定に大きく依存しているため、一般化能力は乏しい。
論文 参考訳（メタデータ） (2022-09-30T01:56:49Z) - General Greedy De-bias Learning [163.65789778416172]
本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。
GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
論文 参考訳（メタデータ） (2021-12-20T14:47:32Z) - In Search of Robust Measures of Generalization [79.75709926309703]
我々は、一般化誤差、最適化誤差、過大なリスクのバウンダリを開発する。
経験的に評価すると、これらの境界の大部分は数値的に空白である。
我々は、分散ロバストネスの枠組みの中で、一般化対策を評価するべきであると論じる。
論文 参考訳（メタデータ） (2020-10-22T17:54:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。