論文の概要: Towards Out-Of-Distribution Generalization: A Survey

• arxiv url: http://arxiv.org/abs/2108.13624v2
• Date: Thu, 27 Jul 2023 13:13:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-28 20:59:31.370352
• Title: Towards Out-Of-Distribution Generalization: A Survey
• Title（参考訳）: アウト・オブ・ディストリビューション・ジェネライゼーションに向けて--調査
• Authors: Jiashuo Liu, Zheyan Shen, Yue He, Xingxuan Zhang, Renzhe Xu, Han Yu, Peng Cui
• Abstract要約: アウト・オブ・ディストリビューションの一般化は、機械学習研究の新たなトピックである。 本論文は,OODの一般化に関する総合的,体系的な最初のレビューである。
• 参考スコア（独自算出の注目度）: 46.329995334444156
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Traditional machine learning paradigms are based on the assumption that both training and test data follow the same statistical pattern, which is mathematically referred to as Independent and Identically Distributed ($i.i.d.$). However, in real-world applications, this $i.i.d.$ assumption often fails to hold due to unforeseen distributional shifts, leading to considerable degradation in model performance upon deployment. This observed discrepancy indicates the significance of investigating the Out-of-Distribution (OOD) generalization problem. OOD generalization is an emerging topic of machine learning research that focuses on complex scenarios wherein the distributions of the test data differ from those of the training data. This paper represents the first comprehensive, systematic review of OOD generalization, encompassing a spectrum of aspects from problem definition, methodological development, and evaluation procedures, to the implications and future directions of the field. Our discussion begins with a precise, formal characterization of the OOD generalization problem. Following that, we categorize existing methodologies into three segments: unsupervised representation learning, supervised model learning, and optimization, according to their positions within the overarching learning process. We provide an in-depth discussion on representative methodologies for each category, further elucidating the theoretical links between them. Subsequently, we outline the prevailing benchmark datasets employed in OOD generalization studies. To conclude, we overview the existing body of work in this domain and suggest potential avenues for future research on OOD generalization. A summary of the OOD generalization methodologies surveyed in this paper can be accessed at http://out-of-distribution-generalization.com.
• Abstract（参考訳）: 従来の機械学習のパラダイムは、トレーニングデータとテストデータの両方が同じ統計パターンに従うという仮定に基づいている。 しかし、現実のアプリケーションでは、この$i.i.d.$の仮定はしばしば予期せぬ分布の変化のために保持できず、デプロイ時のモデル性能が大幅に低下する。 この観測された不一致は、アウト・オブ・ディストリビューション(ood)一般化問題を調査することの意義を示している。 OOD一般化は、テストデータの分布がトレーニングデータとは異なる複雑なシナリオに焦点を当てた機械学習研究の新たなトピックである。 本稿では,OODの一般化を包括的かつ体系的に検討し,問題定義,方法論開発,評価手順から分野の意義と今後の方向性まで,様々な側面を包括的に考察する。 我々の議論は、OOD一般化問題の正確で正式な特徴付けから始まる。 次に,既存の方法論を,教師なし表現学習,教師なしモデル学習,最適化の3つのセグメントに分類する。 我々は,各カテゴリの代表的方法論に関する詳細な議論を行い,それらの理論的な関連を明らかにする。 続いて、OOD一般化研究で使われる一般的なベンチマークデータセットについて概説する。 結論として,本領域における既存の研究成果を概説するとともに,OODの一般化に関する今後の研究への道のりを提案する。 本稿では,OOD一般化手法の概要をhttp://out-of-distriion- generalization.comで紹介する。

関連論文リスト

• Bridging OOD Detection and Generalization: A Graph-Theoretic View [21.84304334604601]
  OODの一般化と検出の両問題に対処するためのグラフ理論フレームワークを提案する。 グラフ定式化を利用すると、グラフの隣接行列の分解によってデータ表現が得られる。 経験的結果は既存の手法と比較して競争性能を示す。
  論文  参考訳（メタデータ） (2024-09-26T18:35:51Z)
• Revisiting Spurious Correlation in Domain Generalization [12.745076668687748]
  データ生成プロセスにおける因果関係を記述するために,構造因果モデル(SCM)を構築した。 さらに、スプリアス相関に基づくメカニズムを徹底的に分析する。 そこで本研究では,OOD一般化における共起バイアスの制御について,相対性スコア重み付き推定器を導入して提案する。
  論文  参考訳（メタデータ） (2024-06-17T13:22:00Z)
• A Survey on Evaluation of Out-of-Distribution Generalization [41.39827887375374]
  アウト・オブ・ディストリビューション(OOD)の一般化は複雑で基本的な問題である。 本報告は,OOD評価の総合的な評価を行うための最初の試みである。 我々は,OOD性能試験,OOD性能予測,OOD固有の特性評価という3つのパラダイムに分類した。
  論文  参考訳（メタデータ） (2024-03-04T09:30:35Z)
• Towards out-of-distribution generalization in large-scale astronomical surveys: robust networks learn similar representations [3.653721769378018]
  ニューラルネットワーク表現の類似度尺度である Centered Kernel Alignment (CKA) を用いて、表現類似度と性能の関係について検討する。 モデルが分散シフトに対して堅牢である場合、OODデータ上に層間でかなり異なる表現を生成することが分かりました。 本稿では,CKAを誘導バイアスとして取り入れることで,モデル設計,トレーニング戦略,OOD問題を緩和する上での類似性表現の可能性について論じる。
  論文  参考訳（メタデータ） (2023-11-29T19:00:05Z)
• DIVERSIFY: A General Framework for Time Series Out-of-distribution Detection and Generalization [58.704753031608625]
  時系列は、機械学習研究における最も困難なモダリティの1つである。 時系列上でのOODの検出と一般化は、その非定常性によって悩まされる傾向がある。 時系列の動的分布のOOD検出と一般化のためのフレームワークであるDIVERSIFYを提案する。
  論文  参考訳（メタデータ） (2023-08-04T12:27:11Z)
• Graph Structure and Feature Extrapolation for Out-of-Distribution Generalization [54.64375566326931]
  アウト・オブ・ディストリビューション(OOD)の一般化は、テスト分布がトレーニング分布からシフトする一般的な学習シナリオを扱う。 我々は,非ユークリッド空間線型補間の新しい設計により,グラフOOD一般化を実現することを提案する。 我々の設計は、根底にある因果機構を損なうことなく、OODサンプルを特定のシフトのために調整する。
  論文  参考訳（メタデータ） (2023-06-13T18:46:28Z)
• SimSCOOD: Systematic Analysis of Out-of-Distribution Generalization in Fine-tuned Source Code Models [58.78043959556283]
  本研究は,Low-Rank Adaptation (LoRA)ファインチューニング手法を含む,異なる微調整手法によるモデルの挙動について検討する。 解析の結果、LoRAファインチューニングは様々なシナリオにおけるフルファインチューニングよりも、OODの一般化性能が大幅に向上していることが判明した。
  論文  参考訳（メタデータ） (2022-10-10T16:07:24Z)
• Domain Generalization -- A Causal Perspective [20.630396283221838]
  機械学習モデルは、ヘルスケアからパーソナライズされたレコメンデーションまで、広く成功している。 これらのモデルの予備的な仮定の1つは、独立かつ同一の分布である。 モデルはこの仮定に大きく依存しているため、一般化能力は乏しい。
  論文  参考訳（メタデータ） (2022-09-30T01:56:49Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• In Search of Robust Measures of Generalization [79.75709926309703]
  我々は、一般化誤差、最適化誤差、過大なリスクのバウンダリを開発する。 経験的に評価すると、これらの境界の大部分は数値的に空白である。 我々は、分散ロバストネスの枠組みの中で、一般化対策を評価するべきであると論じる。
  論文  参考訳（メタデータ） (2020-10-22T17:54:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。