論文の概要: Towards a Theoretical Framework of Out-of-Distribution Generalization

• arxiv url: http://arxiv.org/abs/2106.04496v1
• Date: Tue, 8 Jun 2021 16:32:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-09 15:45:28.232863
• Title: Towards a Theoretical Framework of Out-of-Distribution Generalization
• Title（参考訳）: out-of-distribution generalizationの理論的枠組みに向けて
• Authors: Haotian Ye, Chuanlong Xie, Tianle Cai, Ruichen Li, Zhenguo Li, Liwei Wang
• Abstract要約: オフ・オブ・ディストリビューション(OOD)データへの一般化(ドメイン一般化)は、現代の機械学習における中心的な問題の一つである。 本研究は,OOD問題の厳密かつ定量的な定義に向けての第一歩を踏み出したものである。
• 参考スコア（独自算出の注目度）: 28.490842160921805
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generalization to out-of-distribution (OOD) data, or domain generalization, is one of the central problems in modern machine learning. Recently, there is a surge of attempts to propose algorithms for OOD that mainly build upon the idea of extracting invariant features. Although intuitively reasonable, theoretical understanding of what kind of invariance can guarantee OOD generalization is still limited, and generalization to arbitrary out-of-distribution is clearly impossible. In this work, we take the first step towards rigorous and quantitative definitions of 1) what is OOD; and 2) what does it mean by saying an OOD problem is learnable. We also introduce a new concept of expansion function, which characterizes to what extent the variance is amplified in the test domains over the training domains, and therefore give a quantitative meaning of invariant features. Based on these, we prove OOD generalization error bounds. It turns out that OOD generalization largely depends on the expansion function. As recently pointed out by Gulrajani and Lopez-Paz (2020), any OOD learning algorithm without a model selection module is incomplete. Our theory naturally induces a model selection criterion. Extensive experiments on benchmark OOD datasets demonstrate that our model selection criterion has a significant advantage over baselines.
• Abstract（参考訳）: アウト・オブ・ディストリビューション(ood)データへの一般化(domain generalization)は、現代の機械学習における中心的な問題のひとつです。 近年,主に不変特徴抽出の考え方に基づくOODアルゴリズムの提案が盛んに行われている。 直感的には妥当ではあるが、どのような不変性が OOD の一般化を保証できるかの理論的な理解はまだ限られており、任意の分布の一般化は明らかに不可能である。 本研究は,1) OODとは何か,2) OOD問題とは何を意味するのか,という厳密かつ定量的な定義に向けて第一歩を踏み出したものである。 また, 拡張関数という新しい概念を導入し, 学習領域上のテスト領域において分散がどの程度増幅されているかを特徴付け, 不変特徴の定量的な意味を与える。 これらに基づき、OOD一般化誤差境界を証明した。 OOD一般化は拡張関数に依存することが判明した。 Gulrajani と Lopez-Paz (2020) が最近指摘したように、モデル選択モジュールを持たない任意の OOD 学習アルゴリズムは不完全である。 我々の理論は自然にモデル選択基準を導く。 OODデータセットのベンチマーク実験により、我々のモデル選択基準がベースラインよりも大きな優位性を持つことが示された。

関連論文リスト

• The Best of Both Worlds: On the Dilemma of Out-of-distribution Detection [75.65876949930258]
  アウト・オブ・ディストリビューション(OOD)検出はモデル信頼性に不可欠である。 我々は,OODの一般化能力を秘かに犠牲にすることで,最先端手法のOOD検出性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-10-12T07:02:04Z)
• A Practical Theory of Generalization in Selectivity Learning [8.268822578361824]
  クエリ駆動機械学習モデルは、クエリ選択のための有望な推定手法として登場した。 確率的近似(PAC)学習フレームワークに基づく最先端(SOTA)理論のギャップを埋める。 符号付き測度によって誘導される選択性予測器は学習可能であり,SOTA理論における確率測度への依存を緩和することを示す。
  論文  参考訳（メタデータ） (2024-09-11T05:10:32Z)
• On the Benefits of Over-parameterization for Out-of-Distribution Generalization [28.961538657831788]
  本稿では,過度なオーバーフィット条件下でのアウト・オブ・ディストリビューション(OOD)損失を考慮した機械学習モデルの性能について検討する。 モデルパラメータ化のさらなる増大はOOD損失を著しく減少させることを示した。 これらの知見は、モデルアンサンブルによるOOD一般化の実証的な現象を説明する。
  論文  参考訳（メタデータ） (2024-03-26T11:01:53Z)
• Towards Robust Out-of-Distribution Generalization Bounds via Sharpness [41.65692353665847]
  モデルがドメインシフトにおけるデータ変化を許容する方法にシャープさが及ぼす影響について検討する。 強靭性を考慮したシャープネスに基づくOOD一般化を提案する。
  論文  参考訳（メタデータ） (2024-03-11T02:57:27Z)
• Invariant Random Forest: Tree-Based Model Solution for OOD Generalization [13.259844672078552]
  Invariant Decision Tree (IDT) と呼ばれる決定木モデルのOOD一般化のための新しい効果的な解を提案する。 IDTは、木の成長中に異なる環境にまたがる分裂の不安定で変動的な挙動に関して、ペナルティ項を強制する。 提案手法は, 温和な条件下での理論的結果によって動機付けられ, 合成データと実データの両方を用いて数値実験により検証される。
  論文  参考訳（メタデータ） (2023-12-07T12:53:05Z)
• DIVERSIFY: A General Framework for Time Series Out-of-distribution Detection and Generalization [58.704753031608625]
  時系列は、機械学習研究における最も困難なモダリティの1つである。 時系列上でのOODの検出と一般化は、その非定常性によって悩まされる傾向がある。 時系列の動的分布のOOD検出と一般化のためのフレームワークであるDIVERSIFYを提案する。
  論文  参考訳（メタデータ） (2023-08-04T12:27:11Z)
• RankFeat: Rank-1 Feature Removal for Out-of-distribution Detection [65.67315418971688]
  textttRankFeat は OOD 検出のためのシンプルだが効果的な textttpost hoc アプローチである。 textttRankFeatは、Emphstate-of-the-artパフォーマンスを実現し、以前のベストメソッドと比較して平均偽陽性率(FPR95)を17.90%削減する。
  論文  参考訳（メタデータ） (2022-09-18T16:01:31Z)
• Can Subnetwork Structure be the Key to Out-of-Distribution Generalization? [21.037720934987487]
  本稿では,OOD設定下での深部モデル構造解析に関数型モジュラー探索法を用いる。 バイアスのあるモデル(刺激的な相関にフォーカスする)でさえ、まだバイアスのない機能ワークが存在することを実証しています。
  論文  参考訳（メタデータ） (2021-06-05T13:19:27Z)
• Evading the Simplicity Bias: Training a Diverse Set of Models Discovers Solutions with Superior OOD Generalization [93.8373619657239]
  SGDで訓練されたニューラルネットワークは最近、線形予測的特徴に優先的に依存することが示された。 この単純さバイアスは、分布外堅牢性(OOD)の欠如を説明することができる。 単純さのバイアスを軽減し,ood一般化を改善できることを実証する。
  論文  参考訳（メタデータ） (2021-05-12T12:12:24Z)
• Learning Causal Semantic Representation for Out-of-Distribution Prediction [125.38836464226092]
  因果推論に基づく因果意味生成モデル(CSG)を提案し,その2つの要因を別々にモデル化する。 CSGはトレーニングデータに適合させることで意味的因子を識別できることを示し、この意味的識別はOOD一般化誤差の有界性を保証する。
  論文  参考訳（メタデータ） (2020-11-03T13:16:05Z)
• On the Value of Out-of-Distribution Testing: An Example of Goodhart's Law [78.10523907729642]
  VQA-CPは視覚的質問応答の標準OODベンチマークとなっている。 ほとんどの公表された手法は、OOD分割の構成に関する明示的な知識に依存している。 ランダムに回答を生成できる手法を含む、恥ずかしいほど単純な手法が、いくつかの質問タイプで芸術の状態を超越していることを示す。
  論文  参考訳（メタデータ） (2020-05-19T06:45:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。