論文の概要: Unraveling the Key Components of OOD Generalization via Diversification

• arxiv url: http://arxiv.org/abs/2312.16313v1
• Date: Tue, 26 Dec 2023 19:47:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-29 20:03:24.744297
• Title: Unraveling the Key Components of OOD Generalization via Diversification
• Title（参考訳）: 多様化によるOOD一般化の鍵となる要素の解明
• Authors: Harold Benoit, Liangze Jiang, Andrei Atanov, O\u{g}uzhan Fatih Kar, Mattia Rigotti, Amir Zamir
• Abstract要約: 分散化手法は、分散化に使用されるラベルのないデータの分布に非常に敏感であることを示す。 第2の選択肢を使用すると、最大20%の精度が低下する。 学習アルゴリズムの最適選択はラベルのないデータに依存します。
• 参考スコア（独自算出の注目度）: 21.261135970090418
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Real-world datasets may contain multiple features that explain the training data equally well, i.e., learning any of them would lead to correct predictions on the training data. However, many of them can be spurious, i.e., lose their predictive power under a distribution shift and fail to generalize to out-of-distribution (OOD) data. Recently developed ``diversification'' methods approach this problem by finding multiple diverse hypotheses that rely on different features. This paper aims to study this class of methods and identify the key components contributing to their OOD generalization abilities. We show that (1) diversification methods are highly sensitive to the distribution of the unlabeled data used for diversification and can underperform significantly when away from a method-specific sweet spot. (2) Diversification alone is insufficient for OOD generalization. The choice of the used learning algorithm, e.g., the model's architecture and pretraining, is crucial, and using the second-best choice leads to an up to 20% absolute drop in accuracy.(3) The optimal choice of learning algorithm depends on the unlabeled data, and vice versa.Finally, we show that the above pitfalls cannot be alleviated by increasing the number of diverse hypotheses, allegedly the major feature of diversification methods. These findings provide a clearer understanding of the critical design factors influencing the OOD generalization of diversification methods. They can guide practitioners in how to use the existing methods best and guide researchers in developing new, better ones.
• Abstract（参考訳）: 実世界のデータセットには、トレーニングデータを同じように説明する複数の機能が含まれている可能性がある。 しかし、これらの多くは、分布シフトの下で予測力を失い、アウト・オブ・ディストリビューション(OOD)データへの一般化に失敗する。 最近開発された `diversification'' 法は、異なる特徴に依存する複数の多様な仮説を見つけることによってこの問題にアプローチする。 本研究の目的は,OODの一般化能力に寄与する重要な要素を同定することである。 1) 多様化手法は, 多様化に使用されるラベルなしデータの分布に非常に敏感であり, 方法特有の甘味点から離れた場合, 著しく低下する可能性がある。 2)OODの一般化には多様化だけでは不十分である。 使用済み学習アルゴリズム(例えば、モデルのアーキテクチャと事前学習)の選択は極めて重要であり、第2のベストの選択を使用することで、最大20%の精度の低下につながる。 3) 学習アルゴリズムの最適選択はラベルのないデータに依存するが, その逆もまた, 上記の落とし穴は, 多様化法の主要な特徴である多様な仮説の数を増やすことによって緩和できないことを示す。 これらの結果は,OODの多様化に影響を及ぼす設計要因の解明に寄与する。 既存の手法を最善に使う方法を実践者に指導し、研究者に新しいより良い方法の開発を指導することができる。

関連論文リスト

• Preference Fine-Tuning of LLMs Should Leverage Suboptimal, On-Policy Data [102.16105233826917]
  好みラベルからの学習は、微調整された大きな言語モデルにおいて重要な役割を果たす。 好みの微調整には、教師付き学習、オンライン強化学習(RL)、コントラスト学習など、いくつかの異なるアプローチがある。
  論文  参考訳（メタデータ） (2024-04-22T17:20:18Z)
• Crowd-Certain: Label Aggregation in Crowdsourced and Ensemble Learning Classification [0.0]
  クラウドソースおよびアンサンブル学習分類タスクにおけるラベルアグリゲーションのための新しいアプローチであるCrowd-Certainを紹介する。 提案手法は,アノテータと訓練された分類器の整合性を利用して,各アノテータの信頼性スコアを決定する。 我々は10の異なるデータセットにまたがる10の既存手法に対するアプローチを広範囲に評価し、それぞれに異なる数のアノテータをラベル付けした。
  論文  参考訳（メタデータ） (2023-10-25T01:58:37Z)
• Generalizable Low-Resource Activity Recognition with Diverse and Discriminative Representation Learning [24.36351102003414]
  HAR(Human Activity Recognition)は、人間のセンサーの読み取りから動作パターンを特定することに焦点を当てた時系列分類タスクである。 一般化可能な低リソースHARのためのDDLearn(Diverse and Discriminative Expression Learning)という新しい手法を提案する。 平均精度は9.5%向上した。
  論文  参考訳（メタデータ） (2023-05-25T08:24:22Z)
• ASPEST: Bridging the Gap Between Active Learning and Selective Prediction [56.001808843574395]
  選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。 アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。 本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
  論文  参考訳（メタデータ） (2023-04-07T23:51:07Z)
• HyperInvariances: Amortizing Invariance Learning [10.189246340672245]
  不変学習は高価で、一般的なニューラルネットワークにはデータ集約的です。 我々は、不変学習を償却する概念を導入する。 このフレームワークは、異なる下流タスクにおける適切な不変性を識別し、同等またはより良いテストパフォーマンスをもたらす。
  論文  参考訳（メタデータ） (2022-07-17T21:40:37Z)
• Do Deep Neural Networks Always Perform Better When Eating More Data? [82.6459747000664]
  Identically Independent Distribution(IID)とOut of Distribution(OOD)による実験を設計する。 IID条件下では、情報の量は各サンプルの効果度、サンプルの寄与度、クラス間の差がクラス情報の量を決定する。 OOD条件下では、試料のクロスドメイン度が寄与を決定づけ、無関係元素によるバイアス適合はクロスドメインの重要な要素である。
  論文  参考訳（メタデータ） (2022-05-30T15:40:33Z)
• Agree to Disagree: Diversity through Disagreement for Better Transferability [54.308327969778155]
  本稿では,D-BAT(Diversity-By-dis-Agreement Training)を提案する。 我々は、D-BATが一般化された相違の概念から自然に現れることを示す。
  論文  参考訳（メタデータ） (2022-02-09T12:03:02Z)
• Efficient Diversity-Driven Ensemble for Deep Neural Networks [28.070540722925152]
  アンサンブルの多様性と効率の両方に対処するために,効率的なダイバーシティ駆動型アンサンブル(EDDE)を提案する。 他のよく知られたアンサンブル法と比較して、EDDEは訓練コストの低い最も高いアンサンブル精度を得ることができる。 EDDE on Computer Vision (CV) and Natural Language Processing (NLP) task。
  論文  参考訳（メタデータ） (2021-12-26T04:28:47Z)
• Evading the Simplicity Bias: Training a Diverse Set of Models Discovers Solutions with Superior OOD Generalization [93.8373619657239]
  SGDで訓練されたニューラルネットワークは最近、線形予測的特徴に優先的に依存することが示された。 この単純さバイアスは、分布外堅牢性(OOD)の欠如を説明することができる。 単純さのバイアスを軽減し,ood一般化を改善できることを実証する。
  論文  参考訳（メタデータ） (2021-05-12T12:12:24Z)
• Towards Improved and Interpretable Deep Metric Learning via Attentive Grouping [103.71992720794421]
  グループ化は、様々な特徴の計算にディープ・メトリック・ラーニングでよく用いられてきた。 本稿では,任意のメトリクス学習フレームワークと柔軟に統合可能な,改良された解釈可能なグループ化手法を提案する。
  論文  参考訳（メタデータ） (2020-11-17T19:08:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。