論文の概要: Improving Out-of-Distribution Robustness via Selective Augmentation

• arxiv url: http://arxiv.org/abs/2201.00299v1
• Date: Sun, 2 Jan 2022 05:58:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-04 14:46:25.625196
• Title: Improving Out-of-Distribution Robustness via Selective Augmentation
• Title（参考訳）: 選択的拡張による分布外ロバスト性の改善
• Authors: Huaxiu Yao, Yu Wang, Sai Li, Linjun Zhang, Weixin Liang, James Zou, Chelsea Finn
• Abstract要約: 機械学習アルゴリズムは、トレーニングとテスト例が同じ分布から引き出されると仮定する。 分散シフトは現実世界のアプリケーションでは一般的な問題であり、テスト時にモデルが劇的に悪化する可能性がある。 LISAと呼ばれる選択的な拡張によって不変関数を学習するミックスアップ方式を提案する。
• 参考スコア（独自算出の注目度）: 61.147630193060856
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning algorithms typically assume that training and test examples are drawn from the same distribution. However, distribution shift is a common problem in real-world applications and can cause models to perform dramatically worse at test time. In this paper, we specifically consider the problems of domain shifts and subpopulation shifts (eg. imbalanced data). While prior works often seek to explicitly regularize internal representations and predictors of the model to be domain invariant, we instead aim to regularize the whole function without restricting the model's internal representations. This leads to a simple mixup-based technique which learns invariant functions via selective augmentation called LISA. LISA selectively interpolates samples either with the same labels but different domains or with the same domain but different labels. We analyze a linear setting and theoretically show how LISA leads to a smaller worst-group error. Empirically, we study the effectiveness of LISA on nine benchmarks ranging from subpopulation shifts to domain shifts, and we find that LISA consistently outperforms other state-of-the-art methods.
• Abstract（参考訳）: 機械学習アルゴリズムは通常、トレーニングとテスト例が同じ分布から引き出されると仮定する。 しかし、実際のアプリケーションでは分散シフトが一般的な問題であり、テスト時にモデルが劇的に悪化する可能性がある。 本稿では,ドメインシフトやサブポピュレーションシフト(不均衡データなど)の問題を具体的に検討する。 先行研究はしばしば、モデルの内部表現と予測子がドメイン不変であるように明示的に正規化しようとするが、代わりに、モデルの内部表現を制限することなく、関数全体を正規化することを目指している。 これにより単純なミックスアップベースのテクニックが実現され、LISAと呼ばれる選択的な拡張を通じて不変関数を学習する。 LISAは、同じラベルを持つが異なるドメインを持つか、同じドメインを持つが異なるラベルを持つサンプルを選択的に補間する。 我々は線形設定を解析し、LISAがいかにしてより小さな最悪のグループエラーにつながるかを理論的に示す。 実験により, サブポピュレーションシフトからドメインシフトまでの9つのベンチマークにおけるLISAの有効性について検討した。

関連論文リスト

• SALUDA: Surface-based Automotive Lidar Unsupervised Domain Adaptation [62.889835139583965]
  我々は、ソースデータとターゲットデータに基づいて、暗黙の基盤となる表面表現を同時に学習する教師なし補助タスクを導入する。 両方のドメインが同じ遅延表現を共有しているため、モデルは2つのデータソース間の不一致を許容せざるを得ない。 実験の結果,本手法は実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-
  論文  参考訳（メタデータ） (2023-04-06T17:36:23Z)
• Distributional Shift Adaptation using Domain-Specific Features [41.91388601229745]
  オープンワールドのシナリオでは、ビッグデータのストリーミングはOut-Of-Distribution(OOD)になる。 特徴が不変か否かにかかわらず、一般の相関に依拠する単純かつ効果的な手法を提案する。 提案手法では,OODベースモデルによって同定された最も確実なサンプルを用いて,対象領域に効果的に適応する新しいモデルを訓練する。
  論文  参考訳（メタデータ） (2022-11-09T04:16:21Z)
• Mapping conditional distributions for domain adaptation under generalized target shift [0.0]
  我々は、条件シフトとラベルシフト(GeTarS)の下でのソースとターゲットドメイン間の教師なしドメイン適応(UDA)の問題を考える。 最近のアプローチでは、ドメイン不変表現を学習するが、実際的な制限があり、実際には成り立たない強い仮定に依存している。 本稿では,既存の欠点を回避した,事前訓練された表現の整合化のための,新規で汎用的なアプローチについて検討する。
  論文  参考訳（メタデータ） (2021-10-26T14:25:07Z)
• Learning Domain Invariant Representations by Joint Wasserstein Distance Minimization [3.382067152367334]
  トレーニングデータのドメインシフトは、機械学習の実践的応用において一般的である。 理想的には、MLモデルは、例えばドメイン不変表現を学ぶことによって、これらのシフトとは独立して機能するべきです。 一般的なMLの損失は、MLモデルが異なるドメインに対していかに一貫して機能するかを強く保証するものではない。
  論文  参考訳（メタデータ） (2021-06-09T09:08:51Z)
• SelfReg: Self-supervised Contrastive Regularization for Domain Generalization [7.512471799525974]
  対照的学習,自己教師付きコントラスト正規化(SelfReg)に基づく領域一般化のための新しい正規化手法を提案する。 提案手法は正のデータペアのみを用いるため,負のペアサンプリングによって生じる様々な問題を解消する。 最近のベンチマークであるDomainBedでは、提案手法は従来の最先端技術に匹敵する性能を示している。
  論文  参考訳（メタデータ） (2021-04-20T09:08:29Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Adaptive Risk Minimization: Learning to Adapt to Domain Shift [109.87561509436016]
  ほとんどの機械学習アルゴリズムの基本的な前提は、トレーニングとテストデータは、同じ基礎となる分布から引き出されることである。 本研究では,学習データをドメインに構造化し,複数のテスト時間シフトが存在する場合の領域一般化の問題点について考察する。 本稿では、適応リスク最小化(ARM)の枠組みを紹介し、モデルがトレーニング領域に適応することを学ぶことで、効果的な適応のために直接最適化される。
  論文  参考訳（メタデータ） (2020-07-06T17:59:30Z)
• Estimating Generalization under Distribution Shifts via Domain-Invariant Representations [75.74928159249225]
  未知の真のターゲットラベルのプロキシとして、ドメイン不変の予測器のセットを使用します。 結果として生じるリスク見積の誤差は、プロキシモデルのターゲットリスクに依存する。
  論文  参考訳（メタデータ） (2020-07-06T17:21:24Z)
• Few-Shot Learning as Domain Adaptation: Algorithm and Analysis [120.75020271706978]
  わずかながらの学習は、目に見えないクラスを認識するために、目に見えないクラスから学んだ事前知識を使用する。 このクラス差による分布シフトは、ドメインシフトの特別なケースとみなすことができる。 メタラーニングフレームワークにおいて、そのようなドメインシフト問題に明示的に対処するために、注意を向けたプロトタイプドメイン適応ネットワーク(DAPNA)を提案する。
  論文  参考訳（メタデータ） (2020-02-06T01:04:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。