論文の概要: Out-Of-Domain Unlabeled Data Improves Generalization

• arxiv url: http://arxiv.org/abs/2310.00027v2
• Date: Thu, 15 Feb 2024 18:23:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-16 18:54:30.010404
• Title: Out-Of-Domain Unlabeled Data Improves Generalization
• Title（参考訳）: 領域外非ラベルデータによる一般化改善
• Authors: Amir Hossein Saberi, Amir Najafi, Alireza Heidari, Mohammad Hosein Movasaghinia, Abolfazl Motahari, Babak H. Khalaj
• Abstract要約: 本稿では,ラベルなしデータを半教師付き分類問題に組み込む新しい枠組みを提案する。 ラベルのないサンプルは一般化ギャップを狭めるために利用できることを示す。 我々は、さまざまな合成および実世界のデータセットで実施された実験を通じて、我々の主張を検証する。
• 参考スコア（独自算出の注目度）: 0.7589678255312519
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a novel framework for incorporating unlabeled data into semi-supervised classification problems, where scenarios involving the minimization of either i) adversarially robust or ii) non-robust loss functions have been considered. Notably, we allow the unlabeled samples to deviate slightly (in total variation sense) from the in-domain distribution. The core idea behind our framework is to combine Distributionally Robust Optimization (DRO) with self-supervised training. As a result, we also leverage efficient polynomial-time algorithms for the training stage. From a theoretical standpoint, we apply our framework on the classification problem of a mixture of two Gaussians in $\mathbb{R}^d$, where in addition to the $m$ independent and labeled samples from the true distribution, a set of $n$ (usually with $n\gg m$) out of domain and unlabeled samples are given as well. Using only the labeled data, it is known that the generalization error can be bounded by $\propto\left(d/m\right)^{1/2}$. However, using our method on both isotropic and non-isotropic Gaussian mixture models, one can derive a new set of analytically explicit and non-asymptotic bounds which show substantial improvement on the generalization error compared to ERM. Our results underscore two significant insights: 1) out-of-domain samples, even when unlabeled, can be harnessed to narrow the generalization gap, provided that the true data distribution adheres to a form of the ``cluster assumption", and 2) the semi-supervised learning paradigm can be regarded as a special case of our framework when there are no distributional shifts. We validate our claims through experiments conducted on a variety of synthetic and real-world datasets.
• Abstract（参考訳）: 我々は,ラベルなしデータを半教師付き分類問題に組み込むための新しい枠組みを提案する。 一 反対に頑丈であること、又は 二 非ロバスト損失関数が検討されていること。 特筆すべきは、ラベルのないサンプルがドメイン内分布からわずかに(完全な変動意味で)外れることである。 私たちのフレームワークの中核となる考え方は、分散ロバスト最適化(DRO)と自己教師型トレーニングを組み合わせることです。 また,学習段階における効率的な多項式時間アルゴリズムも活用する。 理論的な観点から、我々は2つのガウスの混合の分類問題を$\mathbb{R}^d$に適用し、真分布からの$m$独立およびラベル付きサンプルに加えて、ドメインから$n$(通常$n\gg m$)の集合が与えられ、ラベルなしサンプルも与えられる。 ラベル付きデータのみを用いることで、一般化誤差は$\propto\left(d/m\right)^{1/2}$で境界付けられることが知られている。 しかし, 等方的および非等方的なガウス混合モデルを用いて, ERMと比較して一般化誤差を大幅に改善した解析的および非漸近的境界の新たな集合を導出することができる。 私たちの結果は2つの重要な洞察を裏付けています。 1) 真のデータ分布が ``cluster assumption" の形式に準拠している場合,ラベルを付けていない場合でも,領域外サンプルは一般化ギャップを狭めるために利用することができる。 2) 半教師付き学習パラダイムは, 分散シフトがない場合に, フレームワークの特別なケースとみなすことができる。 我々は,様々な合成データと実世界のデータセットで実施した実験を通じて,クレームを検証する。

関連論文リスト

• Gradual Domain Adaptation via Manifold-Constrained Distributionally Robust Optimization [0.4732176352681218]
  本稿では、多様体制約データ分布のクラスにおける段階的領域適応の課題に対処する。 本稿では,適応的なワッサースタイン半径を持つ分布ロバスト最適化(DRO)を基礎とした手法を提案する。 我々のバウンダリは、新たに導入されたそれとの互換性尺度に依存しており、シーケンスに沿ったエラー伝搬のダイナミクスを完全に特徴付けています。
  論文  参考訳（メタデータ） (2024-10-17T22:07:25Z)
• Classification of Data Generated by Gaussian Mixture Models Using Deep ReLU Networks [28.437011792990347]
  本稿では,ガウス混合ネットワーク下で発生した$math RMsのデータ二項分類について検討する。 コンバージェンスレートが初めて$d2013xのニューラル解析レートを得る。 結果は、実用的な分類問題におけるディープニューラルネットワークの理論的検証を提供する。
  論文  参考訳（メタデータ） (2023-08-15T20:40:42Z)
• Tackling Combinatorial Distribution Shift: A Matrix Completion Perspective [42.85196869759168]
  a) テストランダムデータおよびトレーニングランダムデータの下で、ラベル$z$は、(x,y)$, (b) トレーニングディストリビューションは、別々に$x$と$y$の限界分布をカバーしているが、(c) テストディストリビューションは、トレーニングディストリビューションがカバーしていない製品ディストリビューションの例を含む。
  論文  参考訳（メタデータ） (2023-07-12T21:17:47Z)
• Data thinning for convolution-closed distributions [2.299914829977005]
  本稿では,観測を2つ以上の独立した部分に分割する手法であるデータ薄型化を提案する。 教師なし学習手法の結果の検証には,データの薄化が有効であることを示す。
  論文  参考訳（メタデータ） (2023-01-18T02:47:41Z)
• How Does Pseudo-Labeling Affect the Generalization Error of the Semi-Supervised Gibbs Algorithm? [73.80001705134147]
  擬似ラベル付き半教師付き学習(SSL)におけるGibsアルゴリズムによる予測一般化誤差(ゲンエラー)を正確に評価する。 ゲンエラーは、出力仮説、擬ラベルデータセット、ラベル付きデータセットの間の対称性付きKL情報によって表現される。
  論文  参考訳（メタデータ） (2022-10-15T04:11:56Z)
• A Unified Joint Maximum Mean Discrepancy for Domain Adaptation [73.44809425486767]
  本論文は,最適化が容易なjmmdの統一形式を理論的に導出する。 統合JMMDから、JMMDは分類に有利な特徴ラベル依存を低下させることを示す。 本稿では,その依存を促進する新たなmmd行列を提案し,ラベル分布シフトにロバストな新しいラベルカーネルを考案する。
  論文  参考訳（メタデータ） (2021-01-25T09:46:14Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Self-training Avoids Using Spurious Features Under Domain Shift [54.794607791641745]
  教師なし領域適応においては、条件付きエントロピー最小化と擬似ラベル処理は、既存の理論で解析されたものよりもドメインシフトがはるかに大きい場合であっても行われる。 ドメインシフトが大きくなる可能性のある特定の設定を特定・分析するが、特定のスパイラルな特徴はソースドメインのラベルと相関するが、ターゲットの独立なラベルである。
  論文  参考訳（メタデータ） (2020-06-17T17:51:42Z)
• Log-Likelihood Ratio Minimizing Flows: Towards Robust and Quantifiable Neural Distribution Alignment [52.02794488304448]
  そこで本研究では,対数様比統計量と正規化フローに基づく新しい分布アライメント手法を提案する。 入力領域の局所構造を保存する領域アライメントにおいて,結果の最小化を実験的に検証する。
  論文  参考訳（メタデータ） (2020-03-26T22:10:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。