論文の概要: An Information-theoretical Approach to Semi-supervised Learning under Covariate-shift

• arxiv url: http://arxiv.org/abs/2202.12123v1
• Date: Thu, 24 Feb 2022 14:25:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-25 18:12:44.774529
• Title: An Information-theoretical Approach to Semi-supervised Learning under Covariate-shift
• Title（参考訳）: 共変量シフトによる半教師付き学習への情報理論的アプローチ
• Authors: Gholamali Aminian, Mahed Abroshan, Mohammad Mahdi Khalili, Laura Toni, Miguel R. D. Rodrigues
• Abstract要約: 半教師あり学習における一般的な前提は、ラベル付き、ラベルなし、テストデータが同じ分布から引き出されることである。 本稿では,この問題に対処可能な半教師付き学習アルゴリズムを提案する。 また,このフレームワークはエントロピーの最小化や擬似ラベル付けなど,一般的な手法を復元する。
• 参考スコア（独自算出の注目度）: 24.061858945664856
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A common assumption in semi-supervised learning is that the labeled, unlabeled, and test data are drawn from the same distribution. However, this assumption is not satisfied in many applications. In many scenarios, the data is collected sequentially (e.g., healthcare) and the distribution of the data may change over time often exhibiting so-called covariate shifts. In this paper, we propose an approach for semi-supervised learning algorithms that is capable of addressing this issue. Our framework also recovers some popular methods, including entropy minimization and pseudo-labeling. We provide new information-theoretical based generalization error upper bounds inspired by our novel framework. Our bounds are applicable to both general semi-supervised learning and the covariate-shift scenario. Finally, we show numerically that our method outperforms previous approaches proposed for semi-supervised learning under the covariate shift.
• Abstract（参考訳）: 半教師付き学習における一般的な仮定は、ラベル付き、未ラベル、およびテストデータが同じ分布から引き出されることである。 しかし、この仮定は多くの応用において満たされない。 多くのシナリオでは、データは順次収集され(例えば医療)、データの分布は時間とともに変化し、いわゆる共変量シフトを示す。 本稿では,この問題に対処可能な半教師付き学習アルゴリズムのアプローチを提案する。 我々のフレームワークはエントロピーの最小化や擬似ラベリングなどの一般的な手法も復元する。 新たなフレームワークに触発された情報理論に基づく一般化誤差上限を提案する。 我々の境界は、一般的な半教師付き学習と共変シフトシナリオの両方に適用できる。 最後に,共変量シフトに基づく半教師あり学習において提案手法が従来の手法よりも優れていることを示す。

関連論文リスト

• Transformation-Invariant Learning and Theoretical Guarantees for OOD Generalization [34.036655200677664]
  本稿では、(データ)変換マップのクラスによって、列車とテストの分布を関連付けることができる分散シフト設定に焦点を当てる。 経験的リスク最小化(ERM)に対する学習ルールとアルゴリズムの削減を確立する。 我々は,学習ルールが分配シフトに関するゲーム理論的な視点を提供する点を強調した。
  論文  参考訳（メタデータ） (2024-10-30T20:59:57Z)
• Learning with Complementary Labels Revisited: The Selected-Completely-at-Random Setting Is More Practical [66.57396042747706]
  補完ラベル学習は、弱教師付き学習問題である。 均一分布仮定に依存しない一貫したアプローチを提案する。 相補的なラベル学習は、負のラベル付きバイナリ分類問題の集合として表現できる。
  論文  参考訳（メタデータ） (2023-11-27T02:59:17Z)
• A Unified Generalization Analysis of Re-Weighting and Logit-Adjustment for Imbalanced Learning [129.63326990812234]
  そこで本研究では,データ依存型コンダクタンス(Data-dependent contraction)と呼ばれる手法を提案する。 この技術に加えて、不均衡学習のための微粒な一般化境界が確立され、再重み付けとロジット調整の謎を明らかにするのに役立つ。
  論文  参考訳（メタデータ） (2023-10-07T09:15:08Z)
• MaxMatch: Semi-Supervised Learning with Worst-Case Consistency [149.03760479533855]
  半教師付き学習(SSL)のための最悪ケース整合正則化手法を提案する。 本稿では,ラベル付きトレーニングデータとラベル付きトレーニングデータとを別々に比較した経験的損失項からなるSSLの一般化について述べる。 この境界によって動機づけられたSSLの目的は、元のラベルのないサンプルと、その複数の拡張版との最大の矛盾を最小限に抑えるものである。
  論文  参考訳（メタデータ） (2022-09-26T12:04:49Z)
• Revisiting Deep Semi-supervised Learning: An Empirical Distribution Alignment Framework and Its Generalization Bound [97.93945601881407]
  経験分布アライメントによる半教師あり学習(SLEDA)と呼ばれる深層半教師あり学習フレームワークを提案する。 ラベル付きデータに対するトレーニング誤差を最小化することにより,半教師付き学習の一般化誤差を効果的にバウンドできることを示す。 新しい枠組みと理論的境界に基づいて、Augmented Distribution Alignment Network(ADA-Net)と呼ばれるシンプルで効果的な深層半教師付き学習手法を開発した。
  論文  参考訳（メタデータ） (2022-03-13T11:59:52Z)
• OoD-Bench: Benchmarking and Understanding Out-of-Distribution Generalization Datasets and Algorithms [28.37021464780398]
  1つの分布シフトにおいて経験的リスク最小化よりも優れた既存のOoDアルゴリズムは、通常、他の分布シフトに制限があることを示す。 新しいベンチマークは、将来のOoD一般化研究で活用できる強力な基盤として機能する可能性がある。
  論文  参考訳（メタデータ） (2021-06-07T15:34:36Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• A One-step Approach to Covariate Shift Adaptation [82.01909503235385]
  多くの機械学習シナリオにおけるデフォルトの前提は、トレーニングとテストサンプルは同じ確率分布から引き出されることである。 予測モデルと関連する重みを1つの最適化で共同で学習する新しいワンステップアプローチを提案する。
  論文  参考訳（メタデータ） (2020-07-08T11:35:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。