論文の概要: Revisiting Deep Semi-supervised Learning: An Empirical Distribution
Alignment Framework and Its Generalization Bound
- arxiv url: http://arxiv.org/abs/2203.06639v1
- Date: Sun, 13 Mar 2022 11:59:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-15 16:06:16.134047
- Title: Revisiting Deep Semi-supervised Learning: An Empirical Distribution
Alignment Framework and Its Generalization Bound
- Title（参考訳）: 深層半教師付き学習の再検討--経験的分布アライメントフレームワークとその一般化
- Authors: Feiyu Wang, Qin Wang, Wen Li, Dong Xu, Luc Van Gool
- Abstract要約: 経験分布アライメントによる半教師あり学習(SLEDA)と呼ばれる深層半教師あり学習フレームワークを提案する。
ラベル付きデータに対するトレーニング誤差を最小化することにより,半教師付き学習の一般化誤差を効果的にバウンドできることを示す。
新しい枠組みと理論的境界に基づいて、Augmented Distribution Alignment Network(ADA-Net)と呼ばれるシンプルで効果的な深層半教師付き学習手法を開発した。
- 参考スコア（独自算出の注目度）: 97.93945601881407
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we revisit the semi-supervised learning (SSL) problem from a
new perspective of explicitly reducing empirical distribution mismatch between
labeled and unlabeled samples. Benefited from this new perspective, we first
propose a new deep semi-supervised learning framework called Semi-supervised
Learning by Empirical Distribution Alignment (SLEDA), in which existing
technologies from the domain adaptation community can be readily used to
address the semi-supervised learning problem through reducing the empirical
distribution distance between labeled and unlabeled data. Based on this
framework, we also develop a new theoretical generalization bound for the
research community to better understand the semi-supervised learning problem,
in which we show the generalization error of semi-supervised learning can be
effectively bounded by minimizing the training error on labeled data and the
empirical distribution distance between labeled and unlabeled data. Building
upon our new framework and the theoretical bound, we develop a simple and
effective deep semi-supervised learning method called Augmented Distribution
Alignment Network (ADA-Net) by simultaneously adopting the well-established
adversarial training strategy from the domain adaptation community and a simple
sample interpolation strategy for data augmentation. Additionally, we
incorporate both strategies in our ADA-Net into two exiting SSL methods to
further improve their generalization capability, which indicates that our new
framework provides a complementary solution for solving the SSL problem. Our
comprehensive experimental results on two benchmark datasets SVHN and CIFAR-10
for the semi-supervised image recognition task and another two benchmark
datasets ModelNet40 and ShapeNet55 for the semi-supervised point cloud
recognition task demonstrate the effectiveness of our proposed framework for
SSL.
- Abstract（参考訳）: 本研究では,ラベル付きサンプルとラベルなしサンプル間の経験的分布ミスマッチを明示的に低減する新たな視点から,半教師付き学習(SSL)問題を再考する。
この新たな視点から,我々はまず,ラベル付きデータとラベルなしデータの間の経験的分布距離を減らし,ドメイン適応コミュニティの既存技術で容易にセミ教師付き学習問題に対処できる,SLEDA(Semi-supervised Learning by Empirical Distribution Alignment)という,深層半教師付き学習フレームワークを提案する。
この枠組みに基づき,ラベル付きデータとラベル付きデータ間の学習誤差と経験的分布距離を最小化することにより,半教師付き学習の一般化誤差を効果的に境界付けることができる,半教師付き学習問題をよりよく理解するための,研究コミュニティのための新たな理論一般化法を開発した。
そこで我々は,新しい枠組みと理論的境界に基づいて,ドメイン適応型コミュニティの確立した敵対的学習戦略とデータ拡張のための簡単なサンプル補間戦略を同時に採用し,拡張分散アライメントネットワーク (ada-net) と呼ばれる簡易かつ効果的な深層半教師付き学習手法を開発した。
さらに、ADA-Netの両戦略を2つの出口SSLメソッドに組み込んで、その一般化能力をさらに向上させ、新たなフレームワークがSSL問題を解決するための補完的なソリューションを提供することを示す。
半教師付き画像認識タスクのためのベンチマークデータセットsvhnとcifar-10と、半教師付きポイントクラウド認識タスクのためのベンチマークデータセットmodelnet40とshapenet55の包括的実験結果から、sslのフレームワークの有効性を実証した。
関連論文リスト
- Multi-Agent Reinforcement Learning from Human Feedback: Data Coverage and Algorithmic Techniques [65.55451717632317]
我々は,MARLHF(Multi-Agent Reinforcement Learning from Human Feedback)について検討し,理論的基礎と実証的検証の両方について検討した。
我々は,このタスクを,一般ゲームにおける嗜好のみのオフラインデータセットからナッシュ均衡を識別するものとして定義する。
本研究は,MARLHFの多面的アプローチを基礎として,効果的な嗜好に基づくマルチエージェントシステムの実現を目指している。
論文 参考訳（メタデータ） (2024-09-01T13:14:41Z) - ItTakesTwo: Leveraging Peer Representations for Semi-supervised LiDAR Semantic Segmentation [24.743048965822297]
本稿では,ItTakesTwo (IT2) と呼ばれる半教師付きLiDARセマンティックセマンティックセマンティクスフレームワークを提案する。
IT2は、ピアLiDAR表現からの一貫性のある予測を保証するために設計されており、一貫性学習における摂動効率を改善する。
その結果,本手法は従来のSOTA法よりも顕著に改善されていることがわかった。
論文 参考訳（メタデータ） (2024-07-09T18:26:53Z) - CAusal and collaborative proxy-tasKs lEarning for Semi-Supervised Domain
Adaptation [20.589323508870592]
半教師付きドメイン適応(SSDA)は、ソースドメインデータとラベル付きターゲットサンプルを効果的に活用することにより、学習者を新しいドメインに適応させる。
提案手法は,SSDAデータセットの有効性と汎用性の観点から,SOTA法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-03-30T16:48:28Z) - Interpolation-based Correlation Reduction Network for Semi-Supervised
Graph Learning [49.94816548023729]
補間型相関低減ネットワーク(ICRN)と呼ばれる新しいグラフコントラスト学習手法を提案する。
提案手法では,決定境界のマージンを大きくすることで,潜在特徴の識別能力を向上させる。
この2つの設定を組み合わせることで、豊富なラベル付きノードと稀に価値あるラベル付きノードから豊富な監視情報を抽出し、離散表現学習を行う。
論文 参考訳（メタデータ） (2022-06-06T14:26:34Z) - Multi-level Consistency Learning for Semi-supervised Domain Adaptation [85.90600060675632]
半教師付きドメイン適応(SSDA)は、完全にラベル付けされたソースドメインから学習した知識をわずかにラベル付けされたターゲットドメインに適用することを目的としている。
SSDAのための多レベル一貫性学習フレームワークを提案する。
論文 参考訳（メタデータ） (2022-05-09T06:41:18Z) - An Information-theoretical Approach to Semi-supervised Learning under
Covariate-shift [24.061858945664856]
半教師あり学習における一般的な前提は、ラベル付き、ラベルなし、テストデータが同じ分布から引き出されることである。
本稿では,この問題に対処可能な半教師付き学習アルゴリズムを提案する。
また,このフレームワークはエントロピーの最小化や擬似ラベル付けなど,一般的な手法を復元する。
論文 参考訳（メタデータ） (2022-02-24T14:25:14Z) - Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。
SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
論文 参考訳（メタデータ） (2021-12-12T06:11:16Z) - Learning Invariant Representations and Risks for Semi-supervised Domain
Adaptation [109.73983088432364]
半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。
共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
論文 参考訳（メタデータ） (2020-10-09T15:42:35Z) - Consistency Regularization with Generative Adversarial Networks for
Semi-Supervised Learning [2.9707483702447783]
GAN(Adversarial Adversarial Networks)に基づく半教師付き学習(SSL)アプローチは,多数の未ラベルサンプルを利用して分類性能を向上させる。
しかし、彼らのパフォーマンスは、最先端の非GANベースのSSLアプローチよりも遅れている。
この主な理由は、局所摂動下で同じ画像上でのクラス確率予測の整合性の欠如である。
論文 参考訳（メタデータ） (2020-07-08T01:47:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。