論文の概要: An empirical study of domain-agnostic semi-supervised learning via energy-based models: joint-training and pre-training

• arxiv url: http://arxiv.org/abs/2010.13116v1
• Date: Sun, 25 Oct 2020 13:35:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-03 04:47:35.056879
• Title: An empirical study of domain-agnostic semi-supervised learning via energy-based models: joint-training and pre-training
• Title（参考訳）: エネルギーモデルによるドメインに依存しない半教師あり学習の実証的研究:共同学習と事前学習
• Authors: Yunfu Song, Huahuan Zheng, Zhijian Ou
• Abstract要約: ジェネレーティブSSL法は、ジョイントトレーニングまたはプレトレーニングによる生成モデルに基づく教師なし学習を含む。 共同トレーニングは、観測とラベルの合同分布を推定する一方で、事前トレーニングは観測のみに対して行われる。 共同訓練型ESMは、前訓練型ESMよりもほぼ一貫した性能を示した。
• 参考スコア（独自算出の注目度）: 16.14838937433809
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A class of recent semi-supervised learning (SSL) methods heavily rely on domain-specific data augmentations. In contrast, generative SSL methods involve unsupervised learning based on generative models by either joint-training or pre-training, and are more appealing from the perspective of being domain-agnostic, since they do not inherently require data augmentations. Joint-training estimates the joint distribution of observations and labels, while pre-training is taken over observations only. Recently, energy-based models (EBMs) have achieved promising results for generative modeling. Joint-training via EBMs for SSL has been explored with encouraging results across different data modalities. In this paper, we make two contributions. First, we explore pre-training via EBMs for SSL and compare it to joint-training. Second, a suite of experiments are conducted over domains of image classification and natural language labeling to give a realistic whole picture of the performances of EBM based SSL methods. It is found that joint-training EBMs outperform pre-training EBMs marginally but nearly consistently.
• Abstract（参考訳）: 最近の半教師付き学習(SSL)メソッドのクラスは、ドメイン固有のデータ拡張に大きく依存している。 対照的に、生成的SSL法は、共同学習または事前学習による生成モデルに基づく教師なし学習を伴い、データ拡張を本質的に必要としないため、ドメインに依存しない観点からより魅力的である。 共同トレーニングは、観測とラベルの合同分布を推定する一方で、事前トレーニングは観測のみに対して行われる。 近年,エネルギーベースモデル (EBM) は生成モデルとして有望な成果を上げている。 SSL用のEMMによる共同トレーニングは、さまざまなデータモダリティにまたがる結果を奨励するために検討されている。 本稿では,二つの貢献を述べる。 まず、SSLのためのEMMによる事前トレーニングを検討し、共同トレーニングと比較する。 第2に、画像分類と自然言語ラベリングの領域上で一連の実験を行い、ESMベースのSSL方式の性能の現実的な全体像を提供する。 共同訓練型ESMは、前訓練型ESMよりもほぼ一貫した性能を示した。

関連論文リスト

• A Closer Look at Benchmarking Self-Supervised Pre-training with Image Classification [51.35500308126506]
  自己教師付き学習(SSL)は、データ自体が監視を提供する機械学習アプローチであり、外部ラベルの必要性を排除している。 SSLの分類に基づく評価プロトコルがどのように相関し、異なるデータセットのダウンストリーム性能を予測するかを検討する。
  論文  参考訳（メタデータ） (2024-07-16T23:17:36Z)
• ItTakesTwo: Leveraging Peer Representations for Semi-supervised LiDAR Semantic Segmentation [24.743048965822297]
  本稿では,ItTakesTwo (IT2) と呼ばれる半教師付きLiDARセマンティックセマンティックセマンティクスフレームワークを提案する。 IT2は、ピアLiDAR表現からの一貫性のある予測を保証するために設計されており、一貫性学習における摂動効率を改善する。 その結果,本手法は従来のSOTA法よりも顕著に改善されていることがわかった。
  論文  参考訳（メタデータ） (2024-07-09T18:26:53Z)
• Using Self-supervised Learning Can Improve Model Fairness [10.028637666224093]
  自己教師型学習(SSL)は,大規模モデルのデファクトトレーニングパラダイムとなっている。 本研究では,事前学習と微調整が公正性に及ぼす影響について検討する。 SSLの公平性評価フレームワークを導入し、データセット要件の定義、事前トレーニング、段階的凍結による微調整、人口統計学的に条件付けられた表現類似性の評価、ドメイン固有の評価プロセスの確立の5段階を含む。
  論文  参考訳（メタデータ） (2024-06-04T14:38:30Z)
• Evaluating Fairness in Self-supervised and Supervised Models for Sequential Data [10.626503137418636]
  自己教師型学習(SSL)は,大規模モデルのデファクトトレーニングパラダイムとなっている。 本研究では,事前学習と微調整が公正性に及ぼす影響について検討する。
  論文  参考訳（メタデータ） (2024-01-03T09:31:43Z)
• Self-supervised learning for skin cancer diagnosis with limited training data [0.196629787330046]
  自己教師付き学習(SSL)は、限られたトレーニングデータを持つシナリオに対するImageNetの標準教師付き事前トレーニングの代替である。 textitfurther SSL をタスク固有のデータセットで事前トレーニングし、その実装は教師あり転送学習によって動機づけられる。 タスク固有のデータに対するより最小限のSSL事前トレーニングは、限られたラベル付きデータによる医療画像分類タスクにおいて、ImageNet上の大規模なSSL事前トレーニングと同じくらい効果的である。
  論文  参考訳（メタデータ） (2024-01-01T08:11:38Z)
• Learning Energy-Based Models by Cooperative Diffusion Recovery Likelihood [64.95663299945171]
  高次元データに基づくエネルギーベースモデル(EBM)の訓練は、困難かつ時間を要する可能性がある。 EBMと、GANや拡散モデルのような他の生成フレームワークとの間には、サンプル品質に顕著なギャップがある。 本研究では,協調拡散回復可能性 (CDRL) を提案する。
  論文  参考訳（メタデータ） (2023-09-10T22:05:24Z)
• Rethinking Self-Supervised Visual Representation Learning in Pre-training for 3D Human Pose and Shape Estimation [57.206129938611454]
  自己教師付き表現学習(SSL)法は、オブジェクト検出などの視覚タスクのためのImageNet分類前トレーニングよりも優れている。 我々は、SSLの効果を実証的に研究し分析し、3DHPSEの事前学習方法と比較した。 我々の観察では、現在のSSLの3DHPSEへの初歩的な適用に挑戦し、事前トレーニングの側面において、他のデータ型の価値を啓蒙する。
  論文  参考訳（メタデータ） (2023-03-09T16:17:52Z)
• How robust are pre-trained models to distribution shift? [82.08946007821184]
  自己教師付き学習(SSL)と自己エンコーダベースモデル(AE)の相互関係が相互関係に与える影響を示す。 本研究では, 線形ヘッドの潜在バイアスから事前学習したモデルの性能を分離するために, アウト・オブ・ディストリビューション(OOD)データに基づいて訓練された線形ヘッドを用いた新しい評価手法を開発した。
  論文  参考訳（メタデータ） (2022-06-17T16:18:28Z)
• Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for Open-Set Semi-Supervised Learning [101.28281124670647]
  オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。 我々は、OODデータの存在を効果的に活用し、特徴学習を増強する新しいトレーニングメカニズムを提案する。 我々のアプローチは、オープンセットSSLのパフォーマンスを大幅に向上させ、最先端技術よりも大きなマージンで性能を向上します。
  論文  参考訳（メタデータ） (2021-08-12T09:14:44Z)
• On Data-Augmentation and Consistency-Based Semi-Supervised Learning [77.57285768500225]
  最近提案された整合性に基づく半教師付き学習(SSL)手法は,複数のSSLタスクにおいて最先端技術である。 これらの進歩にもかかわらず、これらの手法の理解はまだ比較的限られている。
  論文  参考訳（メタデータ） (2021-01-18T10:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。