論文の概要: Debiasing, calibrating, and improving Semi-supervised Learning performance via simple Ensemble Projector

• arxiv url: http://arxiv.org/abs/2310.15764v1
• Date: Tue, 24 Oct 2023 12:11:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 19:11:31.570504
• Title: Debiasing, calibrating, and improving Semi-supervised Learning performance via simple Ensemble Projector
• Title（参考訳）: 単純なアンサンブルプロジェクタによる半教師あり学習性能の劣化・校正・改善
• Authors: Khanh-Binh Nguyen
• Abstract要約: 半教師付き学習(EPASS)のための簡単な手法であるEnsemble Projectorsを提案する。 EPASSは標準的な方法とは異なり、複数のプロジェクタからのアンサンブル埋め込みをメモリバンクに格納する。 EPASSは、一般化を改善し、特徴表現を強化し、パフォーマンスを向上する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Recent studies on semi-supervised learning (SSL) have achieved great success. Despite their promising performance, current state-of-the-art methods tend toward increasingly complex designs at the cost of introducing more network components and additional training procedures. In this paper, we propose a simple method named Ensemble Projectors Aided for Semi-supervised Learning (EPASS), which focuses mainly on improving the learned embeddings to boost the performance of the existing contrastive joint-training semi-supervised learning frameworks. Unlike standard methods, where the learned embeddings from one projector are stored in memory banks to be used with contrastive learning, EPASS stores the ensemble embeddings from multiple projectors in memory banks. As a result, EPASS improves generalization, strengthens feature representation, and boosts performance. For instance, EPASS improves strong baselines for semi-supervised learning by 39.47\%/31.39\%/24.70\% top-1 error rate, while using only 100k/1\%/10\% of labeled data for SimMatch, and achieves 40.24\%/32.64\%/25.90\% top-1 error rate for CoMatch on the ImageNet dataset. These improvements are consistent across methods, network architectures, and datasets, proving the general effectiveness of the proposed methods. Code is available at https://github.com/beandkay/EPASS.
• Abstract（参考訳）: 半教師付き学習(SSL)に関する最近の研究は大きな成功を収めている。 有望な性能にもかかわらず、現在の最先端の手法は、より多くのネットワークコンポーネントと追加のトレーニング手順を導入するコストを犠牲にして、ますます複雑な設計へと向かっている。 本稿では,既存のコントラスト付き半教師付き学習フレームワークの性能向上を目的として,EPASS(Ensemble Projectors Aided for Semi-supervised Learning)という簡単な手法を提案する。 1つのプロジェクタからの学習された埋め込みが対照的な学習で使用されるメモリバンクに格納される標準的な方法とは異なり、EPASSは複数のプロジェクタからのアンサンブル埋め込みをメモリバンクに格納する。 その結果、EPASSは一般化を改善し、特徴表現を強化し、性能を向上する。 例えばEPASSは、SimMatchのラベル付きデータの100k/1\%/10\%しか使用せず、半教師付き学習の強いベースラインを39.47\%/31.39\%/24.70\%のトップ-1エラーレートで改善し、ImageNetデータセット上でCoMatchの40.24\%/32.64\%/25.90\%のトップ1エラーレートを達成する。 これらの改善は、提案手法の一般的な有効性を証明するため、メソッド、ネットワークアーキテクチャ、データセット間で一貫性がある。 コードはhttps://github.com/beandkay/EPASSで入手できる。

関連論文リスト

• Weighted Ensemble Self-Supervised Learning [67.24482854208783]
  組み立ては、モデルパフォーマンスを高めるための強力なテクニックであることが証明されている。 我々は,データ依存型重み付きクロスエントロピー損失を許容するフレームワークを開発した。 提案手法は、ImageNet-1K上での複数の評価指標において、両者に優れる。
  論文  参考訳（メタデータ） (2022-11-18T02:00:17Z)
• Class-Aware Contrastive Semi-Supervised Learning [51.205844705156046]
  本研究では,擬似ラベル品質を向上し,実環境におけるモデルの堅牢性を高めるため,CCSSL(Class-Aware Contrastive Semi-Supervised Learning)と呼ばれる一般的な手法を提案する。 提案するCCSSLは,標準データセットCIFAR100とSTL10の最先端SSLメソッドに対して,大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2022-03-04T12:18:23Z)
• Contextualized Spatio-Temporal Contrastive Learning with Self-Supervision [106.77639982059014]
  時間的にきめ細かな表現を効果的に学習するためのConST-CLフレームワークを提案する。 まず、コンテキスト特徴によって導かれるインスタンス表現をあるビューから別のビューに変換することを学習するモデルを必要とする地域ベースの自己教師型タスクを設計する。 次に、全体的および局所的な表現の同時学習を効果的に調整するシンプルな設計を導入する。
  論文  参考訳（メタデータ） (2021-12-09T19:13:41Z)
• MIO : Mutual Information Optimization using Self-Supervised Binary Contrastive Learning [19.5917119072985]
  対が正かどうかを予測するために、比較学習を二項分類問題にモデル化する。 提案手法は,STL-10,CIFAR-10,CIFAR-100などのベンチマークデータセットにおいて,最先端のアルゴリズムよりも優れている。
  論文  参考訳（メタデータ） (2021-11-24T17:51:29Z)
• To be Critical: Self-Calibrated Weakly Supervised Learning for Salient Object Detection [95.21700830273221]
  弱教師付き有色物体検出(WSOD)は,画像レベルのアノテーションを用いた有色度モデルの開発を目的としている。 擬似ラベルとネットワーク予測の相互校正ループを明確に設定し,自己校正学習戦略を提案する。 十分に整合したアノテーションを持つはるかに小さなデータセットであっても、モデルがより優れたパフォーマンスと一般化性を達成するのに役立ちます。
  論文  参考訳（メタデータ） (2021-09-04T02:45:22Z)
• Improving Calibration for Long-Tailed Recognition [68.32848696795519]
  このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。 異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。 提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
  論文  参考訳（メタデータ） (2021-04-01T13:55:21Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)
• Building One-Shot Semi-supervised (BOSS) Learning up to Fully Supervised Performance [0.0]
  本研究では,Cifar-10とSVHNを用いた一発半教師付き学習(BOSS)の可能性を示す。 本手法は, クラスプロトタイプの精錬, クラスバランシング, 自己学習を組み合わせた手法である。 厳密な経験的評価は、ディープニューラルネットワークのトレーニングには大規模なデータセットのラベル付けは必要ないという証拠を提供する。
  論文  参考訳（メタデータ） (2020-06-16T17:56:00Z)
• Generalized Reinforcement Meta Learning for Few-Shot Optimization [3.7675996866306845]
  本稿では, 汎用的かつ柔軟な強化学習(RL)に基づくメタラーニングフレームワークを提案する。 我々のフレームワークは簡単にネットワークアーキテクチャ検索に拡張できる。
  論文  参考訳（メタデータ） (2020-05-04T03:21:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。