論文の概要: Semi-Supervised Learning with Multi-Head Co-Training
- arxiv url: http://arxiv.org/abs/2107.04795v3
- Date: Wed, 21 Aug 2024 06:13:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-22 23:35:54.734341
- Title: Semi-Supervised Learning with Multi-Head Co-Training
- Title(参考訳): マルチヘッド共同学習による半教師付き学習
- Authors: Mingcai Chen, Yuntao Du, Yi Zhang, Shuwei Qian, Chongjun Wang,
- Abstract要約: 自己学習から拡張されたコトレーニングは、半教師付き学習のフレームワークの1つである。
本稿では, 単純で効率的なマルチヘッド・コレーニングアルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 11.219776340005296
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Co-training, extended from self-training, is one of the frameworks for semi-supervised learning. Without natural split of features, single-view co-training works at the cost of training extra classifiers, where the algorithm should be delicately designed to prevent individual classifiers from collapsing into each other. To remove these obstacles which deter the adoption of single-view co-training, we present a simple and efficient algorithm Multi-Head Co-Training. By integrating base learners into a multi-head structure, the model is in a minimal amount of extra parameters. Every classification head in the unified model interacts with its peers through a "Weak and Strong Augmentation" strategy, in which the diversity is naturally brought by the strong data augmentation. Therefore, the proposed method facilitates single-view co-training by 1). promoting diversity implicitly and 2). only requiring a small extra computational overhead. The effectiveness of Multi-Head Co-Training is demonstrated in an empirical study on standard semi-supervised learning benchmarks.
- Abstract(参考訳): 自己学習から拡張されたコトレーニングは、半教師付き学習のフレームワークの1つである。
機能の自然な分割がなければ、シングルビューのコトレーニングは、個別の分類器同士が衝突しないようにアルゴリズムを微妙に設計する余分な分類器を訓練するコストがかかる。
単一視点協調学習の導入を阻害するこれらの障害を取り除くために, 単純かつ効率的なマルチヘッド協調学習アルゴリズムを提案する。
ベースラーナーをマルチヘッド構造に統合することにより、モデルは最小限の余分なパラメータに収まる。
統一モデルのすべての分類ヘッドは、強いデータ拡張によって自然に多様性がもたらされる「弱強増強」戦略を通じて、その仲間と相互作用する。
そこで本提案手法は,1) による一視点協調学習を容易にする。
多様性を暗黙的に推進し、2
計算オーバーヘッドが少なすぎるだけです
標準的な半教師付き学習ベンチマークにおいて,マルチヘッド・コレーニングの有効性を実証した。
関連論文リスト
- Semi-supervised learning made simple with self-supervised clustering [65.98152950607707]
自己教師付き学習モデルは、人間のアノテーションを必要とせずにリッチな視覚表現を学習することが示されている。
本稿では,クラスタリングに基づく自己教師付き手法を半教師付き学習者へと変換する,概念的に単純だが経験的に強力な手法を提案する。
論文 参考訳(メタデータ) (2023-06-13T01:09:18Z) - FedCBO: Reaching Group Consensus in Clustered Federated Learning through
Consensus-based Optimization [1.911678487931003]
フェデレーション学習は、複数のユーザから学習モデルをトレーニングし、各ユーザが独自のデータセットを持ち、データのプライバシやコミュニケーション損失の制約に敏感な方法で統合することを目指している。
本稿では,コンセンサスに基づく最適化(CBO)のアイデアに触発された,グローバルでクラスタ化されたフェデレーション学習問題に対する新しい解決策を提案する。
我々の新しいCBO型法は、グループに不利な相互作用粒子のシステムに基づいている。
論文 参考訳(メタデータ) (2023-05-04T15:02:09Z) - Few-shot Classification via Ensemble Learning with Multi-Order
Statistics [9.145742362513932]
基本クラスにおけるアンサンブル学習を活用することで,新たなクラスにおける真の誤りを低減できることを示す。
本稿では,多階統計を用いたアンサンブル学習法(ELMOS)を提案する。
提案手法は,複数ショットの分類ベンチマークデータセット上で,最先端の性能を実現することができることを示す。
論文 参考訳(メタデータ) (2023-04-30T11:41:01Z) - Deep Negative Correlation Classification [82.45045814842595]
既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。
深部負相関分類(DNCC)を提案する。
DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
論文 参考訳(メタデータ) (2022-12-14T07:35:20Z) - Towards All-in-one Pre-training via Maximizing Multi-modal Mutual
Information [77.80071279597665]
マルチモーダル相互情報事前学習(M3I事前学習)を最大化するオールインワン単段階事前学習手法を提案する。
提案手法は,ImageNet分類,オブジェクト検出,LVIS長鎖オブジェクト検出,ADE20kセマンティックセマンティックセマンティックセマンティクスなど,様々なビジョンベンチマークにおける事前学習手法よりも優れた性能を実現する。
論文 参考訳(メタデータ) (2022-11-17T18:59:49Z) - Efficient Self-Ensemble Framework for Semantic Segmentation [1.0819401241801994]
セマンティックセグメンテーションを強化するために,アンサンブル手法によって提供される性能向上を活用することを提案する。
我々のセルフアンサンブルフレームワークは,特徴ピラミッドネットワーク方式によって構築されたマルチスケール機能を活用している。
我々のモデルはエンド・ツー・エンドの訓練が可能であり、アンサンブルの従来の面倒なマルチステージ・トレーニングを緩和する。
論文 参考訳(メタデータ) (2021-11-26T00:35:09Z) - Partner-Assisted Learning for Few-Shot Image Classification [54.66864961784989]
人間の視覚能力を模倣し、徹底的な人間のアノテーションを必要とせずに効果的なモデルを学ぶために、わずかなショットラーニングが研究されている。
本稿では,新しいクラスのプロトタイプをラベル付きサンプルから推定できるように,要素表現を得るためのトレーニング戦略の設計に焦点をあてる。
本稿では,まずパートナーエンコーダのペアワイド類似性をモデル化し,ソフトアンカーとして機能する特徴を抽出し,その出力をソフトアンカーと整列させ,分類性能を最大化しようとする2段階トレーニング手法を提案する。
論文 参考訳(メタデータ) (2021-09-15T22:46:19Z) - Semi-Supervised Few-Shot Classification with Deep Invertible Hybrid
Models [4.189643331553922]
半教師付き小ショット分類のための潜在空間レベルで識別学習と生成学習を統合するディープ・インバーチブルハイブリッドモデルを提案する。
我々の主な独創性は、これらのコンポーネントを潜在空間レベルで統合することであり、過度な適合を防ぐのに有効である。
論文 参考訳(メタデータ) (2021-05-22T05:55:16Z) - Combining Deep Generative Models and Multi-lingual Pretraining for
Semi-supervised Document Classification [49.47925519332164]
半教師付き深層生成モデルと多言語事前学習を組み合わせることで,文書分類タスクのためのパイプラインを形成する。
当社のフレームワークは競争力が高く、複数の言語で低リソース設定の最先端のものよりも優れています。
論文 参考訳(メタデータ) (2021-01-26T11:26:14Z) - Unpaired Multi-modal Segmentation via Knowledge Distillation [77.39798870702174]
本稿では,不対向画像分割のための新しい学習手法を提案する。
提案手法では,CTおよびMRI間での畳み込みカーネルの共有により,ネットワークパラメータを多用する。
我々は2つの多クラスセグメンテーション問題に対するアプローチを広範囲に検証した。
論文 参考訳(メタデータ) (2020-01-06T20:03:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。