論文の概要: Semi-Supervised Learning with Multi-Head Co-Training

• arxiv url: http://arxiv.org/abs/2107.04795v3
• Date: Wed, 21 Aug 2024 06:13:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-22 23:35:54.734341
• Title: Semi-Supervised Learning with Multi-Head Co-Training
• Title（参考訳）: マルチヘッド共同学習による半教師付き学習
• Authors: Mingcai Chen, Yuntao Du, Yi Zhang, Shuwei Qian, Chongjun Wang,
• Abstract要約: 自己学習から拡張されたコトレーニングは、半教師付き学習のフレームワークの1つである。 本稿では, 単純で効率的なマルチヘッド・コレーニングアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 11.219776340005296
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Co-training, extended from self-training, is one of the frameworks for semi-supervised learning. Without natural split of features, single-view co-training works at the cost of training extra classifiers, where the algorithm should be delicately designed to prevent individual classifiers from collapsing into each other. To remove these obstacles which deter the adoption of single-view co-training, we present a simple and efficient algorithm Multi-Head Co-Training. By integrating base learners into a multi-head structure, the model is in a minimal amount of extra parameters. Every classification head in the unified model interacts with its peers through a "Weak and Strong Augmentation" strategy, in which the diversity is naturally brought by the strong data augmentation. Therefore, the proposed method facilitates single-view co-training by 1). promoting diversity implicitly and 2). only requiring a small extra computational overhead. The effectiveness of Multi-Head Co-Training is demonstrated in an empirical study on standard semi-supervised learning benchmarks.
• Abstract（参考訳）: 自己学習から拡張されたコトレーニングは、半教師付き学習のフレームワークの1つである。 機能の自然な分割がなければ、シングルビューのコトレーニングは、個別の分類器同士が衝突しないようにアルゴリズムを微妙に設計する余分な分類器を訓練するコストがかかる。 単一視点協調学習の導入を阻害するこれらの障害を取り除くために, 単純かつ効率的なマルチヘッド協調学習アルゴリズムを提案する。 ベースラーナーをマルチヘッド構造に統合することにより、モデルは最小限の余分なパラメータに収まる。 統一モデルのすべての分類ヘッドは、強いデータ拡張によって自然に多様性がもたらされる「弱強増強」戦略を通じて、その仲間と相互作用する。 そこで本提案手法は,1) による一視点協調学習を容易にする。 多様性を暗黙的に推進し、2 計算オーバーヘッドが少なすぎるだけです 標準的な半教師付き学習ベンチマークにおいて,マルチヘッド・コレーニングの有効性を実証した。

関連論文リスト

• Unified Multi-modal Unsupervised Representation Learning for Skeleton-based Action Understanding [62.70450216120704]
  教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。 我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。 UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
  論文  参考訳（メタデータ） (2023-11-06T13:56:57Z)
• FedCBO: Reaching Group Consensus in Clustered Federated Learning through Consensus-based Optimization [1.911678487931003]
  フェデレーション学習は、複数のユーザから学習モデルをトレーニングし、各ユーザが独自のデータセットを持ち、データのプライバシやコミュニケーション損失の制約に敏感な方法で統合することを目指している。 本稿では,コンセンサスに基づく最適化(CBO)のアイデアに触発された,グローバルでクラスタ化されたフェデレーション学習問題に対する新しい解決策を提案する。 我々の新しいCBO型法は、グループに不利な相互作用粒子のシステムに基づいている。
  論文  参考訳（メタデータ） (2023-05-04T15:02:09Z)
• FedIN: Federated Intermediate Layers Learning for Model Heterogeneity [7.781409257429762]
  フェデレートラーニング(FL)は、エッジデバイスがローカルおよびプライベートにトレーニングデータを維持しながら、グローバルな共有モデルを協調的にトレーニングすることを促進する。 本研究では,FedIN(Federated Intermediate Layers Learning)と呼ばれるFL手法を提案する。 実験結果から, 異種モデル環境におけるFedINの性能は, 最先端のアルゴリズムと比較して優れていた。
  論文  参考訳（メタデータ） (2023-04-03T07:20:43Z)
• Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
  フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。 このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。 本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T08:41:19Z)
• Towards All-in-one Pre-training via Maximizing Multi-modal Mutual Information [77.80071279597665]
  マルチモーダル相互情報事前学習(M3I事前学習)を最大化するオールインワン単段階事前学習手法を提案する。 提案手法は,ImageNet分類,オブジェクト検出,LVIS長鎖オブジェクト検出,ADE20kセマンティックセマンティックセマンティックセマンティクスなど,様々なビジョンベンチマークにおける事前学習手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-11-17T18:59:49Z)
• Effective Adaptation in Multi-Task Co-Training for Unified Autonomous Driving [103.745551954983]
  本稿では,3つの下流タスクにおけるMoCoやSimCLRなど,多種多様な自己監督手法の転送性能について検討する。 彼らのパフォーマンスは、サブ最適か、あるいはシングルタスクベースラインよりもはるかに遅れていることに気付きました。 汎用マルチタスクトレーニングのための,単純かつ効果的な事前訓練-適応-ファインチューンパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-09-19T12:15:31Z)
• i-Code: An Integrative and Composable Multimodal Learning Framework [99.56065789066027]
  i-Codeは、視覚、音声、言語を統一的で汎用的なベクトル表現に柔軟に組み合わせられる自己教師型事前学習フレームワークである。 システム全体は、マスク付きモダリティ・ユニット・モデリングやクロスモダリティ・コントラスト・ラーニングなどの新しい目的により、エンドツーエンドで事前訓練されている。 実験の結果、i-Codeは5つのビデオ理解タスクとGLUE NLPベンチマークで最先端技術を上回る性能を示し、最大11%改善した。
  論文  参考訳（メタデータ） (2022-05-03T23:38:50Z)
• Efficient Diversity-Driven Ensemble for Deep Neural Networks [28.070540722925152]
  アンサンブルの多様性と効率の両方に対処するために,効率的なダイバーシティ駆動型アンサンブル(EDDE)を提案する。 他のよく知られたアンサンブル法と比較して、EDDEは訓練コストの低い最も高いアンサンブル精度を得ることができる。 EDDE on Computer Vision (CV) and Natural Language Processing (NLP) task。
  論文  参考訳（メタデータ） (2021-12-26T04:28:47Z)
• Dual Path Structural Contrastive Embeddings for Learning Novel Objects [6.979491536753043]
  近年の研究では、優れた特徴空間の情報を取得することが、少数のタスクにおいて良好なパフォーマンスを達成するための効果的な解決法であることが示されている。 特徴表現と分類器を学習するタスクを分離する,単純だが効果的なパラダイムを提案する。 提案手法は, インダクティブ推論とトランスダクティブ推論のいずれにおいても, 標準および一般化された少数ショット問題に対して有望な結果が得られる。
  論文  参考訳（メタデータ） (2021-12-23T04:43:31Z)
• Curriculum Meta-Learning for Few-shot Classification [1.5039745292757671]
  本稿では,最新のメタ学習技術に適用可能なカリキュラム学習フレームワークの適応性を提案する。 数発の画像分類タスクにおけるMAMLアルゴリズムによる実験は,カリキュラムの学習フレームワークにおいて有意な効果を示した。
  論文  参考訳（メタデータ） (2021-12-06T10:29:23Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。