論文の概要: Hypernetworks for Continual Semi-Supervised Learning

• arxiv url: http://arxiv.org/abs/2110.01856v1
• Date: Tue, 5 Oct 2021 07:42:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-06 21:40:32.052151
• Title: Hypernetworks for Continual Semi-Supervised Learning
• Title（参考訳）: 半教師付き学習のためのハイパーネットワーク
• Authors: Dhanajit Brahma, Vinay Kumar Verma, Piyush Rai
• Abstract要約: 我々は,MCSSL(Continuous Semi-Supervised Learning)のためのメタ・コンソリデーション(Meta-Consolidation)と呼ばれる,半教師付き連続学習のためのフレームワークを提案する。 本フレームワークは,半教師付き補助分類器生成逆数ネットワーク$(textitSemi-ACGAN)$の重みをベースネットワークとして生成するメタ分布を学習するハイパーネットワークである。 我々は、textitSemi-Split CIFAR-10$データセットを変更することで得られる、継続半教師付き学習のための新しいベンチマークである、$textitSemi-Split CIFAR-10$を示す。
• 参考スコア（独自算出の注目度）: 37.109190308781244
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning from data sequentially arriving, possibly in a non i.i.d. way, with changing task distribution over time is called continual learning. Much of the work thus far in continual learning focuses on supervised learning and some recent works on unsupervised learning. In many domains, each task contains a mix of labelled (typically very few) and unlabelled (typically plenty) training examples, which necessitates a semi-supervised learning approach. To address this in a continual learning setting, we propose a framework for semi-supervised continual learning called Meta-Consolidation for Continual Semi-Supervised Learning (MCSSL). Our framework has a hypernetwork that learns the meta-distribution that generates the weights of a semi-supervised auxiliary classifier generative adversarial network $(\textit{Semi-ACGAN})$ as the base network. We consolidate the knowledge of sequential tasks in the hypernetwork, and the base network learns the semi-supervised learning task. Further, we present $\textit{Semi-Split CIFAR-10}$, a new benchmark for continual semi-supervised learning, obtained by modifying the $\textit{Split CIFAR-10}$ dataset, in which the tasks with labelled and unlabelled data arrive sequentially. Our proposed model yields significant improvements in the continual semi-supervised learning setting. We compare the performance of several existing continual learning approaches on the proposed continual semi-supervised learning benchmark of the Semi-Split CIFAR-10 dataset.
• Abstract（参考訳）: 連続的なデータからの学習は、おそらくは非I.d.方法で、時間とともにタスクの分布が変化することを連続学習と呼ぶ。 これまでの継続的な学習における仕事の多くは、教師なし学習と、教師なし学習に関する最近の研究に焦点を当てている。 多くのドメインでは、各タスクにはラベル付き(典型的にはごく少数)と未学習(典型的には多用)のトレーニング例が混在しており、半教師付き学習アプローチを必要とする。 そこで本稿では,MCSSL(Meta-Consolidation for Continual Semi-Supervised Learning)と呼ばれる,半教師付き連続学習のためのフレームワークを提案する。 本フレームワークは,半教師付き補助分類器生成逆数ネットワーク$(\textit{Semi-ACGAN})$の重みをベースネットワークとして生成するメタ分布を学習するハイパーネットワークである。 我々は,ハイパーネットワークにおけるシーケンシャルタスクの知識を集約し,ベースネットワークはセミ教師付き学習タスクを学習する。 さらに、ラベル付きおよび非ラベル付きデータのタスクが順次送られるように、$\textit{Semi-Split CIFAR-10}$データセットを変更することで得られる、継続半教師付き学習のための新しいベンチマークである$\textit{Semi-Split CIFAR-10}$を示す。 提案モデルは,半教師付き学習環境において有意な改善をもたらす。 提案したセミスプリットCIFAR-10データセットの半教師付き学習ベンチマークにおいて,既存の連続学習手法の性能を比較した。

関連論文リスト

• COOLer: Class-Incremental Learning for Appearance-Based Multiple Object Tracking [32.47215340215641]
  本稿では,連続学習研究の範囲を,複数物体追跡(MOT)のためのクラス増分学習に拡張する。 オブジェクト検出器の連続学習のための従来のソリューションは、外見に基づくトラッカーのデータ関連ステージには対応していない。 我々は,Contrastive- and cOntinual-LearningベースのトラッカーであるCOOLerを紹介した。
  論文  参考訳（メタデータ） (2023-10-04T17:49:48Z)
• Multi-Level Contrastive Learning for Dense Prediction Task [59.591755258395594]
  本稿では,高密度予測タスクのための領域レベルの特徴表現を効率よく学習するための,MCL(Multi-Level Contrastive Learning for Dense Prediction Task)を提案する。 本手法は, 局所化, スケールの整合性, 認識の3つの要因に動機付けられている。 提案手法は,様々なデータセットにおける最近の最先端の手法よりも有意なマージンを有する。
  論文  参考訳（メタデータ） (2023-04-04T17:59:04Z)
• Knowledge Distillation via Instance-level Sequence Learning [25.411142312584698]
  事例レベルのシーケンス学習を通したカリキュラム学習知識蒸留フレームワークを提供する。 学生ネットワークの次のトレーニングフェーズのカリキュラムを作成するために、初期のエポックの学生ネットワークをスナップショットとして採用している。 いくつかの最先端の手法と比較して、我々のフレームワークはより少ないイテレーションで最高のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-06-21T06:58:26Z)
• Multimodal Clustering Networks for Self-supervised Learning from Unlabeled Videos [69.61522804742427]
  本稿では,共通のマルチモーダル埋め込み空間を学習する自己監督型トレーニングフレームワークを提案する。 インスタンスレベルのコントラスト学習の概念をマルチモーダルクラスタリングステップで拡張し,モダリティ間の意味的類似性を捉える。 結果として得られる埋め込みスペースは、見えないデータセットや異なるドメインからでも、すべてのモダリティにわたるサンプルの検索を可能にする。
  論文  参考訳（メタデータ） (2021-04-26T15:55:01Z)
• Continual Learning From Unlabeled Data Via Deep Clustering [7.704949298975352]
  継続的学習は、新しいタスクが到着するたびにモデルをスクラッチから再トレーニングするのではなく、少ない計算とメモリリソースを使って、新しいタスクをインクリメンタルに学習することを目的としている。 クラスタ割り当てから得られた擬似ラベルをモデル更新に用いて,教師なしモードで継続的学習を実現する新たなフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-14T23:46:17Z)
• Self-Supervised Training Enhances Online Continual Learning [37.91734641808391]
  連続学習では、システムは壊滅的な忘れずに、非定常データストリームから段階的に学習する必要があります。 自己教師付き事前トレーニングは、教師付き学習よりも一般化する機能をもたらす可能性がある。 我々の最善のシステムは、オンライン連続学習の最先端技術よりも、クラスインクリメンタルイメージネットにおいて、トップ1の精度を14.95%向上させる。
  論文  参考訳（メタデータ） (2021-03-25T17:45:27Z)
• Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
  現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。 ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。 さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
  論文  参考訳（メタデータ） (2020-12-31T08:21:37Z)
• Meta-Consolidation for Continual Learning [36.054541200030705]
  本稿では,MERLIN: Meta-Consolidation for Continual Learningを提案する。 私たちは、データポイントをモデルで一度しか見ることができない、挑戦的なオンライン連続学習環境で活動しています。 MNIST, CIFAR-10, CIFAR-100, Mini-ImageNetデータセットの連続学習ベンチマークによる実験により, 5つのベースラインに対して一貫した改善が得られた。
  論文  参考訳（メタデータ） (2020-10-01T12:34:35Z)
• Fully Convolutional Networks for Continuous Sign Language Recognition [83.85895472824221]
  連続手話認識は、空間次元と時間次元の両方の学習を必要とする困難なタスクである。 本稿では,オンラインSLRのための完全畳み込みネットワーク (FCN) を提案し,弱い注釈付きビデオシーケンスから空間的特徴と時間的特徴を同時に学習する。
  論文  参考訳（メタデータ） (2020-07-24T08:16:37Z)
• Semantic Drift Compensation for Class-Incremental Learning [48.749630494026086]
  ディープネットワークのクラス増分学習は、分類対象のクラス数を順次増加させる。 本研究では,特徴のセマンティックドリフト(セマンティックドリフト)と呼ばれるドリフトを推定し,その補正を行う新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-04-01T13:31:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。