論文の概要: Semi-Supervising Learning, Transfer Learning, and Knowledge Distillation with SimCLR

• arxiv url: http://arxiv.org/abs/2108.00587v1
• Date: Mon, 2 Aug 2021 01:37:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-04 02:12:24.527647
• Title: Semi-Supervising Learning, Transfer Learning, and Knowledge Distillation with SimCLR
• Title（参考訳）: SimCLRによる半教師学習, 移行学習, 知識蒸留
• Authors: Khoi Nguyen, Yen Nguyen, Bao Le
• Abstract要約: 半教師付き学習の分野における最近のブレークスルーは、最先端の従来の教師付き学習手法と一致する結果を得た。 SimCLRは、コンピュータビジョンのための最先端の半教師付き学習フレームワークである。
• 参考スコア（独自算出の注目度）: 2.578242050187029
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent breakthroughs in the field of semi-supervised learning have achieved results that match state-of-the-art traditional supervised learning methods. Most successful semi-supervised learning approaches in computer vision focus on leveraging huge amount of unlabeled data, learning the general representation via data augmentation and transformation, creating pseudo labels, implementing different loss functions, and eventually transferring this knowledge to more task-specific smaller models. In this paper, we aim to conduct our analyses on three different aspects of SimCLR, the current state-of-the-art semi-supervised learning framework for computer vision. First, we analyze properties of contrast learning on fine-tuning, as we understand that contrast learning is what makes this method so successful. Second, we research knowledge distillation through teacher-forcing paradigm. We observe that when the teacher and the student share the same base model, knowledge distillation will achieve better result. Finally, we study how transfer learning works and its relationship with the number of classes on different data sets. Our results indicate that transfer learning performs better when number of classes are smaller.
• Abstract（参考訳）: 半教師付き学習の分野における最近のブレークスルーは、最先端の従来の教師付き学習手法と一致する結果を得た。 コンピュータビジョンにおける最も成功した半教師付き学習アプローチは、膨大な量のラベル付きデータを活用すること、データ拡張と変換を通じて一般的な表現を学ぶこと、擬似ラベルを作成し、異なる損失関数を実装し、最終的にこれらの知識をタスク固有のより小さなモデルに転送することである。 本稿では,コンピュータビジョンのための最先端の半教師付き学習フレームワークであるsimclrの3つの異なる側面の分析を行う。 まず,コントラスト学習の特性を微調整で解析し,コントラスト学習がこのような手法を成功させる要因であることを理解する。 第二に, 教員育成パラダイムによる知識蒸留の研究である。 教師と生徒が同じベースモデルを共有すると、知識蒸留がより良い結果をもたらすことを観察する。 最後に、転送学習の仕組みと、異なるデータセット上のクラス数との関係について検討する。 その結果, 授業数が少ない場合, 転校学習の成績は良好であった。

関連論文リスト

• Recognizing Unseen Objects via Multimodal Intensive Knowledge Graph Propagation [68.13453771001522]
  画像の領域と対応するセマンティック埋め込みとをマッチングする多モード集中型ZSLフレームワークを提案する。 我々は、大規模な実世界のデータに基づいて、広範囲な実験を行い、そのモデルを評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:07:48Z)
• A Message Passing Perspective on Learning Dynamics of Contrastive Learning [60.217972614379065]
  特徴空間に対照的な目的を同等に配置すると、その学習力学は解釈可能な形式を持つことを示す。 この視点はまた、対照的な学習とメッセージパッシンググラフニューラルネットワーク(MP-GNN)の間の興味深い関係を確立する。
  論文  参考訳（メタデータ） (2023-03-08T08:27:31Z)
• On effects of Knowledge Distillation on Transfer Learning [0.0]
  本稿では,知識蒸留と伝達学習を組み合わせたTL+KDという機械学習アーキテクチャを提案する。 我々は,教師ネットワークの指導と知識を微調整中に利用することにより,学生ネットワークを改良し,精度などの検証性能を向上させることができることを示した。
  論文  参考訳（メタデータ） (2022-10-18T08:11:52Z)
• Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
  我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。 知識の抽出と知識の記憶という2つの側面から問題に取り組む。 提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
  論文  参考訳（メタデータ） (2022-08-27T09:27:36Z)
• Distill on the Go: Online knowledge distillation in self-supervised learning [1.1470070927586016]
  最近の研究では、より広範でより深いモデルは、小さなモデルよりも自己監督学習の恩恵を受けることが示されている。 単段階オンライン知識蒸留を用いた自己指導型学習パラダイムであるDistill-on-the-Go(DoGo)を提案する。 以上の結果から,ノイズラベルや限定ラベルの存在下でのパフォーマンス向上がみられた。
  論文  参考訳（メタデータ） (2021-04-20T09:59:23Z)
• Factors of Influence for Transfer Learning across Diverse Appearance Domains and Task Types [50.1843146606122]
  現在の最新のコンピュータビジョンモデルでは、簡単な転送学習が一般的です。 転校学習に関するこれまでの体系的な研究は限られており、作業が期待される状況は十分に理解されていない。 本論文では,非常に異なる画像領域にまたがる転送学習の広範な実験的研究を行う。
  論文  参考訳（メタデータ） (2021-03-24T16:24:20Z)
• Hard Negative Mixing for Contrastive Learning [29.91220669060252]
  我々は、コントラスト学習の重要な側面、すなわちハードネガティブの影響は、これまで無視されてきたと論じている。 計算オーバーヘッドを最小限に抑えながら、オンザフライで計算できる機能レベルでのハードネガティブな混合戦略を提案する。
  論文  参考訳（メタデータ） (2020-10-02T14:34:58Z)
• Knowledge Distillation Meets Self-Supervision [109.6400639148393]
  知識蒸留では、教師ネットワークから「暗黒の知識」を抽出し、学生ネットワークの学習を指導する。 一見異なる自己超越的なタスクが、単純だが強力なソリューションとして機能することを示します。 これらの自己超越信号の類似性を補助的タスクとして活用することにより、隠された情報を教師から生徒に効果的に転送することができる。
  論文  参考訳（メタデータ） (2020-06-12T12:18:52Z)
• Revisiting Meta-Learning as Supervised Learning [69.2067288158133]
  メタラーニングと従来の教師付き学習の関連性を再考し,強化することで,原則的,統一的なフレームワークの提供を目指す。 タスク固有のデータセットとターゲットモデルを(機能、ラベル)サンプルとして扱うことで、多くのメタ学習アルゴリズムを教師付き学習のインスタンスに還元することができる。 この視点は、メタラーニングを直感的で実践的なフレームワークに統一するだけでなく、教師付き学習から直接洞察を伝達してメタラーニングを改善することができる。
  論文  参考訳（メタデータ） (2020-02-03T06:13:01Z)
• Inter- and Intra-domain Knowledge Transfer for Related Tasks in Deep Character Recognition [2.320417845168326]
  ImageNetデータセットでディープニューラルネットワークを事前トレーニングすることは、ディープラーニングモデルをトレーニングするための一般的なプラクティスである。 1つのタスクで事前トレーニングを行い、新しいタスクで再トレーニングするテクニックは、トランスファーラーニング(transfer learning)と呼ばれる。 本稿では,文字認識タスクにおけるDeep Transfer Learningの有効性について分析する。
  論文  参考訳（メタデータ） (2020-01-02T14:18:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。