論文の概要: A Survey on Self-supervised Pre-training for Sequential Transfer Learning in Neural Networks

• arxiv url: http://arxiv.org/abs/2007.00800v1
• Date: Wed, 1 Jul 2020 22:55:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-14 22:17:10.851736
• Title: A Survey on Self-supervised Pre-training for Sequential Transfer Learning in Neural Networks
• Title（参考訳）: ニューラルネットワークにおけるシーケンス転送学習のための自己教師付き事前学習に関する調査
• Authors: Huanru Henry Mao
• Abstract要約: 移動学習のための自己教師付き事前学習は、ラベルのないデータを用いて最先端の結果を改善する技術として、ますます人気が高まっている。 本稿では,自己指導型学習と伝達学習の分類学の概要を述べるとともに,各領域にまたがる事前学習タスクを設計するためのいくつかの顕著な手法を強調した。
• 参考スコア（独自算出の注目度）: 1.1802674324027231
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks are typically trained under a supervised learning framework where a model learns a single task using labeled data. Instead of relying solely on labeled data, practitioners can harness unlabeled or related data to improve model performance, which is often more accessible and ubiquitous. Self-supervised pre-training for transfer learning is becoming an increasingly popular technique to improve state-of-the-art results using unlabeled data. It involves first pre-training a model on a large amount of unlabeled data, then adapting the model to target tasks of interest. In this review, we survey self-supervised learning methods and their applications within the sequential transfer learning framework. We provide an overview of the taxonomy for self-supervised learning and transfer learning, and highlight some prominent methods for designing pre-training tasks across different domains. Finally, we discuss recent trends and suggest areas for future investigation.
• Abstract（参考訳）: ディープニューラルネットワークは通常、ラベル付きデータを使用してモデルが単一のタスクを学習する教師付き学習フレームワークの下でトレーニングされる。 ラベル付きデータのみに頼るのではなく、ラベルなしのデータや関連するデータをモデルパフォーマンスを改善するために利用することができる。 転送学習のための自己教師付き事前学習は,ラベルなしデータを用いた最先端の成果を改善するための技術として,ますます人気が高まっている。 まず、大量のラベルのないデータ上でモデルを事前トレーニングし、次に関心のあるタスクをターゲットにモデルを適用する。 本稿では,シーケンシャルトランスファー学習フレームワークにおける自己指導型学習手法とその応用について検討する。 本稿では,自己教師あり学習と転校学習の分類法の概要を述べるとともに,各領域にまたがる事前学習タスクの設計方法について紹介する。 最後に,近年の動向を論じ,今後の調査分野を提案する。

関連論文リスト

• Premonition: Using Generative Models to Preempt Future Data Changes in Continual Learning [63.850451635362425]
  継続的な学習には、データ分散の継続的な変化に対応するためのモデルが必要である。 本稿では,大規模言語モデルと画像生成モデルの組み合わせが有用であることを示す。 トレーニング済みネットワークのバックボーンは、下流の連続学習問題に有用な表現を学習できることがわかった。
  論文  参考訳（メタデータ） (2024-03-12T06:29:54Z)
• PILOT: A Pre-Trained Model-Based Continual Learning Toolbox [71.63186089279218]
  本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。 一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。 一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
  論文  参考訳（メタデータ） (2023-09-13T17:55:11Z)
• Transfer Learning between Motor Imagery Datasets using Deep Learning -- Validation of Framework and Comparison of Datasets [0.0]
  本稿では,コンピュータビジョンによく用いられる,シンプルなディープラーニングベースのフレームワークを提案する。 精神画像復号処理におけるデータセット間変換学習の有効性を実証する。
  論文  参考訳（メタデータ） (2023-09-04T20:58:57Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• Beyond Transfer Learning: Co-finetuning for Action Localisation [64.07196901012153]
  同時に、複数のアップストリームとダウンストリームのタスクで1つのモデルをトレーニングする。 共ファインタニングは、同じデータ量を使用する場合、従来のトランスファーラーニングよりも優れていることを示す。 さらに、複数のアップストリームデータセットへのアプローチを簡単に拡張して、パフォーマンスをさらに向上する方法も示しています。
  論文  参考訳（メタデータ） (2022-07-08T10:25:47Z)
• Unified Instance and Knowledge Alignment Pretraining for Aspect-based Sentiment Analysis [96.53859361560505]
  Aspect-based Sentiment Analysis (ABSA) は、ある側面に対する感情の極性を決定することを目的としている。 事前トレーニングと下流ABSAデータセットの間には、常に深刻なドメインシフトが存在する。 我々は,バニラ・プレトレイン・ファインチューンパイプラインにアライメント事前訓練フレームワークを導入する。
  論文  参考訳（メタデータ） (2021-10-26T04:03:45Z)
• Coarse-to-Fine Curriculum Learning [26.213618168827026]
  本稿では,課題をより簡単な中間目標のシーケンスに分解する新しいカリキュラム学習手法を提案する。 分類タスクに焦点をあて、自動構築されたラベル階層を用いて中間タスクを設計する。 特にラベルの分類問題において顕著な性能向上を示した。
  論文  参考訳（メタデータ） (2021-06-08T03:09:38Z)
• Parrot: Data-Driven Behavioral Priors for Reinforcement Learning [79.32403825036792]
  そこで本研究では,実験で得られた複雑なインプット・アウトプット関係を事前に学習する手法を提案する。 RLエージェントが新規な動作を試す能力を阻害することなく、この学習が新しいタスクを迅速に学習するのにどのように役立つかを示す。
  論文  参考訳（メタデータ） (2020-11-19T18:47:40Z)
• Minimax Lower Bounds for Transfer Learning with Linear and One-hidden Layer Neural Networks [27.44348371795822]
  転送学習の限界を特徴付けるための統計的ミニマックスフレームワークを開発する。 ラベル付きソース数とターゲットデータの関数として,任意のアルゴリズムで達成可能なターゲット一般化誤差に対して,低いバウンドを導出する。
  論文  参考訳（メタデータ） (2020-06-16T22:49:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。