論文の概要: A Brief Summary of Interactions Between Meta-Learning and
Self-Supervised Learning
- arxiv url: http://arxiv.org/abs/2103.00845v1
- Date: Mon, 1 Mar 2021 08:31:28 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-06 00:09:18.013302
- Title: A Brief Summary of Interactions Between Meta-Learning and
Self-Supervised Learning
- Title（参考訳）: メタラーニングと自己教師付き学習の相互作用の概要
- Authors: Huimin Peng
- Abstract要約: 本稿ではメタラーニングと自己指導型学習の関連について概説する。
メタラーニングと自己教師付き学習モデルの統合は,モデル一般化能力の向上に最も貢献できることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper briefly reviews the connections between meta-learning and
self-supervised learning. Meta-learning can be applied to improve model
generalization capability and to construct general AI algorithms.
Self-supervised learning utilizes self-supervision from original data and
extracts higher-level generalizable features through unsupervised pre-training
or optimization of contrastive loss objectives. In self-supervised learning,
data augmentation techniques are widely applied and data labels are not
required since pseudo labels can be estimated from trained models on similar
tasks. Meta-learning aims to adapt trained deep models to solve diverse tasks
and to develop general AI algorithms. We review the associations of
meta-learning with both generative and contrastive self-supervised learning
models. Unlabeled data from multiple sources can be jointly considered even
when data sources are vastly different. We show that an integration of
meta-learning and self-supervised learning models can best contribute to the
improvement of model generalization capability. Self-supervised learning guided
by meta-learner and general meta-learning algorithms under self-supervision are
both examples of possible combinations.
- Abstract（参考訳）: 本稿ではメタラーニングと自己指導型学習の関連について概説する。
メタラーニングはモデル一般化能力の向上や汎用AIアルゴリズムの構築に応用できる。
自己監督学習は、元のデータから自己監督を活用し、非監視の事前トレーニングまたはコントラスト損失目標の最適化を通じて、より高いレベルの一般化機能を抽出します。
自己教師付き学習では、データ拡張技術が広く適用され、類似タスクの訓練モデルから擬似ラベルを推定できるため、データラベルは不要である。
メタラーニングは、さまざまなタスクを解決するために訓練されたディープモデルを適応し、一般的なAIアルゴリズムを開発することを目的としている。
生成的および対照的な自己監督型学習モデルによるメタラーニングの関連性を検討する。
複数のソースからのラベルなしデータは、データソースが大きく異なる場合でも、共同で考えることができる。
メタラーニングと自己教師付き学習モデルの統合は,モデル一般化能力の向上に最も貢献できることを示す。
meta-learnerが指導する自己教師付き学習と、自己監督下での一般的なメタ学習アルゴリズムは、どちらも考えられる組み合わせの例である。
関連論文リスト
- ConML: A Universal Meta-Learning Framework with Task-Level Contrastive Learning [49.447777286862994]
ConMLは、さまざまなメタ学習アルゴリズムに適用可能な、普遍的なメタ学習フレームワークである。
我々は、ConMLが最適化ベース、メートル法ベース、およびアモータイズベースメタ学習アルゴリズムとシームレスに統合できることを実証した。
論文 参考訳（メタデータ） (2024-10-08T12:22:10Z) - Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [49.043599241803825]
Iterative Contrastive Unlearning (ICU)フレームワークは3つのコアコンポーネントで構成されている。
知識未学習誘導モジュールは、未学習の損失を通じて特定の知識を除去する。
Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を維持する。
また、特定のデータ片の未学習範囲を動的に評価し、反復的な更新を行う反復未学習リファインメントモジュールも用意されている。
論文 参考訳（メタデータ） (2024-07-25T07:09:35Z) - Self-Supervised Representation Learning with Meta Comprehensive
Regularization [11.387994024747842]
既存の自己管理フレームワークに組み込まれたCompMod with Meta Comprehensive Regularization (MCR)というモジュールを導入する。
提案したモデルを双方向最適化機構により更新し,包括的特徴を捉える。
本稿では,情報理論と因果対実的視点から提案手法の理論的支援を行う。
論文 参考訳（メタデータ） (2024-03-03T15:53:48Z) - General-Purpose In-Context Learning by Meta-Learning Transformers [45.63069059498147]
本研究では,トランスフォーマーや他のブラックボックスモデルをメタトレーニングして,汎用的なインコンテキスト学習者として機能させることができることを示す。
一般化するアルゴリズム、記憶するアルゴリズム、メタトレーニングに失敗するアルゴリズム間の遷移を特徴付ける。
本稿では,学習アルゴリズムのメタトレーニングとメタ汎用化を改善するためのトレーニング分布の偏りなどの実践的介入を提案する。
論文 参考訳（メタデータ） (2022-12-08T18:30:22Z) - Distill on the Go: Online knowledge distillation in self-supervised
learning [1.1470070927586016]
最近の研究では、より広範でより深いモデルは、小さなモデルよりも自己監督学習の恩恵を受けることが示されている。
単段階オンライン知識蒸留を用いた自己指導型学習パラダイムであるDistill-on-the-Go(DoGo)を提案する。
以上の結果から,ノイズラベルや限定ラベルの存在下でのパフォーマンス向上がみられた。
論文 参考訳（メタデータ） (2021-04-20T09:59:23Z) - Learning to Generalize Unseen Domains via Memory-based Multi-Source
Meta-Learning for Person Re-Identification [59.326456778057384]
本稿では,メモリベースのマルチソースメタラーニングフレームワークを提案する。
また,メタテスト機能を多様化するメタバッチ正規化層(MetaBN)を提案する。
実験により、M$3$Lは、目に見えない領域に対するモデルの一般化能力を効果的に向上できることが示された。
論文 参考訳（メタデータ） (2020-12-01T11:38:16Z) - Self-organizing Democratized Learning: Towards Large-scale Distributed
Learning Systems [71.14339738190202]
民主化された学習(Dem-AI)は、大規模な分散および民主化された機械学習システムを構築するための基本原則を備えた全体主義的哲学を定めている。
本稿では,Dem-AI哲学にヒントを得た分散学習手法を提案する。
提案アルゴリズムは,従来のFLアルゴリズムと比較して,エージェントにおける学習モデルの一般化性能が向上することを示す。
論文 参考訳（メタデータ） (2020-07-07T08:34:48Z) - A Comprehensive Overview and Survey of Recent Advances in Meta-Learning [0.0]
メタラーニングはラーニング・トゥ・ラーン(Learning-to-Lern)とも呼ばれる。
メタラーニング手法は,ブラックボックスメタラーニング,メトリックベースメタラーニング,階層型メタラーニング,ベイズ的メタラーニングフレームワークである。
論文 参考訳（メタデータ） (2020-04-17T03:11:08Z) - Provable Meta-Learning of Linear Representations [114.656572506859]
我々は、複数の関連するタスクから共通の機能の集合を学習し、その知識を新しい未知のタスクに転送する、という2つの課題に対処する、高速でサンプル効率のアルゴリズムを提供する。
また、これらの線形特徴を学習する際のサンプルの複雑さに関する情報理論の下限も提供する。
論文 参考訳（メタデータ） (2020-02-26T18:21:34Z) - Revisiting Meta-Learning as Supervised Learning [69.2067288158133]
メタラーニングと従来の教師付き学習の関連性を再考し,強化することで,原則的,統一的なフレームワークの提供を目指す。
タスク固有のデータセットとターゲットモデルを(機能、ラベル)サンプルとして扱うことで、多くのメタ学習アルゴリズムを教師付き学習のインスタンスに還元することができる。
この視点は、メタラーニングを直感的で実践的なフレームワークに統一するだけでなく、教師付き学習から直接洞察を伝達してメタラーニングを改善することができる。
論文 参考訳（メタデータ） (2020-02-03T06:13:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。