論文の概要: Unleash Model Potential: Bootstrapped Meta Self-supervised Learning
- arxiv url: http://arxiv.org/abs/2308.14267v1
- Date: Mon, 28 Aug 2023 02:49:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-29 15:56:16.702408
- Title: Unleash Model Potential: Bootstrapped Meta Self-supervised Learning
- Title（参考訳）: unleash model potential: ブートストラップされたメタ自己教師付き学習
- Authors: Jingyao Wang, Zeen Song, Wenwen Qiang, Changwen Zheng
- Abstract要約: 機械学習の長期的な目標は、監督なしで少数のデータから一般的な視覚表現を学習することである。
自己指導型学習とメタラーニングは、この目標を達成するための2つの有望なテクニックであるが、どちらもメリットを部分的に捉えているだけである。
本稿では,人間の学習過程をシミュレートすることを目的とした,ブートストラップ型メタ自己監視学習フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 12.57396771974944
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The long-term goal of machine learning is to learn general visual
representations from a small amount of data without supervision, mimicking
three advantages of human cognition: i) no need for labels, ii) robustness to
data scarcity, and iii) learning from experience. Self-supervised learning and
meta-learning are two promising techniques to achieve this goal, but they both
only partially capture the advantages and fail to address all the problems.
Self-supervised learning struggles to overcome the drawbacks of data scarcity,
while ignoring prior knowledge that can facilitate learning and generalization.
Meta-learning relies on supervised information and suffers from a bottleneck of
insufficient learning. To address these issues, we propose a novel Bootstrapped
Meta Self-Supervised Learning (BMSSL) framework that aims to simulate the human
learning process. We first analyze the close relationship between meta-learning
and self-supervised learning. Based on this insight, we reconstruct tasks to
leverage the strengths of both paradigms, achieving advantages i and ii.
Moreover, we employ a bi-level optimization framework that alternates between
solving specific tasks with a learned ability (first level) and improving this
ability (second level), attaining advantage iii. To fully harness its power, we
introduce a bootstrapped target based on meta-gradient to make the model its
own teacher. We validate the effectiveness of our approach with comprehensive
theoretical and empirical study.
- Abstract（参考訳）: 機械学習の長期的な目標は、人間の認知の3つの利点を模倣して、少数のデータから一般的な視覚表現を学ぶことである。
i) ラベルは不要。
二 データの不足に対する堅牢性及び
iii)経験から学ぶこと。
自己監督学習とメタ学習は、この目標を達成するための2つの有望なテクニックであるが、どちらも部分的に利点を捉え、すべての問題に対処できない。
自己教師付き学習は、学習と一般化を促進する事前知識を無視しながら、データの不足の欠点を克服するために苦労する。
メタラーニングは教師付き情報に依存し、不十分な学習のボトルネックに苦しむ。
これらの課題に対処するために,人間の学習プロセスをシミュレートすることを目的とした,Bootstrapped Meta Self-Supervised Learning (BMSSL) フレームワークを提案する。
まず,メタ学習と自己指導学習の密接な関係を分析する。
この知見に基づいて、我々は両方のパラダイムの強みを活用し、iとiiの利点を達成するためにタスクを再構築する。
さらに、学習能力(第1レベル)で特定のタスクを解くことと、この能力(第2レベル)を改善することを交互に行う、双方向最適化フレームワークを採用しています。
そのパワーをフル活用するために、メタグラディエントに基づくブートストラップ型ターゲットを導入し、モデルを独自の教師にする。
提案手法の有効性を理論的および実証的研究により検証した。
関連論文リスト
- Multi-Stage Knowledge Integration of Vision-Language Models for Continual Learning [79.46570165281084]
蒸留法における人間の学習過程をエミュレートするマルチステージ知識統合ネットワーク(MulKI)を提案する。
Mulkiは、イデオロギーの排除、新しいイデオロギーの追加、イデオロギーの排除、コネクティクスの作りという4つの段階を通じてこれを達成している。
提案手法は,下流タスク間の連続学習をサポートしながら,ゼロショット能力の維持における大幅な改善を示す。
論文 参考訳（メタデータ） (2024-11-11T07:36:19Z) - A Unified Framework for Continual Learning and Machine Unlearning [9.538733681436836]
継続的学習と機械学習は機械学習において重要な課題であり、通常は別々に対処される。
制御された知識蒸留を活用することによって,両課題に共同で取り組む新しい枠組みを導入する。
我々のアプローチは、最小限の忘れ込みと効果的な標的未学習で効率的な学習を可能にする。
論文 参考訳（メタデータ） (2024-08-21T06:49:59Z) - Meta-Learning Loss Functions for Deep Neural Networks [2.4258031099152735]
この論文は、しばしば見過ごされる損失関数のコンポーネントを通して、メタ学習の概念を探求し、パフォーマンスを改善する。
損失関数は学習システムの重要な要素であり、一次学習の目的を表しており、その目的のために最適化するシステムの能力によって、成功が決定され、定量化される。
論文 参考訳（メタデータ） (2024-06-14T04:46:14Z) - Self-Tuning: Instructing LLMs to Effectively Acquire New Knowledge through Self-Teaching [67.11497198002165]
大きな言語モデル(LLM)は、一度のトレーニングのために最新の情報を提供するのに苦労することが多い。
効率的なヒューマンラーニングにおけるFeynman Techniqueの顕著な成功に感銘を受け、セルフチューニングを紹介した。
論文 参考訳（メタデータ） (2024-06-10T14:42:20Z) - Towards Lifecycle Unlearning Commitment Management: Measuring Sample-level Approximate Unlearning Completeness [30.596695293390415]
本稿では, ライフサイクル・アンラーニング・コミットメント・マネジメント(LUCM)の課題について紹介する。
サンプルレベルの未学習完全性を評価するための効率的な指標を提案する。
このメトリクスは、未学習ライフサイクル全体を通して、未学習の異常を監視するツールとして機能することを示す。
論文 参考訳（メタデータ） (2024-03-19T15:37:27Z) - Informed Meta-Learning [55.2480439325792]
メタラーニングとインシデントMLは、事前知識をMLパイプラインに組み込むための2つのアプローチとして際立っている。
我々は,非構造化知識表現からの事前の取り込みを容易にする,情報メタラーニングというハイブリッドパラダイムを定式化する。
データ効率、観測ノイズに対する堅牢性、タスク分散シフトを改善する上で、情報メタラーニングの潜在的な利点を実証する。
論文 参考訳（メタデータ） (2024-02-25T15:08:37Z) - Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。
知識の抽出と知識の記憶という2つの側面から問題に取り組む。
提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
論文 参考訳（メタデータ） (2022-08-27T09:27:36Z) - Understand and Improve Contrastive Learning Methods for Visual
Representation: A Review [1.4650545418986058]
手動ラベリングなしで効果的なデータ表現を学習できる可能性から、有望な自己教師型学習が人気を集めている。
本文献レビューは, 自己指導型学習の鍵となる構成要素と限界を理解するための研究者の取り組みについて, 最新の分析を行うことを目的としている。
論文 参考訳（メタデータ） (2021-06-06T21:59:49Z) - Self-supervised Learning: Generative or Contrastive [16.326494162366973]
自己指導型学習は近年,表現型学習の性能向上に寄与している。
我々は、コンピュータビジョン、自然言語処理、グラフ学習における表現のための新しい自己教師付き学習手法について検討する。
論文 参考訳（メタデータ） (2020-06-15T08:40:03Z) - Revisiting Meta-Learning as Supervised Learning [69.2067288158133]
メタラーニングと従来の教師付き学習の関連性を再考し,強化することで,原則的,統一的なフレームワークの提供を目指す。
タスク固有のデータセットとターゲットモデルを(機能、ラベル)サンプルとして扱うことで、多くのメタ学習アルゴリズムを教師付き学習のインスタンスに還元することができる。
この視点は、メタラーニングを直感的で実践的なフレームワークに統一するだけでなく、教師付き学習から直接洞察を伝達してメタラーニングを改善することができる。
論文 参考訳（メタデータ） (2020-02-03T06:13:01Z) - Automated Relational Meta-learning [95.02216511235191]
本稿では,クロスタスク関係を自動的に抽出し,メタ知識グラフを構築する自動リレーショナルメタ学習フレームワークを提案する。
我々は,2次元玩具の回帰と少数ショット画像分類に関する広範な実験を行い,ARMLが最先端のベースラインよりも優れていることを示す。
論文 参考訳（メタデータ） (2020-01-03T07:02:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。