論文の概要: Unsupervised Meta-Learning via Dynamic Head and Heterogeneous Task Construction for Few-Shot Classification
- arxiv url: http://arxiv.org/abs/2410.02267v1
- Date: Sun, 13 Oct 2024 12:18:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-04 07:36:05.204697
- Title: Unsupervised Meta-Learning via Dynamic Head and Heterogeneous Task Construction for Few-Shot Classification
- Title（参考訳）: Few-Shot分類のための動的頭部・異種タスク構成による教師なしメタラーニング
- Authors: Yunchuan Guan, Yu Liu, Ketong Liu, Ke Zhou, Zhiqi Shen,
- Abstract要約: 教師なし不均一なタスク構成を持つ動的ヘッドメタ学習アルゴリズムDHM-UHTを提案する。
いくつかの教師なしゼロショットと少数ショットデータセットでは、DHM-UHTは最先端のパフォーマンスを得る。
- 参考スコア（独自算出の注目度）: 8.167963214348203
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Meta-learning has been widely used in recent years in areas such as few-shot learning and reinforcement learning. However, the questions of why and when it is better than other algorithms in few-shot classification remain to be explored. In this paper, we perform pre-experiments by adjusting the proportion of label noise and the degree of task heterogeneity in the dataset. We use the metric of Singular Vector Canonical Correlation Analysis to quantify the representation stability of the neural network and thus to compare the behavior of meta-learning and classical learning algorithms. We find that benefiting from the bi-level optimization strategy, the meta-learning algorithm has better robustness to label noise and heterogeneous tasks. Based on the above conclusion, we argue a promising future for meta-learning in the unsupervised area, and thus propose DHM-UHT, a dynamic head meta-learning algorithm with unsupervised heterogeneous task construction. The core idea of DHM-UHT is to use DBSCAN and dynamic head to achieve heterogeneous task construction and meta-learn the whole process of unsupervised heterogeneous task construction. On several unsupervised zero-shot and few-shot datasets, DHM-UHT obtains state-of-the-art performance. The code is released at https://github.com/tuantuange/DHM-UHT.
- Abstract（参考訳）: メタラーニングは、近年、少数ショットラーニングや強化ラーニングといった分野で広く使われている。
しかし、何故、いつ、他のアルゴリズムよりも良いのかという疑問は、まだ解決されていない。
本稿では,データセットにおけるラベルノイズの割合とタスクの不均一性の度合いを調整し,事前実験を行う。
我々は、Singular Vector Canonical correlation Analysisの計量を用いて、ニューラルネットワークの表現安定性を定量化し、メタラーニングと古典的な学習アルゴリズムの挙動を比較する。
両レベル最適化の利点により、メタ学習アルゴリズムはノイズや不均一なタスクのラベル付けに頑健であることがわかった。
以上の結論に基づき、教師なし領域におけるメタラーニングの未来を論じ、教師なしタスク構築を伴う動的ヘッドメタラーニングアルゴリズムDHM-UHTを提案する。
DHM-UHTの中核となる考え方は、DBSCANと動的ヘッドを使用して、異種タスク構築を実現し、教師なし異種タスク構築のプロセス全体をメタラーニングすることである。
いくつかの教師なしゼロショットと少数ショットデータセットでは、DHM-UHTは最先端のパフォーマンスを得る。
コードはhttps://github.com/tuantuange/DHM-UHT.comで公開されている。
関連論文リスト
- Meta-Learning with Heterogeneous Tasks [42.695853959923625]
HeTRoM(Heterogeneous Tasks Robust Meta-learning)
双方向最適化に基づく効率的な反復最適化アルゴリズム
その結果,提案手法の柔軟性が示され,多様なタスク設定に適応できることがわかった。
論文 参考訳（メタデータ） (2024-10-24T16:32:23Z) - Data-Efficient and Robust Task Selection for Meta-Learning [1.4557421099695473]
本稿では,データ効率とロバストタスク選択(DERTS)アルゴリズムを提案する。
DERTSはタスクプールからタスクプールの重み付けされたサブセットを選択し、メタトレーニング段階におけるタスクプールの全勾配の近似誤差を最小化する。
既存のアルゴリズムとは異なり、DERTSはトレーニングのためにアーキテクチャの変更を一切必要とせず、サポートセットとクエリセットの両方でノイズの多いラベルデータを処理できる。
論文 参考訳（メタデータ） (2024-05-11T19:47:27Z) - MOCA: Self-supervised Representation Learning by Predicting Masked Online Codebook Assignments [72.6405488990753]
自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。
所望のプロパティを統一する単段および単段のMOCAを提案する。
我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
論文 参考訳（メタデータ） (2023-07-18T15:46:20Z) - Learning to Learn with Indispensable Connections [6.040904021861969]
本稿では,メタ-LTHと呼ばれるメタ-LTHと呼ばれるメタ-ラーニング手法を提案する。
本手法は,オムニグロットデータセットの分類精度を約2%向上させる。
論文 参考訳（メタデータ） (2023-04-06T04:53:13Z) - Does MAML Only Work via Feature Re-use? A Data Centric Perspective [19.556093984142418]
メタ学習型MAMLの表現機能に光を当てた経験的結果を提供する。
機能再使用の低さをもたらす合成ベンチマークのファミリを定義することが可能であることを示す。
メタラーニングを再考する上での課題は、数ショットの学習データセットとベンチマークの設計にあると推測する。
論文 参考訳（メタデータ） (2021-12-24T20:18:38Z) - Energy-Efficient and Federated Meta-Learning via Projected Stochastic
Gradient Ascent [79.58680275615752]
エネルギー効率のよいメタラーニングフレームワークを提案する。
各タスクは別々のエージェントによって所有されていると仮定するため、メタモデルをトレーニングするために限られたタスクが使用される。
論文 参考訳（メタデータ） (2021-05-31T08:15:44Z) - Dif-MAML: Decentralized Multi-Agent Meta-Learning [54.39661018886268]
我々は,MAML や Dif-MAML と呼ばれる協調型マルチエージェントメタ学習アルゴリズムを提案する。
提案手法により, エージェントの集合が線形速度で合意に達し, 集約MAMLの定常点に収束できることを示す。
シミュレーションの結果は従来の非協調的な環境と比較して理論的な結果と優れた性能を示している。
論文 参考訳（メタデータ） (2020-10-06T16:51:09Z) - Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。
我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。
我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
論文 参考訳（メタデータ） (2020-10-01T15:59:31Z) - Unsupervised Meta-Learning through Latent-Space Interpolation in
Generative Models [11.943374020641214]
生成モデルを用いてメタタスクを生成する手法について述べる。
提案手法であるLAtent Space Interpolation Unsupervised Meta-learning (LASium)が,現在の教師なし学習ベースラインよりも優れているか,あるいは競合していることがわかった。
論文 参考訳（メタデータ） (2020-06-18T02:10:56Z) - Rethinking Few-Shot Image Classification: a Good Embedding Is All You
Need? [72.00712736992618]
メタトレーニングセット上で教師付きあるいは自己教師型表現を学習する単純なベースラインが、最先端の数ショット学習方法より優れていることを示す。
追加の増量は自己蒸留によって達成できる。
我々は,この発見が,画像分類ベンチマークとメタ学習アルゴリズムの役割を再考する動機となっていると考えている。
論文 参考訳（メタデータ） (2020-03-25T17:58:42Z) - Incremental Meta-Learning via Indirect Discriminant Alignment [118.61152684795178]
メタ学習のメタ学習段階において,段階的な学習の概念を発達させる。
我々のアプローチは、完全なメタトレーニングセットでモデルをトレーニングするのと比べて、テスト時に好適に機能する。
論文 参考訳（メタデータ） (2020-02-11T01:39:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。