Fugu-MT 論文翻訳(概要): Subspace Adaptation Prior for Few-Shot Learning

論文の概要: Subspace Adaptation Prior for Few-Shot Learning

arxiv url: http://arxiv.org/abs/2310.09028v1
Date: Fri, 13 Oct 2023 11:40:18 GMT
ステータス: 処理完了
システム内更新日: 2023-10-16 13:34:14.917281
Title: Subspace Adaptation Prior for Few-Shot Learning
Title（参考訳）: ファウショット学習のためのサブスペース適応
Authors: Mike Huisman, Aske Plaat, Jan N. van Rijn
Abstract要約: Subspace Adaptation Priorは、勾配に基づく新しいメタ学習アルゴリズムである。 SAPは, 画像分類設定において, 優位性, 競争性に優れることを示す。
参考スコア（独自算出の注目度）: 5.2997197698288945
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Gradient-based meta-learning techniques aim to distill useful prior knowledge from a set of training tasks such that new tasks can be learned more efficiently with gradient descent. While these methods have achieved successes in various scenarios, they commonly adapt all parameters of trainable layers when learning new tasks. This neglects potentially more efficient learning strategies for a given task distribution and may be susceptible to overfitting, especially in few-shot learning where tasks must be learned from a limited number of examples. To address these issues, we propose Subspace Adaptation Prior (SAP), a novel gradient-based meta-learning algorithm that jointly learns good initialization parameters (prior knowledge) and layer-wise parameter subspaces in the form of operation subsets that should be adaptable. In this way, SAP can learn which operation subsets to adjust with gradient descent based on the underlying task distribution, simultaneously decreasing the risk of overfitting when learning new tasks. We demonstrate that this ability is helpful as SAP yields superior or competitive performance in few-shot image classification settings (gains between 0.1% and 3.9% in accuracy). Analysis of the learned subspaces demonstrates that low-dimensional operations often yield high activation strengths, indicating that they may be important for achieving good few-shot learning performance. For reproducibility purposes, we publish all our research code publicly.
Abstract（参考訳）: グラディエントに基づくメタラーニング技術は、学習課題の集合から有用な事前知識を抽出し、勾配降下によって新しいタスクをより効率的に学習することを目的としている。これらの手法は様々なシナリオで成功したが、新しいタスクを学ぶ際にトレーニング可能なレイヤのパラメータをすべて適応することが一般的である。これは、与えられたタスク分布に対する潜在的に効率的な学習戦略を無視し、特に限られた数例からタスクを学ばなければならない少数の学習において、過度に適合する可能性がある。これらの問題に対処するために,我々は,適切な初期化パラメータ(優先知識)とレイヤワイズパラメータのサブスペースを,適応すべき操作部分集合の形で共同で学習する,新しい勾配に基づくメタ学習アルゴリズムであるsubspace adapt prior (sap)を提案する。このようにして、sapは、基礎となるタスク分散に基づいて勾配降下で調整する操作サブセットを学習でき、新しいタスクを学習するときにオーバーフィットするリスクを低減できる。 SAPは画像の分類設定(精度0.1%から3.9%)において、優れた性能または競争性能を得るので、この能力は有用であることを示す。学習した部分空間の解析は、低次元操作がしばしば高い活性化強度をもたらすことを示し、それらが良好な数発の学習性能を達成するために重要であることを示している。再現性のために、我々はすべての研究コードを公開している。

関連論文リスト

Meta-Learning Neural Procedural Biases [9.876317838854018]
我々は、メタ学習タスクの手続きバイアスを考慮に入れた新しいフレームワークであるNeural Procedural Bias Meta-Learningを提案する。ニューラルネットワークの手続き的バイアスをメタラーニングすることにより、学習タスクの分布に対して強い帰納的バイアスを生じさせ、よく確立された数発の学習ベンチマークで堅牢な学習性能を実現することができることを示す。
論文参考訳（メタデータ） (2024-06-12T08:09:29Z)
Clustering-based Domain-Incremental Learning [4.835091081509403]
連続学習における鍵となる課題は、いわゆる「破滅的な忘れ問題」である。動的に更新されたサンプルや勾配の有限プールに対するオンラインクラスタリングに基づくアプローチを提案する。提案手法の有効性と将来性を示す。
論文参考訳（メタデータ） (2023-09-21T13:49:05Z)
Learning to Learn with Indispensable Connections [6.040904021861969]
本稿では,メタ-LTHと呼ばれるメタ-LTHと呼ばれるメタ-ラーニング手法を提案する。本手法は,オムニグロットデータセットの分類精度を約2%向上させる。
論文参考訳（メタデータ） (2023-04-06T04:53:13Z)
Reinforcement Learning with Success Induced Task Prioritization [68.8204255655161]
本稿では,自動カリキュラム学習のためのフレームワークであるSuccess induced Task Prioritization (SITP)を紹介する。アルゴリズムはエージェントに最速の学習を提供するタスクの順序を選択する。我々は,SITPが他のカリキュラム設計手法と一致するか,あるいは上回っていることを実証する。
論文参考訳（メタデータ） (2022-12-30T12:32:43Z)
Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
論文参考訳（メタデータ） (2022-03-30T23:16:07Z)
Meta Navigator: Search for a Good Adaptation Policy for Few-shot Learning [113.05118113697111]
少ないショット学習は、ラベル付きデータしか持たない新しいタスクに、以前のタスクから学んだ知識を適応させることを目的としている。少数ショット学習に関する研究文献は、大きな多様性を示し、異なるアルゴリズムは、しばしば異なる少数ショット学習シナリオで優れている。本稿では,メタナビゲータ(Meta Navigator)について紹介する。
論文参考訳（メタデータ） (2021-09-13T07:20:01Z)
TAG: Task-based Accumulated Gradients for Lifelong learning [21.779858050277475]
タスク間の関連性に基づいて学習率を適応させるタスク認識システムを提案する。提案する適応学習率は, 破滅的な記憶の喪失だけでなく, 正の後方移動にも寄与することを示した。
論文参考訳（メタデータ） (2021-05-11T16:10:32Z)
Rectification-based Knowledge Retention for Continual Learning [49.1447478254131]
ディープラーニングモデルは、インクリメンタルな学習環境で訓練されたときに壊滅的な忘れに苦しむ。タスクインクリメンタル学習問題に対処するための新しいアプローチを提案する。これは、インクリメンタルに到着する新しいタスクに関するモデルをトレーニングすることを含む。私たちのアプローチは、ゼロショットと非ゼロショットタスクインクリメンタルラーニング設定の両方で使用できます。
論文参考訳（メタデータ） (2021-03-30T18:11:30Z)
Efficient Feature Transformations for Discriminative and Generative Continual Learning [98.10425163678082]
継続的学習のための簡易タスク特化機能マップ変換戦略を提案する。これらは新しいタスクを学習するための強力な柔軟性を提供し、ベースアーキテクチャに最小パラメータを追加することで実現される。本手法の有効性と効率を,判別(cifar-100およびimagenet-1k)および生成的タスクの一連の実験を用いて実証する。
論文参考訳（メタデータ） (2021-03-25T01:48:14Z)
Gradient Projection Memory for Continual Learning [5.43185002439223]
過去のタスクを忘れずに継続的に学習する能力は、人工学習システムにとって望ましい属性です。ニューラルネットワークは,従来のタスクにとって重要と考えられる勾配部分空間に直交方向の勾配を向けることで,新しいタスクを学習する手法を提案する。
論文参考訳（メタデータ） (2021-03-17T16:31:29Z)
Meta-learning the Learning Trends Shared Across Tasks [123.10294801296926]
グラディエントベースのメタ学習アルゴリズムは、限られたデータで新しいタスクに素早く適応する。既存のメタ学習アプローチは、適応中の現在のタスク情報にのみ依存する。パターン認識型メタラーニング手法を提案する。
論文参考訳（メタデータ） (2020-10-19T08:06:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。