論文の概要: Multi-Task Meta-Learning Modification with Stochastic Approximation
- arxiv url: http://arxiv.org/abs/2110.13188v1
- Date: Mon, 25 Oct 2021 18:11:49 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-27 13:21:40.141900
- Title: Multi-Task Meta-Learning Modification with Stochastic Approximation
- Title（参考訳）: 確率近似によるマルチタスクメタラーニング修正
- Authors: Andrei Boiarov, Konstantin Khabarlak, Igor Yastrebov
- Abstract要約: 数ショットの学習問題は、メタ学習アルゴリズムの主要なベンチマークの1つである。
本稿では、トレーニング中にマルチタスクアプローチをとる標準的なメタ学習パイプラインの修正について検討する。
提案手法は,共通損失関数における複数のメタ学習タスクの情報の同時利用を行う。
これらの重みの適切な最適化は、モデル全体のトレーニングに大きな影響を与え、テスト時間タスクの品質を改善する可能性がある。
- 参考スコア（独自算出の注目度）: 0.7734726150561089
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Meta-learning methods aim to build learning algorithms capable of quickly
adapting to new tasks in low-data regime. One of the main benchmarks of such an
algorithms is a few-shot learning problem. In this paper we investigate the
modification of standard meta-learning pipeline that takes a multi-task
approach during training. The proposed method simultaneously utilizes
information from several meta-training tasks in a common loss function. The
impact of each of these tasks in the loss function is controlled by the
corresponding weight. Proper optimization of these weights can have a big
influence on training of the entire model and might improve the quality on test
time tasks. In this work we propose and investigate the use of methods from the
family of simultaneous perturbation stochastic approximation (SPSA) approaches
for meta-train tasks weights optimization. We have also compared the proposed
algorithms with gradient-based methods and found that stochastic approximation
demonstrates the largest quality boost in test time. Proposed multi-task
modification can be applied to almost all methods that use meta-learning
pipeline. In this paper we study applications of this modification on
Prototypical Networks and Model-Agnostic Meta-Learning algorithms on CIFAR-FS,
FC100, tieredImageNet and miniImageNet few-shot learning benchmarks. During
these experiments, multi-task modification has demonstrated improvement over
original methods. The proposed SPSA-Tracking algorithm shows the largest
accuracy boost. Our code is available online.
- Abstract（参考訳）: メタラーニング手法は、低データ体制下で新しいタスクに迅速に適応できる学習アルゴリズムを構築することを目的としている。
このようなアルゴリズムの主なベンチマークの1つは、数発学習の問題である。
本稿では、トレーニング中にマルチタスクアプローチをとる標準メタラーニングパイプラインの修正について検討する。
提案手法は,共通損失関数における複数のメタ学習タスクの情報の同時利用を行う。
これらのタスクの損失関数に対する影響は、対応する重みによって制御される。
これらの重みの適切な最適化は、モデル全体のトレーニングに大きな影響を与え、テスト時間タスクの品質を改善する可能性がある。
本研究では,同時摂動確率近似法 (spsa) を用いたメタトレーニングタスクの重み付け最適化手法を提案する。
また,提案アルゴリズムを勾配に基づく手法と比較し,確率近似がテスト時間における最大品質向上を示すことを示した。
提案されたマルチタスク修正は、メタ学習パイプラインを使用するほぼすべてのメソッドに適用できる。
本稿では、CIFAR-FS, FC100, tieredImageNet および miniImageNet を用いたプロトタイプネットワークとモデル非依存メタラーニングアルゴリズムの応用について述べる。
これらの実験において、マルチタスク修正は元の手法よりも改善されている。
提案するspsa追跡アルゴリズムは,最大精度向上を示す。
私たちのコードはオンラインで入手できる。
関連論文リスト
- Fast Adaptation with Kernel and Gradient based Meta Leaning [4.763682200721131]
モデルAメタラーニング(MAML)の内輪と外輪の両方を改善するための2つのアルゴリズムを提案する。
最初のアルゴリズムは関数空間の最適化問題を再定義し、閉形式解を用いてモデルを更新する。
外ループでは、内ループの各タスクの損失に重みを割り当てることで、第2のアルゴリズムがメタラーナーの学習を調整する。
論文 参考訳（メタデータ） (2024-11-01T07:05:03Z) - Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。
本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
論文 参考訳（メタデータ） (2024-10-29T14:41:44Z) - Robust Analysis of Multi-Task Learning Efficiency: New Benchmarks on Light-Weighed Backbones and Effective Measurement of Multi-Task Learning Challenges by Feature Disentanglement [69.51496713076253]
本稿では,既存のMTL手法の効率性に焦点をあてる。
バックボーンを小さくしたメソッドの大規模な実験と,MetaGraspNetデータセットを新しいテストグラウンドとして実施する。
また,MTLにおける課題の新規かつ効率的な識別子として,特徴分散尺度を提案する。
論文 参考訳（メタデータ） (2024-02-05T22:15:55Z) - Learning to Learn with Indispensable Connections [6.040904021861969]
本稿では,メタ-LTHと呼ばれるメタ-LTHと呼ばれるメタ-ラーニング手法を提案する。
本手法は,オムニグロットデータセットの分類精度を約2%向上させる。
論文 参考訳（メタデータ） (2023-04-06T04:53:13Z) - Gradient-Based Meta-Learning Using Uncertainty to Weigh Loss for
Few-Shot Learning [5.691930884128995]
Model-Agnostic Meta-Learning (MAML)は、数発の学習において最も成功したメタラーニング手法の1つである。
タスク固有の学習者に対して,タスクの損失を最小限に抑えるパラメータの選択を適応的に学習する手法を提案する。
メソッド1はメタロス差を比較して重みを生成し、クラスが少ない場合の精度を向上させる。
方法2は、各タスクの相補的不確実性を導入し、元の勾配降下に基づいて複数の損失を重み付けする。
論文 参考訳（メタデータ） (2022-08-17T08:11:51Z) - Dynamic Multi-Scale Loss Optimization for Object Detection [14.256807110937622]
マルチスケール検出器訓練の客観的不均衡について検討する。
本稿では, 適応可変重み付け (AVW) を提案する。
トレーニング中に重み付け方式を確率的に決定する新しい強化学習最適化(RLO)を開発した。
論文 参考訳（メタデータ） (2021-08-09T13:12:41Z) - Energy-Efficient and Federated Meta-Learning via Projected Stochastic
Gradient Ascent [79.58680275615752]
エネルギー効率のよいメタラーニングフレームワークを提案する。
各タスクは別々のエージェントによって所有されていると仮定するため、メタモデルをトレーニングするために限られたタスクが使用される。
論文 参考訳（メタデータ） (2021-05-31T08:15:44Z) - Meta-learning One-class Classifiers with Eigenvalue Solvers for
Supervised Anomaly Detection [55.888835686183995]
教師付き異常検出のためのニューラルネットワークに基づくメタラーニング手法を提案する。
提案手法は,既存の異常検出法や少数ショット学習法よりも優れた性能を実現することを実験的に実証した。
論文 参考訳（メタデータ） (2021-03-01T01:43:04Z) - Few-shot Sequence Learning with Transformers [79.87875859408955]
少数のトレーニング例で提供される新しいタスクの学習を目的とした少数のショットアルゴリズム。
本研究では,データポイントがトークンのシーケンスである設定において,少数ショット学習を行う。
トランスフォーマーに基づく効率的な学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-12-17T12:30:38Z) - Meta-Learning with Adaptive Hyperparameters [55.182841228303225]
我々は、MAMLフレームワークの補完的要素、インナーループ最適化(あるいは高速適応)に焦点を当てる。
高速適応プロセスを大幅に向上させる新しい重み更新ルールを提案する。
論文 参考訳（メタデータ） (2020-10-31T08:05:34Z) - Model-based Adversarial Meta-Reinforcement Learning [38.28304764312512]
モデルに基づく対向メタ強化学習(AdMRL)を提案する。
AdMRLは、タスクファミリ内のすべてのタスク間の最悪の部分最適化ギャップを最小限にすることを目的としている。
本手法をいくつかの連続制御ベンチマークで評価し,全てのタスクに対して最悪の性能を示す。
論文 参考訳（メタデータ） (2020-06-16T02:21:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。