Fugu-MT 論文翻訳(概要): Meta-Tasks: An alternative view on Meta-Learning Regularization

論文の概要: Meta-Tasks: An alternative view on Meta-Learning Regularization

arxiv url: http://arxiv.org/abs/2402.18599v1
Date: Tue, 27 Feb 2024 21:15:40 GMT
ステータス: 翻訳完了
システム内更新日: 2024-03-01 17:12:27.373585
Title: Meta-Tasks: An alternative view on Meta-Learning Regularization
Title（参考訳）: Meta-Tasks: メタラーニング規則化の代替的考え方
Authors: Mohammad Rostami, Atik Faysal, Huaxia Wang, Avimanyu Sahoo and Ryan Antle
Abstract要約: 本稿では,未ラベルのサンプルを生かしながら,トレーニングと新規タスクの両方に一般化できる新しいソリューションを提案する。実験の結果,提案手法はプロトタイプネットワークを3.9%上回る性能を示した。
参考スコア（独自算出の注目度）: 17.738450255829633
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Few-shot learning (FSL) is a challenging machine learning problem due to a scarcity of labeled data. The ability to generalize effectively on both novel and training tasks is a significant barrier to FSL. This paper proposes a novel solution that can generalize to both training and novel tasks while also utilizing unlabeled samples. The method refines the embedding model before updating the outer loop using unsupervised techniques as ``meta-tasks''. The experimental results show that our proposed method performs well on novel and training tasks, with faster and better convergence, lower generalization, and standard deviation error, indicating its potential for practical applications in FSL. The experimental results show that the proposed method outperforms prototypical networks by 3.9%.
Abstract（参考訳）: ラベル付きデータの不足により、FSL(Few-shot Learning)は難しい機械学習問題である。新規タスクとトレーニングタスクの両方で効果的に一般化する能力は、FSLにとって重要な障壁である。本稿では,未ラベルのサンプルを生かしながら,トレーニングと新規タスクの両方に一般化できる新しいソリューションを提案する。この手法は,外ループを更新する前に<meta-tasks''として非教師技術を用いて埋め込みモデルを洗練する。実験の結果,提案手法は, より高速かつ優れた収束, より低い一般化, 標準偏差誤差を伴い, 新規および訓練作業において良好に動作し, FSLにおける実用的応用の可能性を示している。実験の結果,提案手法はプロトタイプネットワークを3.9%上回る性能を示した。

関連論文リスト

Learning Task Representations from In-Context Learning [73.72066284711462]
大規模言語モデル(LLM)は、文脈内学習において顕著な習熟性を示している。 ICLプロンプトにおけるタスク情報をアテンションヘッドの関数として符号化するための自動定式化を導入する。提案手法の有効性は,最後の隠れ状態の分布と最適に実行されたテキスト内学習モデルとの整合性に起因していることを示す。
論文参考訳（メタデータ） (2025-02-08T00:16:44Z)
LiNeS: Post-training Layer Scaling Prevents Forgetting and Enhances Model Merging [80.17238673443127]
LiNeSは、微調整タスク性能を向上しつつ、事前訓練された一般化を維持するために設計されたポストトレーニング編集技術である。 LiNeSは、視覚と自然言語処理のさまざまなベンチマークにおいて、シングルタスクとマルチタスクの両方で大幅に改善されている。
論文参考訳（メタデータ） (2024-10-22T16:26:05Z)
Model-Based Transfer Learning for Contextual Reinforcement Learning [5.5597941107270215]
文脈RL問題の解法としてモデルベーストランスファー学習を導入する。理論的には,本手法は訓練作業数のサブリニアな後悔を示す。都市交通と標準連続制御ベンチマークを用いて,提案手法を実験的に検証した。
論文参考訳（メタデータ） (2024-08-08T14:46:01Z)
Data Adaptive Traceback for Vision-Language Foundation Models in Image Classification [34.37262622415682]
我々はData Adaptive Tracebackと呼ばれる新しい適応フレームワークを提案する。具体的には、ゼロショット法を用いて、事前学習データの最もダウンストリームなタスク関連サブセットを抽出する。我々は、擬似ラベルに基づく半教師付き手法を採用し、事前学習画像の再利用と、半教師付き学習における確証バイアス問題に対処するための視覚言語コントラスト学習手法を提案する。
論文参考訳（メタデータ） (2024-07-11T18:01:58Z)
Fully Fine-tuned CLIP Models are Efficient Few-Shot Learners [8.707819647492467]
視覚言語モデル全体(VLM)の精巧な精細化によるタスク固有情報の取得について検討する。これらの問題を緩和するために,識別的視覚テキストタスクを設計するCLIP-CITEというフレームワークを提案する。
論文参考訳（メタデータ） (2024-07-04T15:22:54Z)
Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
論文参考訳（メタデータ） (2024-06-07T11:37:45Z)
Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
論文参考訳（メタデータ） (2024-01-07T18:12:20Z)
Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
論文参考訳（メタデータ） (2023-11-23T15:46:54Z)
Meta-Reinforcement Learning Based on Self-Supervised Task Representation Learning [23.45043290237396]
MoSSは、自己監督型タスク表現学習に基づくコンテキストベースメタ強化学習アルゴリズムである。 MuJoCoとMeta-Worldのベンチマークでは、MoSSはパフォーマンス、サンプル効率(3-50倍高速)、適応効率、一般化の点で先行して性能が向上している。
論文参考訳（メタデータ） (2023-04-29T15:46:19Z)
Self-supervised Meta-Prompt Learning with Meta-Gradient Regularization for Few-shot Generalization [40.45470744120691]
MEta-gradient regularization for few-shot generalization (SUPMER)による自己改善メタプロンプト学習フレームワーク本稿では,Meta-gradient regularization for few-shot generalization (SUPMER)を用いた自己改善メタプロンプト学習フレームワークを提案する。
論文参考訳（メタデータ） (2023-03-22T05:04:21Z)
Invariant Meta Learning for Out-of-Distribution Generalization [1.1718589131017048]
本稿では,アウト・オブ・ディストリビューションタスクのための不変なメタ学習を提案する。具体的には、不変な最適メタ初期化と、正規化ペナルティを持つ配布外タスクへの迅速な適応である。
論文参考訳（メタデータ） (2023-01-26T12:53:21Z)
Robust Meta-Representation Learning via Global Label Inference and Classification [42.81340522184904]
メタラベル学習(Meta Label Learning, MeLa)は,タスク間でグローバルラベルを推論することでタスク関係を学習するメタラーニングアルゴリズムである。 MeLaは、既存のメソッドをさまざまなベンチマークで上回り、特に、トレーニングタスクの数が制限され、ラベルがタスク固有であるような、より困難な設定でパフォーマンスします。
論文参考訳（メタデータ） (2022-12-22T13:46:47Z)
Improving Multi-task Learning via Seeking Task-based Flat Regions [38.28600737969538]
MTL(Multi-Task Learning)は、ディープニューラルネットワークをトレーニングするための強力な学習パラダイムである。 MTLには、究極の勾配降下方向を導出するためにタスク勾配を操作することに焦点を当てた、新たな作業ラインがある。単タスク学習におけるモデル一般化能力を向上するシャープネス認識最小化という,最近導入されたトレーニング手法を活用することを提案する。
論文参考訳（メタデータ） (2022-11-24T17:19:30Z)
Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2022-06-12T04:42:49Z)
Set-based Meta-Interpolation for Few-Task Meta-Learning [79.4236527774689]
そこで本研究では,メタトレーニングタスクの分散化を目的とした,ドメインに依存しないタスク拡張手法Meta-Interpolationを提案する。様々な領域にまたがる8つのデータセットに対してメタ補間の有効性を実証的に検証した。
論文参考訳（メタデータ） (2022-05-20T06:53:03Z)
CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep Learning [55.733193075728096]
現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
論文参考訳（メタデータ） (2022-02-11T13:49:51Z)
A Strong Baseline for Semi-Supervised Incremental Few-Shot Learning [54.617688468341704]
少ないショット学習は、限られたトレーニングサンプルを持つ新しいクラスに一般化するモデルを学ぶことを目的としている。本研究では,(1)信頼できない擬似ラベルによる基本クラスと新クラスのあいまいさを緩和する高度に設計されたメタトレーニングアルゴリズム,(2)ラベルの少ないデータとラベルなしデータを用いて基礎知識を保ちながら,新クラスの識別的特徴を学習するモデル適応機構を提案する。
論文参考訳（メタデータ） (2021-10-21T13:25:52Z)
Meta-Learning with Fewer Tasks through Task Interpolation [67.03769747726666]
現在のメタ学習アルゴリズムは多数のメタトレーニングタスクを必要としており、実際のシナリオではアクセスできない可能性がある。タスクグラデーションを用いたメタラーニング(MLTI)により,タスクのペアをランダムにサンプリングし,対応する特徴やラベルを補間することにより,タスクを効果的に生成する。実証的な実験では,提案する汎用MLTIフレームワークが代表的なメタ学習アルゴリズムと互換性があり,他の最先端戦略を一貫して上回っていることがわかった。
論文参考訳（メタデータ） (2021-06-04T20:15:34Z)
Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
論文参考訳（メタデータ） (2021-03-01T21:14:33Z)
Improving Generalization in Meta-learning via Task Augmentation [69.83677015207527]
本稿ではMetaMixとChannel Shuffleの2つのタスク拡張手法を提案する。 MetaMixとChannel Shuffleはどちらも、多くのデータセットにまたがる大きなマージンによって、最先端の結果を上回っている。
論文参考訳（メタデータ） (2020-07-26T01:50:42Z)
Sample-based Regularization: A Transfer Learning Strategy Toward Better Generalization [8.432864879027724]
少量のデータでディープニューラルネットワークをトレーニングすることは、難しい問題である。私たちがよく直面する現実的な難題の1つは、多くのサンプルを集めることです。大規模なデータセットでトレーニングされたソースモデルを使用することで、トレーニングデータの不足に起因する過度な適合を軽減することができる。
論文参考訳（メタデータ） (2020-07-10T06:02:05Z)
Structured Prediction for Conditional Meta-Learning [44.30857707980074]
構造化予測を用いた条件付きメタラーニングの新しい視点を提案する。タスク適応型構造化メタラーニング(TASML: Task-Adaptive Structured Meta-learning)は,タスク固有目的関数を生成する基本的フレームワークである。実験により,TASMLは既存のメタラーニングモデルの性能を向上し,ベンチマークデータセットの最先端性を上回った。
論文参考訳（メタデータ） (2020-02-20T15:24:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。