論文の概要: Meta-Task: A Method-Agnostic Framework for Learning to Regularize in Few-Shot Learning

• arxiv url: http://arxiv.org/abs/2402.18599v2
• Date: Wed, 26 Feb 2025 23:07:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 14:54:43.638448
• Title: Meta-Task: A Method-Agnostic Framework for Learning to Regularize in Few-Shot Learning
• Title（参考訳）: Meta-Task:Few-Shot学習における正規化学習のための方法論に依存しないフレームワーク
• Authors: Mohammad Rostami, Atik Faysal, Huaxia Wang, Avimanyu Sahoo,
• Abstract要約: Few-Shot Learningでは、小さな可変データセットでトレーニングされたモデルは、目に見えないタスクに一般化するのではなく、記憶する傾向がある。 ラベル付きデータとラベルなしデータの両方を活用するメソッドに依存しないフレームワークであるMeta-Taskを導入し、正規化のための補助タスクを通じて一般化を強化する。 我々は,Mini-ImageNet,Tiered-ImageNet,FC100など,標準ベンチマークにおけるMeta-Taskの有効性を検証する。
• 参考スコア（独自算出の注目度）: 17.738450255829633
• License:
• Abstract: Overfitting is a significant challenge in Few-Shot Learning (FSL), where models trained on small, variable datasets tend to memorize rather than generalize to unseen tasks. Regularization is crucial in FSL to prevent overfitting and enhance generalization performance. To address this issue, we introduce Meta-Task, a novel, method-agnostic framework that leverages both labeled and unlabeled data to enhance generalization through auxiliary tasks for regularization. Specifically, Meta-Task introduces a Task-Decoder, which is a simple example of the broader framework that refines hidden representations by reconstructing input images from embeddings, effectively mitigating overfitting. Our framework's method-agnostic design ensures its broad applicability across various FSL settings. We validate Meta-Task's effectiveness on standard benchmarks, including Mini-ImageNet, Tiered-ImageNet, and FC100, where it consistently improves existing state-of-the-art meta-learning techniques, demonstrating superior performance, faster convergence, reduced generalization error, and lower variance-all without extensive hyperparameter tuning. These results underline Meta-Task's practical applicability and efficiency in real-world, resource-constrained scenarios.
• Abstract（参考訳）: FSL(Few-Shot Learning)では、小さな可変データセットでトレーニングされたモデルは、目に見えないタスクに一般化するのではなく、記憶する傾向にある。 正規化は、過度な適合を防止し、一般化性能を高めるために、FSLにおいて不可欠である。 この問題に対処するために,ラベル付きデータとラベルなしデータの両方を活用する新しいメソッドに依存しないMeta-Taskを導入する。 具体的には、Meta-TaskがTask-Decoderを導入した。これは、埋め込みから入力イメージを再構築することで隠れ表現を洗練し、オーバーフィッティングを効果的に軽減する、より広範なフレームワークの単純な例である。 フレームワークのメソッドに依存しない設計により、様々なFSL設定にまたがる幅広い適用性が保証される。 我々は,Mini-ImageNet,Tiered-ImageNet,FC100などの標準ベンチマークにおけるMeta-Taskの有効性を検証する。 これらの結果は、Meta-Taskの現実的、リソース制約のあるシナリオにおける実践的適用性と効率性を説明する。

関連論文リスト

• TIMRL: A Novel Meta-Reinforcement Learning Framework for Non-Stationary and Multi-Task Environments [6.941538672757626]
  本稿では,ガウス混合モデルと変圧器ネットワークを利用したメタ強化学習手法を提案する。 タスクの分類はトランスフォーマーネットワークを介して符号化され、タスクに対応するガウス成分を決定する。 実験の結果,提案手法は試料の効率を劇的に改善し,タスクの分類を正確に認識することがわかった。
  論文  参考訳（メタデータ） (2025-01-13T09:11:33Z)
• Data Adaptive Traceback for Vision-Language Foundation Models in Image Classification [34.37262622415682]
  我々はData Adaptive Tracebackと呼ばれる新しい適応フレームワークを提案する。 具体的には、ゼロショット法を用いて、事前学習データの最もダウンストリームなタスク関連サブセットを抽出する。 我々は、擬似ラベルに基づく半教師付き手法を採用し、事前学習画像の再利用と、半教師付き学習における確証バイアス問題に対処するための視覚言語コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2024-07-11T18:01:58Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
  本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。 タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。 インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
  論文  参考訳（メタデータ） (2024-01-07T18:12:20Z)
• Invariant Meta Learning for Out-of-Distribution Generalization [1.1718589131017048]
  本稿では,アウト・オブ・ディストリビューションタスクのための不変なメタ学習を提案する。 具体的には、不変な最適メタ初期化と、正規化ペナルティを持つ配布外タスクへの迅速な適応である。
  論文  参考訳（メタデータ） (2023-01-26T12:53:21Z)
• Improving Multi-task Learning via Seeking Task-based Flat Regions [38.28600737969538]
  MTL(Multi-Task Learning)は、ディープニューラルネットワークをトレーニングするための強力な学習パラダイムである。 MTLには、究極の勾配降下方向を導出するためにタスク勾配を操作することに焦点を当てた、新たな作業ラインがある。 単タスク学習におけるモデル一般化能力を向上するシャープネス認識最小化という,最近導入されたトレーニング手法を活用することを提案する。
  論文  参考訳（メタデータ） (2022-11-24T17:19:30Z)
• Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
  本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。 具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。 提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-12T04:42:49Z)
• CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep Learning [55.733193075728096]
  現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。 サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。 本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
  論文  参考訳（メタデータ） (2022-02-11T13:49:51Z)
• A Strong Baseline for Semi-Supervised Incremental Few-Shot Learning [54.617688468341704]
  少ないショット学習は、限られたトレーニングサンプルを持つ新しいクラスに一般化するモデルを学ぶことを目的としている。 本研究では,(1)信頼できない擬似ラベルによる基本クラスと新クラスのあいまいさを緩和する高度に設計されたメタトレーニングアルゴリズム,(2)ラベルの少ないデータとラベルなしデータを用いて基礎知識を保ちながら,新クラスの識別的特徴を学習するモデル適応機構を提案する。
  論文  参考訳（メタデータ） (2021-10-21T13:25:52Z)
• Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
  多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。 少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。 幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
  論文  参考訳（メタデータ） (2021-03-01T21:14:33Z)
• Sample-based Regularization: A Transfer Learning Strategy Toward Better Generalization [8.432864879027724]
  少量のデータでディープニューラルネットワークをトレーニングすることは、難しい問題である。 私たちがよく直面する現実的な難題の1つは、多くのサンプルを集めることです。 大規模なデータセットでトレーニングされたソースモデルを使用することで、トレーニングデータの不足に起因する過度な適合を軽減することができる。
  論文  参考訳（メタデータ） (2020-07-10T06:02:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。