論文の概要: Meta-Learning with Less Forgetting on Large-Scale Non-Stationary Task Distributions

• arxiv url: http://arxiv.org/abs/2209.01501v1
• Date: Sat, 3 Sep 2022 21:22:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-07 12:56:38.783288
• Title: Meta-Learning with Less Forgetting on Large-Scale Non-Stationary Task Distributions
• Title（参考訳）: 大規模非定常タスク分布をあまり忘れないメタラーニング
• Authors: Zhenyi Wang, Li Shen, Le Fang, Qiuling Suo, Donglin Zhan, Tiehang Duan, Mingchen Gao
• Abstract要約: この問題をSETSと略記したEvolving Task diStributionsを用いた半教師付きメタラーニングと呼ぶ。 OOD Robust and knowleDge presErved semi-supeRvised meta-learning approach (ORDER)を提案する。 具体的には、ORDERは、未ラベルのOODデータでモデルを堅牢化するための新しい相互情報正規化を導入し、特徴空間における以前に学習された知識を記憶するために最適なトランスポート正規化を採用する。
• 参考スコア（独自算出の注目度）: 8.88133567816717
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The paradigm of machine intelligence moves from purely supervised learning to a more practical scenario when many loosely related unlabeled data are available and labeled data is scarce. Most existing algorithms assume that the underlying task distribution is stationary. Here we consider a more realistic and challenging setting in that task distributions evolve over time. We name this problem as Semi-supervised meta-learning with Evolving Task diStributions, abbreviated as SETS. Two key challenges arise in this more realistic setting: (i) how to use unlabeled data in the presence of a large amount of unlabeled out-of-distribution (OOD) data; and (ii) how to prevent catastrophic forgetting on previously learned task distributions due to the task distribution shift. We propose an OOD Robust and knowleDge presErved semi-supeRvised meta-learning approach (ORDER), to tackle these two major challenges. Specifically, our ORDER introduces a novel mutual information regularization to robustify the model with unlabeled OOD data and adopts an optimal transport regularization to remember previously learned knowledge in feature space. In addition, we test our method on a very challenging dataset: SETS on large-scale non-stationary semi-supervised task distributions consisting of (at least) 72K tasks. With extensive experiments, we demonstrate the proposed ORDER alleviates forgetting on evolving task distributions and is more robust to OOD data than related strong baselines.
• Abstract（参考訳）: マシンインテリジェンスのパラダイムは、純粋に教師付き学習から、多くの疎結合なラベル付きデータが利用可能であり、ラベル付きデータが不足している、より実践的なシナリオへと移行する。 既存のアルゴリズムの多くは、基礎となるタスク分布が定常であると仮定している。 ここでは、タスクの分散が時間とともに進化するという、より現実的で困難な設定を考える。 この問題をSETSと略記したEvolving Task diStributionsを用いた半教師付きメタラーニングと呼ぶ。 このより現実的な環境では、2つの重要な課題が生じる。 (i)大量のラベルなしアウト・オブ・ディストリビューション(ood)データが存在する場合におけるラベルなしデータの使い方 (II) タスク分布シフトによる従来学習されていたタスク分布の破滅的な忘れ込みを防止する方法。 我々は,この2つの課題に取り組むために,半教師付きメタラーニング手法(order)を提案する。 具体的には、ラベルなしのoodデータでモデルを堅牢化するための新しい相互情報正規化を導入し、特徴空間で以前に学習された知識を記憶するために最適なトランスポート正規化を採用する。 さらに,72kタスクからなる大規模非定常半教師付きタスク分散をセットとして,非常に困難なデータセット上でこの手法をテストした。 大規模な実験により,提案するORDERは,タスク分布の進化を忘れて,関連する強いベースラインよりもOODデータに堅牢であることを示す。

関連論文リスト

• Semi-Supervised One-Shot Imitation Learning [83.94646047695412]
  ワンショットのImitation Learningは、AIエージェントに1つのデモから新しいタスクを学ぶ能力を持たせることを目的としている。 我々は,学習エージェントにトラジェクトリの大規模なデータセットを提示する,半教師付きOSIL問題設定を導入する。 我々は,この半教師付きOSIL設定に適用可能なアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-08-09T18:11:26Z)
• Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
  本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。 タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。 インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
  論文  参考訳（メタデータ） (2024-01-07T18:12:20Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• Disentangled Latent Spaces Facilitate Data-Driven Auxiliary Learning [15.41342100228504]
  ディープラーニングでは、データが不足している状況での学習を容易にするために補助的な目的がしばしば使用される。 Detauxと呼ばれる新しいフレームワークを提案し、非関係な新しい分類タスクを見つけるために、弱い教師付き非絡み込み手順を用いている。
  論文  参考訳（メタデータ） (2023-10-13T17:40:39Z)
• Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
  既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。 タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。 我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
  論文  参考訳（メタデータ） (2022-10-12T15:02:04Z)
• Uncertainty-Aware Meta-Learning for Multimodal Task Distributions [3.7470451129384825]
  UnLiMiTD(マルチモーダルタスク分散のための不確実性認識メタラーニング)を提案する。 確率論的視点を採り、メタデータセット上のタスクに対してパラメトリックで調整可能な分布をトレーニングする。 我々は、UnLiMiTDの予測が、ほとんどの場合、標準ベースラインと好意的に比較され、性能的に優れていることを示した。
  論文  参考訳（メタデータ） (2022-10-04T20:02:25Z)
• Learning Invariant Representation with Consistency and Diversity for Semi-supervised Source Hypothesis Transfer [46.68586555288172]
  本稿では,SSHT(Semi-supervised Source hypothesis Transfer)という新たなタスクを提案する。 本研究では、ランダムに拡張された2つの未ラベルデータ間の予測整合性を容易にし、SSHTの簡易かつ効果的なフレームワークである一貫性と多様性の学習(CDL)を提案する。 実験の結果,本手法は,DomainNet,Office-Home,Office-31データセット上で,既存のSSDA手法や教師なしモデル適応手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-07-07T04:14:24Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)
• Learning Task-oriented Disentangled Representations for Unsupervised Domain Adaptation [165.61511788237485]
  Unsupervised domain adapt (UDA) は、ラベル付きソースドメインとラベルなしターゲットドメインの間のドメインシフト問題に対処することを目的としている。 UDAのための動的タスク指向の非絡合ネットワーク(DTDN)を提案し,非絡合表現をエンドツーエンドで学習する。
  論文  参考訳（メタデータ） (2020-07-27T01:21:18Z)
• Task-Aware Variational Adversarial Active Learning [42.334671410592065]
  本稿では,タスク非依存のVAALを修飾するタスク対応可変逆数AL(TA-VAAL)を提案する。 提案するTA-VAALは、バランスの取れたラベルとバランスの取れないラベルの分類のための様々なベンチマークデータセットにおいて、最先端の性能を向上する。
  論文  参考訳（メタデータ） (2020-02-11T22:00:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。