論文の概要: DRESS: Disentangled Representation-based Self-Supervised Meta-Learning for Diverse Tasks

• arxiv url: http://arxiv.org/abs/2503.09679v1
• Date: Wed, 12 Mar 2025 18:00:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-14 15:54:19.432548
• Title: DRESS: Disentangled Representation-based Self-Supervised Meta-Learning for Diverse Tasks
• Title（参考訳）: DRESS:分散表現に基づく多言語タスクのための自己教師付きメタラーニング
• Authors: Wei Cui, Tongzi Wu, Jesse C. Cresswell, Yi Sui, Keyvan Golestan,
• Abstract要約: DRESS はタスク非依存の Disentangled Representation-based Self-Supervised meta-learning approach である。 変動要因と複雑さの異なるデータセットを用いた実験により,DRESSの有効性を検証した。
• 参考スコア（独自算出の注目度）: 9.770875288616248
• License:
• Abstract: Meta-learning represents a strong class of approaches for solving few-shot learning tasks. Nonetheless, recent research suggests that simply pre-training a generic encoder can potentially surpass meta-learning algorithms. In this paper, we first discuss the reasons why meta-learning fails to stand out in these few-shot learning experiments, and hypothesize that it is due to the few-shot learning tasks lacking diversity. We propose DRESS, a task-agnostic Disentangled REpresentation-based Self-Supervised meta-learning approach that enables fast model adaptation on highly diversified few-shot learning tasks. Specifically, DRESS utilizes disentangled representation learning to create self-supervised tasks that can fuel the meta-training process. Furthermore, we also propose a class-partition based metric for quantifying the task diversity directly on the input space. We validate the effectiveness of DRESS through experiments on datasets with multiple factors of variation and varying complexity. The results suggest that DRESS is able to outperform competing methods on the majority of the datasets and task setups. Through this paper, we advocate for a re-examination of proper setups for task adaptation studies, and aim to reignite interest in the potential of meta-learning for solving few-shot learning tasks via disentangled representations.
• Abstract（参考訳）: メタラーニングは、数発の学習タスクを解決するための強力なアプローチのクラスである。 しかし、最近の研究では、ジェネリックエンコーダの事前学習がメタ学習アルゴリズムを上回る可能性があることが示唆されている。 本稿では,この数発の学習実験においてメタラーニングが目立たなかった理由を考察し,多様性に欠ける数発の学習課題に起因すると仮定する。 本稿では,タスク非依存型不特定表現に基づく自己スーパービジョンメタラーニング手法であるDRESSを提案する。 具体的には、不整合表現学習を利用して、メタトレーニングプロセスに刺激を与える自己教師付きタスクを作成する。 また、入力空間上でのタスクの多様性を直接定量化するためのクラス分割に基づく計量も提案する。 変動要因と複雑さの異なるデータセットを用いた実験により,DRESSの有効性を検証した。 結果は、DRESSがデータセットとタスク設定の大部分で競合するメソッドより優れていることを示唆している。 本稿では,タスク適応学習における適切な設定の再検討を提唱し,不整合表現による数発学習課題の解決に向けたメタラーニングの可能性について再検討する。

関連論文リスト

• Meta-Learning with Heterogeneous Tasks [42.695853959923625]
  HeTRoM(Heterogeneous Tasks Robust Meta-learning) 双方向最適化に基づく効率的な反復最適化アルゴリズム その結果,提案手法の柔軟性が示され,多様なタスク設定に適応できることがわかった。
  論文  参考訳（メタデータ） (2024-10-24T16:32:23Z)
• Towards Task Sampler Learning for Meta-Learning [37.02030832662183]
  メタラーニングは、限られたデータから行われる多様なトレーニングタスクで一般的な知識を学び、それを新しいタスクに転送することを目的としている。 タスク多様性の増大はメタラーニングモデルの一般化能力を高めると一般的に信じられている。 本稿では、経験的および理論的分析を通して、この見解に挑戦する。
  論文  参考訳（メタデータ） (2023-07-18T01:53:18Z)
• MetaModulation: Learning Variational Feature Hierarchies for Few-Shot Learning with Fewer Tasks [63.016244188951696]
  本稿では,タスクを減らした少数ショット学習手法を提案する。 メタトレーニングタスクを増やすために、さまざまなバッチレベルでパラメータを変更します。 また,変分法を取り入れた学習的変分特徴階層も導入する。
  論文  参考訳（メタデータ） (2023-05-17T15:47:47Z)
• On the Effectiveness of Fine-tuning Versus Meta-reinforcement Learning [71.55412580325743]
  本稿では,新しいタスクを微調整したマルチタスク事前学習がメタテスト時間適応によるメタ事前学習と同等かそれ以上に機能することを示す。 マルチタスク事前学習はメタRLよりもシンプルで計算的に安価である傾向があるため、これは将来の研究を奨励している。
  論文  参考訳（メタデータ） (2022-06-07T13:24:00Z)
• The Effect of Diversity in Meta-Learning [79.56118674435844]
  少ないショット学習は、少数の例から見れば、新しいタスクに対処できる表現を学習することを目的としている。 近年の研究では,タスク分布がモデルの性能に重要な役割を担っていることが示されている。 タスクの多様性がメタ学習アルゴリズムに与える影響を評価するために,多種多様なモデルとデータセットのタスク分布について検討する。
  論文  参考訳（メタデータ） (2022-01-27T19:39:07Z)
• Diverse Distributions of Self-Supervised Tasks for Meta-Learning in NLP [39.457091182683406]
  非ラベルテキストから自動的に提案される自己教師型タスクを考慮し,メタラーニングのためのタスク分布の提供を目指す。 分析の結果,これらすべての要因がタスク分布を有意に変化させることが示され,メタ学習モデルの下流における数ショット精度の大幅な改善がもたらされた。
  論文  参考訳（メタデータ） (2021-11-02T01:50:09Z)
• Meta-Learning with Fewer Tasks through Task Interpolation [67.03769747726666]
  現在のメタ学習アルゴリズムは多数のメタトレーニングタスクを必要としており、実際のシナリオではアクセスできない可能性がある。 タスクグラデーションを用いたメタラーニング(MLTI)により,タスクのペアをランダムにサンプリングし,対応する特徴やラベルを補間することにより,タスクを効果的に生成する。 実証的な実験では,提案する汎用MLTIフレームワークが代表的なメタ学習アルゴリズムと互換性があり,他の最先端戦略を一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-06-04T20:15:34Z)
• Conditional Meta-Learning of Linear Representations [57.90025697492041]
  表現学習のための標準メタラーニングは、複数のタスク間で共有される共通の表現を見つけることを目的とする。 本研究では,タスクの側情報を手作業に適した表現にマッピングし,条件付け関数を推定することで,この問題を克服する。 この利点を実用的に活用できるメタアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-30T12:02:14Z)
• Is Support Set Diversity Necessary for Meta-Learning? [14.231486872262531]
  本稿では,タスク間のサポートセットを固定し,タスクの多様性を低減させる,従来のメタ学習手法の修正を提案する。 驚いたことに、この修正は悪影響をもたらすだけでなく、さまざまなデータセットやメタ学習手法のパフォーマンスをほぼ常に向上させる。
  論文  参考訳（メタデータ） (2020-11-28T02:28:42Z)
• Adaptive Task Sampling for Meta-Learning [79.61146834134459]
  数ショットの分類のためのメタラーニングの鍵となるアイデアは、テスト時に直面した数ショットの状況を模倣することである。 一般化性能を向上させるための適応型タスクサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2020-07-17T03:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。