論文の概要: Accelerating Meta-Learning by Sharing Gradients

• arxiv url: http://arxiv.org/abs/2312.08398v1
• Date: Wed, 13 Dec 2023 04:34:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-16 03:09:22.567437
• Title: Accelerating Meta-Learning by Sharing Gradients
• Title（参考訳）: 勾配の共有によるメタラーニングの高速化
• Authors: Oscar Chang, Hod Lipson
• Abstract要約: 勾配共有により、より大きい内ループ学習率でメタ学習が可能であり、メタ学習過程を最大134%高速化できることを示す。 グラデーションの共有により、より大きな内ループ学習率でメタ学習が可能となり、メタ学習過程を最大134%高速化する。
• 参考スコア（独自算出の注目度）: 12.090942406595637
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The success of gradient-based meta-learning is primarily attributed to its ability to leverage related tasks to learn task-invariant information. However, the absence of interactions between different tasks in the inner loop leads to task-specific over-fitting in the initial phase of meta-training. While this is eventually corrected by the presence of these interactions in the outer loop, it comes at a significant cost of slower meta-learning. To address this limitation, we explicitly encode task relatedness via an inner loop regularization mechanism inspired by multi-task learning. Our algorithm shares gradient information from previously encountered tasks as well as concurrent tasks in the same task batch, and scales their contribution with meta-learned parameters. We show using two popular few-shot classification datasets that gradient sharing enables meta-learning under bigger inner loop learning rates and can accelerate the meta-training process by up to 134%.
• Abstract（参考訳）: 勾配に基づくメタラーニングの成功は、タスク不変情報を学ぶために関連するタスクを活用する能力が主な原因である。 しかし、内部ループに異なるタスク間の相互作用がないことは、メタトレーニングの初期段階でタスク固有の過剰フィッティングにつながる。 最終的には、これらの相互作用が外ループに存在することによって修正されるが、メタ学習を遅くするかなりのコストがかかる。 この制限に対処するために,マルチタスク学習に触発された内部ループ正規化機構を通じて,タスク関連性を明示的にエンコードする。 提案アルゴリズムは,以前遭遇したタスクと同一タスクバッチ内の並行タスクの勾配情報を共有し,メタ学習パラメータによるコントリビューションをスケールする。 今回我々は,2つの人気のあるマイナショット分類データセットを用いて,グラデーション共有によって内部ループ学習率の増大によるメタ学習が可能となり,最大134%のメタトレーニングプロセスを高速化できることを示す。

関連論文リスト

• ForkMerge: Mitigating Negative Transfer in Auxiliary-Task Learning [59.08197876733052]
  補助タスク学習(ATL)は、関連するタスクから得られる知識を活用することにより、目標タスクの性能を向上させることを目的としている。 複数のタスクを同時に学習すると、ターゲットタスクのみを学習するよりも精度が低下することがある。 ForkMergeは、モデルを定期的に複数のブランチにフォークし、タスクの重みを自動的に検索する新しいアプローチである。
  論文  参考訳（メタデータ） (2023-01-30T02:27:02Z)
• TaskMix: Data Augmentation for Meta-Learning of Spoken Intent Understanding [0.0]
  本稿では,タスクの多様性が低い場合のオーバーフィッティングという問題を,最先端のデータ拡張手法により悪化させることを示す。 本稿では,既存のタスクを線形に補間することで,新しいタスクを合成する簡単なTaskMixを提案する。 TaskMixはベースラインを上回り、タスクの多様性が低い場合の過度な適合を軽減し、高い場合でも性能が低下しないことを示す。
  論文  参考訳（メタデータ） (2022-09-26T00:37:40Z)
• Set-based Meta-Interpolation for Few-Task Meta-Learning [79.4236527774689]
  そこで本研究では,メタトレーニングタスクの分散化を目的とした,ドメインに依存しないタスク拡張手法Meta-Interpolationを提案する。 様々な領域にまたがる8つのデータセットに対してメタ補間の有効性を実証的に検証した。
  論文  参考訳（メタデータ） (2022-05-20T06:53:03Z)
• Skill-based Meta-Reinforcement Learning [65.31995608339962]
  本研究では,長期的スパース・リワードタスクにおけるメタラーニングを実現する手法を提案する。 私たちの中核となる考え方は、メタ学習中にオフラインデータセットから抽出された事前経験を活用することです。
  論文  参考訳（メタデータ） (2022-04-25T17:58:19Z)
• Meta-Learning with Fewer Tasks through Task Interpolation [67.03769747726666]
  現在のメタ学習アルゴリズムは多数のメタトレーニングタスクを必要としており、実際のシナリオではアクセスできない可能性がある。 タスクグラデーションを用いたメタラーニング(MLTI)により,タスクのペアをランダムにサンプリングし,対応する特徴やラベルを補間することにより,タスクを効果的に生成する。 実証的な実験では,提案する汎用MLTIフレームワークが代表的なメタ学習アルゴリズムと互換性があり,他の最先端戦略を一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-06-04T20:15:34Z)
• Large-Scale Meta-Learning with Continual Trajectory Shifting [76.29017270864308]
  メタリアナーがより多くの内部勾配ステップをとれるようにすることで、ヘテロジニアスタスクや大規模タスクの構造をよりよく把握できることを示す。 メタ更新の頻度を増やすために、タスク固有のパラメータの必要なシフトを推定することを提案する。 このアルゴリズムは, 一般化性能と収束性の両方において, 先行する一階メタ学習法を大きく上回っていることを示す。
  論文  参考訳（メタデータ） (2021-02-14T18:36:33Z)
• Meta-learning the Learning Trends Shared Across Tasks [123.10294801296926]
  グラディエントベースのメタ学習アルゴリズムは、限られたデータで新しいタスクに素早く適応する。 既存のメタ学習アプローチは、適応中の現在のタスク情報にのみ依存する。 パターン認識型メタラーニング手法を提案する。
  論文  参考訳（メタデータ） (2020-10-19T08:06:47Z)
• Multitask Learning with Single Gradient Step Update for Task Balancing [4.330814031477772]
  マルチタスク学習に勾配に基づくメタラーニングを適用することで,タスク間のバランスをとるアルゴリズムを提案する。 提案手法を様々なマルチタスクコンピュータビジョン問題に適用し,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2020-05-20T08:34:20Z)
• Information-Theoretic Generalization Bounds for Meta-Learning and Applications [42.275148861039895]
  メタ学習の主なパフォーマンス指標は、メタ一般化ギャップである。 本稿ではメタ一般化ギャップに関する新しい情報理論上界について述べる。
  論文  参考訳（メタデータ） (2020-05-09T05:48:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。