論文の概要: Making Scalable Meta Learning Practical
- arxiv url: http://arxiv.org/abs/2310.05674v2
- Date: Mon, 23 Oct 2023 14:16:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-25 06:48:46.934682
- Title: Making Scalable Meta Learning Practical
- Title（参考訳）: スケーラブルなメタ学習を実践する
- Authors: Sang Keun Choe, Sanket Vaibhav Mehta, Hwijeen Ahn, Willie Neiswanger,
Pengtao Xie, Emma Strubell, Eric Xing
- Abstract要約: メタ学習は、その膨大な計算/メモリコスト、トレーニング不安定性、効率的な分散トレーニングサポートの欠如により、スケーラビリティの低下に悩まされてきた。
本研究では,暗黙の識別アルゴリズムとシステムの両方の進歩を組み合わせたSAMAを導入することで,スケーラブルなメタ学習の実現に注力する。
我々は,SAMAに基づくデータ最適化により,BERTやRoBERTaの大規模言語モデルによるテキスト分類精度が一貫した改善が達成され,画像分類タスクによる小型・大規模データプルーニングにおいて,最先端の処理結果が得られることを示す。
- 参考スコア（独自算出の注目度）: 40.24886572503001
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite its flexibility to learn diverse inductive biases in machine learning
programs, meta learning (i.e., learning to learn) has long been recognized to
suffer from poor scalability due to its tremendous compute/memory costs,
training instability, and a lack of efficient distributed training support. In
this work, we focus on making scalable meta learning practical by introducing
SAMA, which combines advances in both implicit differentiation algorithms and
systems. Specifically, SAMA is designed to flexibly support a broad range of
adaptive optimizers in the base level of meta learning programs, while reducing
computational burden by avoiding explicit computation of second-order gradient
information, and exploiting efficient distributed training techniques
implemented for first-order gradients. Evaluated on multiple large-scale meta
learning benchmarks, SAMA showcases up to 1.7/4.8x increase in throughput and
2.0/3.8x decrease in memory consumption respectively on single-/multi-GPU
setups compared to other baseline meta learning algorithms. Furthermore, we
show that SAMA-based data optimization leads to consistent improvements in text
classification accuracy with BERT and RoBERTa large language models, and
achieves state-of-the-art results in both small- and large-scale data pruning
on image classification tasks, demonstrating the practical applicability of
scalable meta learning across language and vision domains.
- Abstract（参考訳）: 機械学習プログラムにおける多様な帰納バイアスを学習する柔軟性にもかかわらず、メタ学習(すなわち学習する学習)は、膨大な計算/メモリコスト、トレーニング不安定性、効率的な分散トレーニングサポートの欠如により、スケーラビリティの低下に悩まされてきた。
本研究では,暗黙の識別アルゴリズムとシステムの両方の進歩を組み合わせたSAMAを導入することで,スケーラブルなメタ学習の実現に注力する。
特に,SAMAは,2階勾配情報の明示的な計算を回避し,一階勾配に実装した効率的な分散トレーニング技術を活用することにより,計算負担を低減しつつ,メタ学習プログラムのベースレベルにおいて,幅広い適応型オプティマイザを柔軟に支援するように設計されている。
複数の大規模メタラーニングベンチマークで評価され、SAMAは、他のベースラインメタラーニングアルゴリズムと比較して、シングルGPUとマルチGPUのセットアップで、スループットが1.7/4.8倍、メモリ消費が2.0/3.8倍向上することを示した。
さらに,SAMAに基づくデータ最適化により,BERT と RoBERTa の大規模言語モデルによるテキスト分類精度が一貫した向上を達成し,画像分類タスクによる小規模・大規模データプルーニングの両立を実現し,言語や視覚領域にまたがるスケーラブルなメタ学習の実践的適用性を実証した。
関連論文リスト
- Data Augmentation for Sparse Multidimensional Learning Performance Data Using Generative AI [17.242331892899543]
学習パフォーマンスデータは、適応学習における正しい解答や問題解決の試みを記述している。
学習性能データは、適応的なアイテム選択のため、ほとんどの実世界のアプリケーションでは、非常にスパースな(80%(sim)90%の欠落)傾向にある。
本稿では,学習者のデータの分散性に対処するために,学習者のデータを拡張するための体系的フレームワークを提案する。
論文 参考訳（メタデータ） (2024-09-24T00:25:07Z) - Robust Learning with Progressive Data Expansion Against Spurious
Correlation [65.83104529677234]
本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。
分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。
本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-06-08T05:44:06Z) - Training Efficiency and Robustness in Deep Learning [2.6451769337566406]
ディープラーニングモデルのトレーニング効率と堅牢性を改善するためのアプローチについて検討する。
より情報的なトレーニングデータに基づく学習の優先順位付けは収束速度を高め、テストデータに対する一般化性能を向上させる。
トレーニングデータのサンプリングに対する冗長性を考慮した修正により、トレーニング速度が向上し、トレーニング信号の多様性を検出する効率的な方法が開発されていることを示す。
論文 参考訳（メタデータ） (2021-12-02T17:11:33Z) - Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise
Learning [65.54757265434465]
ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。
オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。
本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
論文 参考訳（メタデータ） (2021-11-23T18:10:48Z) - Memory Efficient Meta-Learning with Large Images [62.70515410249566]
数ショットの分類に対するメタ学習アプローチは、新しいタスクを学ぶために、ほんの数ステップの最適化やシングルフォワードパスを必要とするテスト時に計算的に効率的である。
この制限は、最大1000のイメージを含むタスクの全体サポートセットが、最適化ステップを取る前に処理されなければならないために生じる。
本稿では,1つのGPU上の大容量画像からなる大規模タスクのメタトレーニングを可能にする,汎用的でメモリ効率の良いエピソード・トレーニング手法であるLITEを提案する。
論文 参考訳（メタデータ） (2021-07-02T14:37:13Z) - Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。
我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。
我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
論文 参考訳（メタデータ） (2020-10-01T15:59:31Z) - A Survey on Large-scale Machine Learning [67.6997613600942]
機械学習はデータに対する深い洞察を与え、マシンが高品質な予測を行うことを可能にする。
ほとんどの高度な機械学習アプローチは、大規模なデータを扱う場合の膨大な時間コストに悩まされる。
大規模機械学習は、ビッグデータからパターンを、同等のパフォーマンスで効率的に学習することを目的としている。
論文 参考訳（メタデータ） (2020-08-10T06:07:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。