Fugu-MT 論文翻訳(概要): Memory Efficient Meta-Learning with Large Images

論文の概要: Memory Efficient Meta-Learning with Large Images

arxiv url: http://arxiv.org/abs/2107.01105v1
Date: Fri, 2 Jul 2021 14:37:13 GMT
ステータス: 処理完了
システム内更新日: 2021-07-05 13:00:12.973745
Title: Memory Efficient Meta-Learning with Large Images
Title（参考訳）: 大規模画像を用いたメモリ効率の良いメタラーニング
Authors: John Bronskill, Daniela Massiceti, Massimiliano Patacchiola, Katja Hofmann, Sebastian Nowozin, Richard E. Turner
Abstract要約: 数ショットの分類に対するメタ学習アプローチは、新しいタスクを学ぶために、ほんの数ステップの最適化やシングルフォワードパスを必要とするテスト時に計算的に効率的である。この制限は、最大1000のイメージを含むタスクの全体サポートセットが、最適化ステップを取る前に処理されなければならないために生じる。本稿では,1つのGPU上の大容量画像からなる大規模タスクのメタトレーニングを可能にする,汎用的でメモリ効率の良いエピソード・トレーニング手法であるLITEを提案する。
参考スコア（独自算出の注目度）: 62.70515410249566
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Meta learning approaches to few-shot classification are computationally efficient at test time requiring just a few optimization steps or single forward pass to learn a new task, but they remain highly memory-intensive to train. This limitation arises because a task's entire support set, which can contain up to 1000 images, must be processed before an optimization step can be taken. Harnessing the performance gains offered by large images thus requires either parallelizing the meta-learner across multiple GPUs, which may not be available, or trade-offs between task and image size when memory constraints apply. We improve on both options by proposing LITE, a general and memory efficient episodic training scheme that enables meta-training on large tasks composed of large images on a single GPU. We achieve this by observing that the gradients for a task can be decomposed into a sum of gradients over the task's training images. This enables us to perform a forward pass on a task's entire training set but realize significant memory savings by back-propagating only a random subset of these images which we show is an unbiased approximation of the full gradient. We use LITE to train meta-learners and demonstrate new state-of-the-art accuracy on the real-world ORBIT benchmark and 3 of the 4 parts of the challenging VTAB+MD benchmark relative to leading meta-learners. LITE also enables meta-learners to be competitive with transfer learning approaches but at a fraction of the test-time computational cost, thus serving as a counterpoint to the recent narrative that transfer learning is all you need for few-shot classification.
Abstract（参考訳）: 少数ショット分類へのメタ学習のアプローチは、新しいタスクを学ぶのにほんの数回の最適化ステップや1回のフォワードパスを必要とするテスト時に計算効率が良いが、トレーニングにはメモリ集約性が高い。この制限は、最大1000枚の画像を含むタスク全体のサポートセットを最適化ステップが取られる前に処理しなければならないため生じます。大規模なイメージで提供されるパフォーマンス向上を活用するには、複数のgpuでメタリアナーを並列化するか、メモリ制約が適用できない場合のタスクとイメージサイズのトレードオフが必要となる。単一のgpu上で大きなイメージからなる大きなタスクのメタトレーニングを可能にする汎用およびメモリ効率のよいエピソディックトレーニングスキームであるliteを提案することで、両方のオプションを改善した。我々は,タスクの勾配を,タスクの訓練画像上の勾配の和に分解することができることを観察することによって達成した。これにより、タスク全体のトレーニングセットでフォワードパスを実行できるが、全勾配の偏りのない近似であるこれらの画像のランダムなサブセットのみをバックプロパゲーションすることで、大幅なメモリ節約を実現することができる。我々は、LITEを用いてメタラーナーのトレーニングを行い、実際のORBITベンチマークで新しい最先端の精度を示し、主要なメタラーナーと比較して挑戦的なVTAB+MDベンチマークの4つの部分のうち3つを示す。 LITEはまた、メタ学習者がトランスファーラーニングアプローチと競合することを可能にするが、テストタイムの計算コストのごく一部で、トランスファーラーニングが数ショットの分類に必要なすべてである、という最近の物語の対極として機能する。

関連論文リスト

Intra-task Mutual Attention based Vision Transformer for Few-Shot Learning [12.5354658533836]
人間は、ほんのわずかの例に晒された後に、新しい、目に見えない画像を正確に分類する能力を持っている。人工ニューラルネットワークモデルでは、限られたサンプルを持つ2つのイメージを区別する最も関連性の高い特徴を決定することが課題である。本稿では,サポートとクエリサンプルをパッチに分割するタスク内相互注意手法を提案する。
論文参考訳（メタデータ） (2024-05-06T02:02:57Z)
ELIP: Efficient Language-Image Pre-training with Fewer Vision Tokens [75.09406436851445]
本稿では,言語出力の監督による影響の少ないトークンを除去するために,視覚トークンのプルーニングとマージ手法ELIPを提案する。実験により、12層のViT層に30$%のビジョントークンが削除されたことにより、ELIPは著しく同等のパフォーマンスを維持した。
論文参考訳（メタデータ） (2023-09-28T05:31:07Z)
FastMIM: Expediting Masked Image Modeling Pre-training for Vision [65.47756720190155]
FastMIMは低解像度の入力画像で視覚バックボーンを事前訓練するためのフレームワークである。入力画像のRGB値の代わりに、向き付け勾配のヒストグラム(Histograms of Oriented Gradients,HOG)機能を再構成する。 ViT-B/Swin-Bをバックボーンとし、ImageNet-1Kで83.8%/84.1%のトップ1の精度を達成できる。
論文参考訳（メタデータ） (2022-12-13T14:09:32Z)
EfficientTrain: Exploring Generalized Curriculum Learning for Training Visual Backbones [80.662250618795]
本稿では視覚バックボーン(例えば視覚変換器)の効率的なトレーニングのための新しいカリキュラム学習手法を提案する。オフザシェルフ方式として、様々な人気モデルのウォールタイムトレーニングコストを、精度を犠牲にすることなく、ImageNet-1K/22Kで1.5倍に削減する。
論文参考訳（メタデータ） (2022-11-17T17:38:55Z)
End-to-end Multiple Instance Learning with Gradient Accumulation [2.2612425542955292]
本稿では,GPUメモリに制限されることなく,AMMILモデルのエンドツーエンドのトレーニングを可能にするトレーニング戦略を提案する。我々はQMNISTとImagenetteの両方で実験を行い、性能とトレーニング時間について検討する。このメモリ効率のアプローチは遅いが、メモリ拡張ベースラインと区別できないパフォーマンスに達する。
論文参考訳（メタデータ） (2022-03-08T10:14:51Z)
Task Attended Meta-Learning for Few-Shot Learning [3.0724051098062097]
そこで我々は,タスクアサートメタトレーニングと呼ばれる,人間の選択的な焦点を動機とする学習カリキュラムを紹介し,タスクをバッチで重み付けする。複雑なデータセットに対する非タスク付きモデルとの比較は、その有効性を検証する。
論文参考訳（メタデータ） (2021-06-20T07:34:37Z)
Few-Shot Learning for Image Classification of Common Flora [0.0]
MAML(Model-Agnostic Meta Learning)を用いた画像分類のためのメタラーニング分野の最先端の研究と、さまざまな最先端のトランスファーラーニングウェイトとアーキテクチャをテストした結果を紹介します。その結果、データセットが十分に大きい場合、両方のプラクティスが十分なパフォーマンスを提供しますが、十分なパフォーマンスを維持するためにデータスパーシャビリティが導入されると、どちらも苦労しています。
論文参考訳（メタデータ） (2021-05-07T03:54:51Z)
Data Augmentation for Meta-Learning [58.47185740820304]
メタ学習アルゴリズムは、各トレーニングステップでデータ、クエリデータ、タスクをサンプリングする。データ拡張は、クラス毎に利用可能な画像の数を増やすだけでなく、全く新しいクラス/タスクを生成するためにも使用できる。提案したメタ固有データ拡張は,数ショットの分類ベンチマークにおいて,メタラーナーの性能を著しく向上させる。
論文参考訳（メタデータ） (2020-10-14T13:48:22Z)
Expert Training: Task Hardness Aware Meta-Learning for Few-Shot Classification [62.10696018098057]
そこで本研究では,訓練課題を適切に整理するためのメタトレーニング戦略を提案する。タスクの難易度を推定する訓練手順にタスク難易度認識モジュールを設計して統合する。 miniImageNet と tieredImageNetSketch のデータセットによる実験結果から,メタラーナーは専門家のトレーニング戦略によりより良い結果が得られることが示された。
論文参考訳（メタデータ） (2020-07-13T08:49:00Z)
Task Augmentation by Rotating for Meta-Learning [5.646772123578524]
そこで本研究では,原画像90,180,270度を回転させることにより,クラス数を増加させるタスク拡張手法を提案する。実験結果から,MiniImageNet, CIFAR-FS, FC100における画像の回転数の増加と最先端性能の向上は,本手法の方が優れていることがわかった。
論文参考訳（メタデータ） (2020-02-08T07:57:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。