論文の概要: Are LSTMs Good Few-Shot Learners?

• arxiv url: http://arxiv.org/abs/2310.14139v1
• Date: Sun, 22 Oct 2023 00:16:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 01:44:41.102393
• Title: Are LSTMs Good Few-Shot Learners?
• Title（参考訳）: LSTMsの学習者は少ないか?
• Authors: Mike Huisman, Thomas M. Moerland, Aske Plaat, Jan N. van Rijn
• Abstract要約: 2001年、Hochreiterらは、異なるタスクにまたがってバックプロパゲーションで訓練されたLSTMがメタラーニングを行うことができることを示した。 このアプローチを再検討し、現代の数ショットの学習ベンチマークでテストします。 LSTMは、単純な数ショットの正弦波回帰ベンチマークでMAMLよりも優れているが、予想されることに、より複雑な数ショット画像分類ベンチマークでは不足している。
• 参考スコア（独自算出の注目度）: 4.316506818580031
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning requires large amounts of data to learn new tasks well, limiting its applicability to domains where such data is available. Meta-learning overcomes this limitation by learning how to learn. In 2001, Hochreiter et al. showed that an LSTM trained with backpropagation across different tasks is capable of meta-learning. Despite promising results of this approach on small problems, and more recently, also on reinforcement learning problems, the approach has received little attention in the supervised few-shot learning setting. We revisit this approach and test it on modern few-shot learning benchmarks. We find that LSTM, surprisingly, outperform the popular meta-learning technique MAML on a simple few-shot sine wave regression benchmark, but that LSTM, expectedly, fall short on more complex few-shot image classification benchmarks. We identify two potential causes and propose a new method called Outer Product LSTM (OP-LSTM) that resolves these issues and displays substantial performance gains over the plain LSTM. Compared to popular meta-learning baselines, OP-LSTM yields competitive performance on within-domain few-shot image classification, and performs better in cross-domain settings by 0.5% to 1.9% in accuracy score. While these results alone do not set a new state-of-the-art, the advances of OP-LSTM are orthogonal to other advances in the field of meta-learning, yield new insights in how LSTM work in image classification, allowing for a whole range of new research directions. For reproducibility purposes, we publish all our research code publicly.
• Abstract（参考訳）: ディープラーニングは、新しいタスクをうまく学習するために大量のデータを必要とし、そのようなデータが利用可能なドメインへの適用性を制限する。 メタラーニングはこの制限を克服し、学習の仕方を学ぶ。 2001年、Hochreiterらは、異なるタスクにわたるバックプロパゲーションで訓練されたLSTMがメタラーニング能力を持つことを示した。 小規模問題に対するこのアプローチの有望な結果、さらに最近では強化学習問題についても、このアプローチは教師付きの少数ショット学習環境ではほとんど注目されていない。 このアプローチを再検討し、現代の数ショット学習ベンチマークでテストします。 LSTMは、単純な数ショットの正弦波回帰ベンチマークでMAMLよりも優れているが、予想されることに、より複雑な数ショット画像分類ベンチマークでは不足している。 我々は,2つの潜在的な原因を特定し,これらの問題を解消し,通常のLSTMよりもかなりの性能向上を示す,OP-LSTM(Outer Product LSTM)と呼ばれる新しい手法を提案する。 一般的なメタラーニングベースラインと比較すると、OP-LSTMはドメイン内の少数ショット画像分類において競争性能が向上し、ドメイン間設定では精度スコアが0.5%から1.9%向上する。 これらの結果だけで新しい最先端技術は確立されていないが、OP-LSTMの進歩はメタラーニングの分野での他の進歩と直交しており、画像分類におけるLSTMの作用に関する新たな洞察を与え、新しい研究の方向性を広く得ることができる。 再現性のために、我々はすべての研究コードを公開している。

関連論文リスト

• LLMEmbed: Rethinking Lightweight LLM's Genuine Function in Text Classification [13.319594321038926]
  本稿では,この古典的だが挑戦的な課題に対処するために,LLMEmbedという,シンプルで効果的なトランスファー学習戦略を提案する。 その結果,LLMEmbedはトレーニングのオーバーヘッドを低く抑えながら,高い性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2024-06-06T03:46:59Z)
• Kernel Corrector LSTM [1.034961673489652]
  我々は、cLSTMのメタラーナーをより単純な方法で置き換える新しいRW-MLアルゴリズムであるKernel Corrector LSTM(KcLSTM)を提案する。 我々は,新しいアルゴリズムの予測精度とトレーニング時間を実験的に評価し,cLSTMとLSTMと比較した。
  論文  参考訳（メタデータ） (2024-04-28T18:44:10Z)
• Image Classification using Sequence of Pixels [3.04585143845864]
  本研究では,繰り返しニューラルネットワークを用いた逐次画像分類法の比較を行った。 本稿では,Long-Short-Term memory(LSTM)やBidirectional Long-Short-Term memory(BiLSTM)アーキテクチャに基づく手法について述べる。
  論文  参考訳（メタデータ） (2022-09-23T09:42:44Z)
• Few-Shot Class-Incremental Learning by Sampling Multi-Phase Tasks [59.12108527904171]
  モデルは新しいクラスを認識し、古いクラスに対する差別性を維持すべきである。 古いクラスを忘れずに新しいクラスを認識するタスクは、FSCIL ( few-shot class-incremental Learning) と呼ばれる。 我々は,LearnIng Multi-phase Incremental Tasks (LIMIT) によるメタラーニングに基づくFSCILの新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-03-31T13:46:41Z)
• Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
  未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。 モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-09T17:26:53Z)
• Improving Deep Learning for HAR with shallow LSTMs [70.94062293989832]
  本稿では,DeepConvLSTMを2層LSTMではなく1層LSTMに変更することを提案する。 この結果は、シーケンシャルデータを扱う場合、少なくとも2層LSTMが必要であるという信念とは対照的である。
  論文  参考訳（メタデータ） (2021-08-02T08:14:59Z)
• MAML is a Noisy Contrastive Learner [72.04430033118426]
  モデルに依存しないメタラーニング(MAML)は、今日では最も人気があり広く採用されているメタラーニングアルゴリズムの1つである。 我々は、MAMLの動作メカニズムに対する新たな視点を提供し、以下に示すように、MAMLは、教師付きコントラスト目的関数を用いたメタラーナーに類似している。 このような干渉を軽減するため, 単純だが効果的な手法であるゼロ化手法を提案する。
  論文  参考訳（メタデータ） (2021-06-29T12:52:26Z)
• Stateless Neural Meta-Learning using Second-Order Gradients [1.933681537640272]
  メタリアナーLSTMはMAMLを仮定することを示した。 メタリーナーLSTMよりもシンプルでありながら、MMLよりも表現力の高い新しいアルゴリズム(dbbed TURTLE)を構築します。
  論文  参考訳（メタデータ） (2021-04-21T13:34:31Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)
• Revisiting LSTM Networks for Semi-Supervised Text Classification via Mixed Objective Function [106.69643619725652]
  我々は,単純なBiLSTMモデルであっても,クロスエントロピー損失でトレーニングした場合に,競争的な結果が得られるようなトレーニング戦略を開発する。 いくつかのベンチマークデータセット上で,テキスト分類タスクの最先端結果について報告する。
  論文  参考訳（メタデータ） (2020-09-08T21:55:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。