論文の概要: Improving Meta-learning for Low-resource Text Classification and Generation via Memory Imitation

• arxiv url: http://arxiv.org/abs/2203.11670v1
• Date: Tue, 22 Mar 2022 12:41:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-23 12:47:26.299759
• Title: Improving Meta-learning for Low-resource Text Classification and Generation via Memory Imitation
• Title（参考訳）: メモリ模倣による低リソーステキスト分類と生成のためのメタ学習の改善
• Authors: Yingxiu Zhao, Zhiliang Tian, Huaxiu Yao, Yinhe Zheng, Dongkyu Lee, Yiping Song, Jian Sun, Nevin L. Zhang
• Abstract要約: 本稿では,メモリ模倣メタラーニング(MemIML)手法を提案する。 本手法の有効性を証明するために理論的解析を行った。
• 参考スコア（独自算出の注目度）: 87.98063273826702
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Building models of natural language processing (NLP) is challenging in low-resource scenarios where only limited data are available. Optimization-based meta-learning algorithms achieve promising results in low-resource scenarios by adapting a well-generalized model initialization to handle new tasks. Nonetheless, these approaches suffer from the memorization overfitting issue, where the model tends to memorize the meta-training tasks while ignoring support sets when adapting to new tasks. To address this issue, we propose a memory imitation meta-learning (MemIML) method that enhances the model's reliance on support sets for task adaptation. Specifically, we introduce a task-specific memory module to store support set information and construct an imitation module to force query sets to imitate the behaviors of some representative support-set samples stored in the memory. A theoretical analysis is provided to prove the effectiveness of our method, and empirical results also demonstrate that our method outperforms competitive baselines on both text classification and generation tasks.
• Abstract（参考訳）: 自然言語処理(NLP)のモデルの構築は、限られたデータしか利用できない低リソースのシナリオでは難しい。 最適化に基づくメタ学習アルゴリズムは、十分に一般化されたモデル初期化を新しいタスクに適応することにより、低リソースシナリオで有望な結果を得る。 にもかかわらず、これらのアプローチは、新しいタスクに適応する際のサポートセットを無視しながら、メタトレーニングタスクを記憶する傾向にある、記憶過剰な問題に悩まされる。 そこで本研究では,タスク適応支援セットへの依存度を高めるメモリ模倣メタラーニング(memiml)手法を提案する。 具体的には、サポートセット情報を格納し、クエリセットにメモリに格納されている代表的サポートセットの振る舞いを模倣するよう強制する模倣モジュールを構築するタスク特化メモリモジュールを提案する。 また,本手法の有効性を証明する理論的解析を行い,本手法がテキスト分類と生成タスクの両面での競争ベースラインよりも優れていることを示す。

関連論文リスト

• Meta-RTL: Reinforcement-Based Meta-Transfer Learning for Low-Resource Commonsense Reasoning [61.8360232713375]
  低リソースコモンセンス推論のための強化型マルチソースメタトランスファー学習フレームワーク(Meta-RTL)を提案する。 本稿では,メタトランスファー学習において,対象タスクに対するタスクの寄与を動的に推定する手法を提案する。 実験の結果,Meta-RTLは,強いベースラインと以前のタスク選択戦略を大幅に上回ることがわかった。
  論文  参考訳（メタデータ） (2024-09-27T18:22:22Z)
• Meta-Task Prompting Elicits Embeddings from Large Language Models [54.757445048329735]
  本稿では,新しい教師なしテキスト埋め込み手法であるMeta-Task Prompting with Explicit One-Word Limitationを紹介する。 モデル微調整を必要とせずに,大規模言語モデルから高品質な文埋め込みを生成する。 提案法は,多種多様なシナリオにまたがって生成を組み込む汎用的で資源効率のよい手法を提供する。
  論文  参考訳（メタデータ） (2024-02-28T16:35:52Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• Mean-AP Guided Reinforced Active Learning for Object Detection [31.304039641225504]
  本稿では,オブジェクト検出のための平均APガイド型アクティブラーニングについて紹介する。 MGRALは、予測されたモデル出力変化の概念を深層検知ネットワークの情報性として活用する新しいアプローチである。 提案手法は,物体検出のための強化学習に基づく能動学習における新たなパラダイムを確立し,高い性能を示す。
  論文  参考訳（メタデータ） (2023-10-12T14:59:22Z)
• Retrieval-Augmented Meta Learning for Low-Resource Text Classification [22.653220906899612]
  検索型メタ学習(RAML)というメタ学習手法を提案する。 推論にはパラメータ化を使用するが、外部コーパスから非パラメトリック知識を取得して推論を行う。 RAMLは、現在のSOTA低リソーステキスト分類モデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2023-09-10T10:05:03Z)
• Generalization Properties of Retrieval-based Models [50.35325326050263]
  検索ベースの機械学習手法は、幅広い問題で成功をおさめた。 これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。 本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
  論文  参考訳（メタデータ） (2022-10-06T00:33:01Z)
• An EM Framework for Online Incremental Learning of Semantic Segmentation [37.94734474090863]
  本稿では,新しいクラスのみに画素アノテーションを付加したストリーミング入力データを用いて,大惨な忘れをせずに深いセグメンテーションモデルを適応できる漸進的な学習戦略を提案する。 PASCAL VOC 2012とADE20Kデータセットに対するアプローチを検証するとともに,既存のインクリメンタルメソッドよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2021-08-08T11:30:09Z)
• Conditional Meta-Learning of Linear Representations [57.90025697492041]
  表現学習のための標準メタラーニングは、複数のタスク間で共有される共通の表現を見つけることを目的とする。 本研究では,タスクの側情報を手作業に適した表現にマッピングし,条件付け関数を推定することで,この問題を克服する。 この利点を実用的に活用できるメタアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-30T12:02:14Z)
• Model-based Meta Reinforcement Learning using Graph Structured Surrogate Models [40.08137765886609]
  グラフ構造化サーロゲートモデル (GSSM) と呼ばれるモデルが, 環境ダイナミクス予測における最先端の手法を上回っていることを示した。 当社のアプローチでは,テスト時間ポリシの勾配最適化を回避して,デプロイメント中の高速実行を実現しつつ,高いリターンを得ることができる。
  論文  参考訳（メタデータ） (2021-02-16T17:21:55Z)
• Structured Prediction for Conditional Meta-Learning [44.30857707980074]
  構造化予測を用いた条件付きメタラーニングの新しい視点を提案する。 タスク適応型構造化メタラーニング(TASML: Task-Adaptive Structured Meta-learning)は,タスク固有目的関数を生成する基本的フレームワークである。 実験により,TASMLは既存のメタラーニングモデルの性能を向上し,ベンチマークデータセットの最先端性を上回った。
  論文  参考訳（メタデータ） (2020-02-20T15:24:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。