論文の概要: Retrieval-Augmented Meta Learning for Low-Resource Text Classification

• arxiv url: http://arxiv.org/abs/2309.04979v1
• Date: Sun, 10 Sep 2023 10:05:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-12 15:18:53.704247
• Title: Retrieval-Augmented Meta Learning for Low-Resource Text Classification
• Title（参考訳）: 低リソーステキスト分類のための検索メタ学習
• Authors: Rongsheng Li, Yangning Li, Yinghui Li, Chaiyut Luoyiching, Hai-Tao Zheng, Nannan Zhou, Hanjing Su
• Abstract要約: 検索型メタ学習(RAML)というメタ学習手法を提案する。 推論にはパラメータ化を使用するが、外部コーパスから非パラメトリック知識を取得して推論を行う。 RAMLは、現在のSOTA低リソーステキスト分類モデルよりも大幅に優れている。
• 参考スコア（独自算出の注目度）: 22.653220906899612
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Meta learning have achieved promising performance in low-resource text classification which aims to identify target classes with knowledge transferred from source classes with sets of small tasks named episodes. However, due to the limited training data in the meta-learning scenario and the inherent properties of parameterized neural networks, poor generalization performance has become a pressing problem that needs to be addressed. To deal with this issue, we propose a meta-learning based method called Retrieval-Augmented Meta Learning(RAML). It not only uses parameterization for inference but also retrieves non-parametric knowledge from an external corpus to make inferences, which greatly alleviates the problem of poor generalization performance caused by the lack of diverse training data in meta-learning. This method differs from previous models that solely rely on parameters, as it explicitly emphasizes the importance of non-parametric knowledge, aiming to strike a balance between parameterized neural networks and non-parametric knowledge. The model is required to determine which knowledge to access and utilize during inference. Additionally, our multi-view passages fusion network module can effectively and efficiently integrate the retrieved information into low-resource classification task. The extensive experiments demonstrate that RAML significantly outperforms current SOTA low-resource text classification models.
• Abstract（参考訳）: メタラーニングは低リソーステキスト分類において有望な性能を達成しており、ターゲットクラスを識別することを目的としている。 しかしながら、メタラーニングシナリオにおける限られたトレーニングデータとパラメータ化されたニューラルネットワークの固有の特性から、一般化性能の低下は対処すべき課題となっている。 この問題に対処するために,検索型メタ学習(RAML)と呼ばれるメタ学習手法を提案する。 推論にパラメータ化を用いるだけでなく、外部のコーパスから非パラメトリック知識を抽出して推論し、メタラーニングにおける多様なトレーニングデータ不足による一般化性能の低下の問題を大幅に軽減する。 この方法は、パラメータ化されたニューラルネットワークと非パラメトリック知識のバランスをとることを目的として、パラメータのみに依存する従来のモデルとは異なる。 モデルは、推論中にどの知識にアクセスして利用するかを決定する必要がある。 さらに,マルチビューパス融合ネットワークモジュールは,検索した情報を低リソースの分類タスクに効果的かつ効率的に統合することができる。 大規模な実験により、RAMLは現在のSOTA低リソーステキスト分類モデルよりも大幅に優れていることが示された。

関連論文リスト

• Seeking Neural Nuggets: Knowledge Transfer in Large Language Models from a Parametric Perspective [106.92016199403042]
  パラメトリック・パースペクティブを用いて,大規模モデルから小規模モデルへの知識伝達を実証的に検討する。 感性に基づく手法を用いて、異なる大言語モデル間で知識固有のパラメータを抽出・調整する。 本研究は,パラメトリックな知識伝達の過程に寄与する重要な要因を明らかにする。
  論文  参考訳（メタデータ） (2023-10-17T17:58:34Z)
• Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
  本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。 提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
  論文  参考訳（メタデータ） (2023-06-21T01:43:25Z)
• Learning to Learn with Indispensable Connections [6.040904021861969]
  本稿では,メタ-LTHと呼ばれるメタ-LTHと呼ばれるメタ-ラーニング手法を提案する。 本手法は,オムニグロットデータセットの分類精度を約2%向上させる。
  論文  参考訳（メタデータ） (2023-04-06T04:53:13Z)
• MARS: Meta-Learning as Score Matching in the Function Space [79.73213540203389]
  本稿では,一連の関連するデータセットから帰納バイアスを抽出する手法を提案する。 機能的ベイズニューラルネットワーク推論を用いて、前者をプロセスとみなし、関数空間で推論を行う。 本手法は,データ生成プロセスのスコア関数をメタラーニングすることにより,複雑な事前知識をシームレスに獲得し,表現することができる。
  論文  参考訳（メタデータ） (2022-10-24T15:14:26Z)
• Improving Meta-learning for Low-resource Text Classification and Generation via Memory Imitation [87.98063273826702]
  本稿では,メモリ模倣メタラーニング(MemIML)手法を提案する。 本手法の有効性を証明するために理論的解析を行った。
  論文  参考訳（メタデータ） (2022-03-22T12:41:55Z)
• Generating meta-learning tasks to evolve parametric loss for classification learning [1.1355370218310157]
  既存のメタ学習アプローチでは、メタモデルをトレーニングするための学習タスクは通常、公開データセットから収集される。 本稿では,ランダムに生成したメタ学習タスクに基づくメタ学習手法を提案し,ビッグデータに基づく分類学習におけるパラメトリックな損失を求める。
  論文  参考訳（メタデータ） (2021-11-20T13:07:55Z)
• Knowledge-Aware Meta-learning for Low-Resource Text Classification [87.89624590579903]
  本稿では,低リソーステキスト分類問題について検討し,メタトレーニングとメタテストのギャップを埋める。 抽出した文固有知識グラフから学習した各文に対する追加表現を提案する。
  論文  参考訳（メタデータ） (2021-09-10T07:20:43Z)
• Learning an Explicit Hyperparameter Prediction Function Conditioned on Tasks [62.63852372239708]
  メタ学習は、観察されたタスクから機械学習の学習方法論を学び、新しいクエリタスクに一般化することを目的としている。 我々は、これらの学習手法を、全てのトレーニングタスクで共有される明示的なハイパーパラメータ予測関数の学習として解釈する。 このような設定は、メタ学習方法論が多様なクエリタスクに柔軟に適合できることを保証する。
  論文  参考訳（メタデータ） (2021-07-06T04:05:08Z)
• Learning to Learn Kernels with Variational Random Features [118.09565227041844]
  メタラーニングフレームワークにランダムなフーリエ機能を持つカーネルを導入し、その強力な数ショット学習能力を活用する。 変分推論問題としてメタVRFの最適化を定式化する。 MetaVRFは、既存のメタ学習方法に比べて、はるかに優れた、少なくとも競争力のあるパフォーマンスを提供します。
  論文  参考訳（メタデータ） (2020-06-11T18:05:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。