Fugu-MT 論文翻訳(概要): MCML: A Novel Memory-based Contrastive Meta-Learning Method for Few Shot Slot Tagging

論文の概要: MCML: A Novel Memory-based Contrastive Meta-Learning Method for Few Shot Slot Tagging

arxiv url: http://arxiv.org/abs/2108.11635v3
Date: Mon, 11 Sep 2023 08:39:17 GMT
ステータス: 処理完了
システム内更新日: 2023-09-13 18:18:18.698101
Title: MCML: A Novel Memory-based Contrastive Meta-Learning Method for Few Shot Slot Tagging
Title（参考訳）: MCML:少しショットスロットタグ付けのための新しいメモリベースコントラストメタラーニング手法
Authors: Hongru Wang, Zezhong Wang, Wai Chung Kwan, Kam-Fai Wong
Abstract要約: textbfMemory ベースの textbfContrastive textbfMeta-textbfLearning (別名 MCML) 法を提案する。実験の結果、MCMLはSNIPSとNERの両方のデータセット上で、最先端の手法よりも優れていた。
参考スコア（独自算出の注目度）: 17.205431506768125
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Meta-learning is widely used for few-shot slot tagging in task of few-shot learning. The performance of existing methods is, however, seriously affected by \textit{sample forgetting issue}, where the model forgets the historically learned meta-training tasks while solely relying on support sets when adapting to new tasks. To overcome this predicament, we propose the \textbf{M}emory-based \textbf{C}ontrastive \textbf{M}eta-\textbf{L}earning (aka, MCML) method, including \textit{learn-from-the-memory} and \textit{adaption-from-the-memory} modules, which bridge the distribution gap between training episodes and between training and testing respectively. Specifically, the former uses an explicit memory bank to keep track of the label representations of previously trained episodes, with a contrastive constraint between the label representations in the current episode with the historical ones stored in the memory. In addition, the \emph{adaption-from-memory} mechanism is introduced to learn more accurate and robust representations based on the shift between the same labels embedded in the testing episodes and memory. Experimental results show that the MCML outperforms several state-of-the-art methods on both SNIPS and NER datasets and demonstrates strong scalability with consistent improvement when the number of shots gets greater.
Abstract（参考訳）: メタラーニングは、数ショットの学習タスクにおいて、数ショットのスロットタグ付けに広く使用されている。しかし、既存のメソッドのパフォーマンスは、新しいタスクに適応する際にサポートセットにのみ依存しながら、歴史的に学んだメタトレーニングタスクをモデルが忘れる、 \textit{sample forgeting issue} によって深刻な影響を受ける。この課題を克服するために、我々は、トレーニングエピソードとトレーニングとテストの間の分散ギャップを橋渡しする \textit{learn-from-memory} と \textit{adaption-from-the-memory} モジュールを含む \textbf{m}emory-based \textbf{c}ontrastive \textbf{m}eta-\textbf{l}earning (別名 mcml) メソッドを提案する。具体的には、前者は明示的なメモリバンクを使用して、以前の訓練されたエピソードのラベル表現を追跡し、現在のエピソードのラベル表現とメモリに格納された歴史的なものとの対比的な制約を保持する。さらに、テストエピソードとメモリに埋め込まれた同じラベル間のシフトに基づいて、より正確で堅牢な表現を学ぶために、 \emph{adaption-from-memory} メカニズムが導入された。実験の結果、MCMLはSNIPSデータセットとNERデータセットの両方でいくつかの最先端の手法より優れており、ショット数が増えると一貫した拡張性を示す。

関連論文リスト

STAMP: Outlier-Aware Test-Time Adaptation with Stable Memory Replay [76.06127233986663]
テスト時間適応(TTA)は、トレーニングデータとテストデータの間の分散シフトに、未ラベルのデータのみを用いて対処することを目的としている。本稿では,サンプル認識とオフリエ拒絶の両方を行う問題に注意を払っている。本稿では,STAble Memory rePlay (STAMP) と呼ばれる新しい手法を提案する。
論文参考訳（メタデータ） (2024-07-22T16:25:41Z)
Memory-guided Network with Uncertainty-based Feature Augmentation for Few-shot Semantic Segmentation [12.653336728447654]
学習可能なメモリベクトルの集合からなるクラス共有メモリ(CSM)モジュールを提案する。これらのメモリベクトルは、トレーニング中にベースクラスから要素オブジェクトパターンを学習し、トレーニングと推論の両方でクエリ機能を再エンコードする。我々は、CSMとUFAを代表的FSS作品に統合し、広く使われているPASCAL-5$i$とCOCO-20$i$データセットの実験結果を得た。
論文参考訳（メタデータ） (2024-06-01T19:53:25Z)
CAMELoT: Towards Large Language Models with Training-Free Consolidated Associative Memory [38.429707659685974]
大規模言語モデル(LLM)は、メモリとランタイムのコストが高いため、長い入力シーケンスを扱うのに苦労する。本稿では,事前学習した(凍結した)注意に基づくLCMに再学習せずに結合可能な連想記憶モジュールを提案する。 CAMELoTと呼ばれるこのアーキテクチャは、128トークンの小さなコンテキストウィンドウでも優れたパフォーマンスを示している。
論文参考訳（メタデータ） (2024-02-21T01:00:17Z)
Distinguishability Calibration to In-Context Learning [31.375797763897104]
そこで本研究では, PLM符号化埋め込みを新しい距離空間にマッピングすることで, 埋め込みの識別性を保証する手法を提案する。また、双曲的埋め込みの利点を生かして、粒度の細かいクラス関連トークン埋め込み間の階層的関係を捉える。
論文参考訳（メタデータ） (2023-02-13T09:15:00Z)
A Memory Transformer Network for Incremental Learning [64.0410375349852]
本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
論文参考訳（メタデータ） (2022-10-10T08:27:28Z)
A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental Learning [56.450090618578]
CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
論文参考訳（メタデータ） (2022-05-26T08:24:01Z)
Semi-Supervised Learning of Semantic Correspondence with Pseudo-Labels [26.542718087103665]
SemiMatchは意味論的に類似した画像間の密接な対応を確立するための半教師付きソリューションである。筆者らのフレームワークは,ソースと弱増強ターゲット間のモデル予測自体を用いて擬似ラベルを生成し,擬似ラベルを用いてソースと強増強ターゲット間のモデルの再学習を行う。実験では、SemiMatchは様々なベンチマーク、特にPF-Willowにおける最先端のパフォーマンスを大きなマージンで達成している。
論文参考訳（メタデータ） (2022-03-30T03:52:50Z)
Memory-Guided Semantic Learning Network for Temporal Sentence Grounding [55.31041933103645]
本稿では,TSGタスクにおいて稀に出現しないコンテンツを学習し,記憶するメモリ拡張ネットワークを提案する。 MGSL-Netは、クロスモーダル・インターアクション・モジュール、メモリ拡張モジュール、異種アテンション・モジュールの3つの主要な部分で構成されている。
論文参考訳（メタデータ） (2022-01-03T02:32:06Z)
Meta-Learning with Variational Semantic Memory for Word Sense Disambiguation [56.830395467247016]
メタ学習環境におけるWSDのセマンティックメモリモデルを提案する。我々のモデルは階層的変動推論に基づいており、ハイパーネットワークを介して適応的なメモリ更新ルールを組み込んでいる。極めて少ないシナリオでの効果的な学習を支援するために,本モデルがWSDで最先端の技術を数ショットで実現していることを示す。
論文参考訳（メタデータ） (2021-06-05T20:40:01Z)
Improving Pretrained Models for Zero-shot Multi-label Text Classification through Reinforced Label Hierarchy Reasoning [18.531022315325583]
ラベル階層の探索は、ゼロショットのマルチラベルテキスト分類問題に取り組むための有望なアプローチとなっている。トレーニング中の階層内のラベル間の相互依存性を促進するために,RLHR(Reinforced Label Hierarchy Reasoning)アプローチを提案する。
論文参考訳（メタデータ） (2021-04-04T19:14:09Z)
Memory Enhanced Embedding Learning for Cross-Modal Video-Text Retrieval [155.32369959647437]
クロスモーダルなビデオテキスト検索は、視覚と言語分野において難しい課題である。このタスクの既存のアプローチはすべて、ハードネガティブなランキング損失を通じてエンコーディングモデルを設計する方法に重点を置いている。ビデオテキスト検索のための新しいメモリ強化埋め込み学習(MEEL)法を提案する。
論文参考訳（メタデータ） (2021-03-29T15:15:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。