Fugu-MT 論文翻訳(概要): MCML: A Novel Memory-based Contrastive Meta-Learning Method for Few Shot Slot Tagging

論文の概要: MCML: A Novel Memory-based Contrastive Meta-Learning Method for Few Shot Slot Tagging

arxiv url: http://arxiv.org/abs/2108.11635v1
Date: Thu, 26 Aug 2021 08:02:21 GMT
ステータス: 処理完了
システム内更新日: 2021-08-27 14:05:47.035970
Title: MCML: A Novel Memory-based Contrastive Meta-Learning Method for Few Shot Slot Tagging
Title（参考訳）: MCML:少しショットスロットタグ付けのための新しいメモリベースコントラストメタラーニング手法
Authors: Hongru Wang, Zezhong Wang, Gabriel Pui Cheong Fung, Kam-Fai Wong
Abstract要約: 本稿では,記憶に基づくコントラストメタラーニング(MCML)手法を提案する。実験の結果,MCMLは拡張性があり,メトリックベースメタラーニングや最適化ベースメタラーニングよりも優れていた。
参考スコア（独自算出の注目度）: 18.361125682723586
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Meta-learning is widely used for few-shot slot tagging in the task of few-shot learning. The performance of existing methods is, however, seriously affected by catastrophic forgetting. This phenomenon is common in deep learning as the training and testing modules fail to take into account historical information, i.e. previously trained episodes in the metric-based meta-learning. To overcome this predicament, we propose the Memory-based Contrastive Meta-learning (MCML) method. Specifically, we propose a learn-from-memory mechanism that use explicit memory to keep track of the label representations of previously trained episodes and propose a contrastive learning method to compare the current label embedded in the few shot episode with the historic ones stored in the memory, and an adaption-from memory mechanism to determine the output label based on the contrast between the input labels embedded in the test episode and the label clusters in the memory. Experimental results show that MCML is scalable and outperforms metric-based meta-learning and optimization-based meta-learning on all 1shot, 5-shot, 10-shot, and 20-shot scenarios of the SNIPS dataset.
Abstract（参考訳）: メタラーニングは、数ショット学習のタスクにおいて、数ショットスロットタギングに広く使用されている。しかし、既存手法の性能は破滅的な忘れ込みの影響を強く受けている。この現象は、トレーニングとテストモジュールが歴史的情報、すなわち歴史的情報を考慮していないため、ディープラーニングでは一般的である。メトリックベースのメタラーニングでトレーニング済みのエピソード。そこで本研究では,メモリベースのContrastive Meta-learning(MCML)手法を提案する。具体的には,前訓練されたエピソードのラベル表現の追跡に明示的なメモリを使用する学習・メモリ機構を提案し,少数のショットエピソードに埋め込まれた現在のラベルとメモリに記憶されている歴史的なラベルを比較し,テストエピソードに埋め込まれた入力ラベルとメモリ内のラベルクラスタとのコントラストに基づいて出力ラベルを決定する適応型メモリ機構を提案する。実験の結果,mmlはsnipsデータセットの1ショット,5ショット,10ショット,20ショットのシナリオすべてにおいて,メトリクスベースのメタラーニングと最適化に基づくメタラーニングよりも優れていた。

関連論文リスト

STAMP: Outlier-Aware Test-Time Adaptation with Stable Memory Replay [76.06127233986663]
テスト時間適応(TTA)は、トレーニングデータとテストデータの間の分散シフトに、未ラベルのデータのみを用いて対処することを目的としている。本稿では,サンプル認識とオフリエ拒絶の両方を行う問題に注意を払っている。本稿では,STAble Memory rePlay (STAMP) と呼ばれる新しい手法を提案する。
論文参考訳（メタデータ） (2024-07-22T16:25:41Z)
Memory-guided Network with Uncertainty-based Feature Augmentation for Few-shot Semantic Segmentation [12.653336728447654]
学習可能なメモリベクトルの集合からなるクラス共有メモリ(CSM)モジュールを提案する。これらのメモリベクトルは、トレーニング中にベースクラスから要素オブジェクトパターンを学習し、トレーニングと推論の両方でクエリ機能を再エンコードする。我々は、CSMとUFAを代表的FSS作品に統合し、広く使われているPASCAL-5$i$とCOCO-20$i$データセットの実験結果を得た。
論文参考訳（メタデータ） (2024-06-01T19:53:25Z)
CAMELoT: Towards Large Language Models with Training-Free Consolidated Associative Memory [38.429707659685974]
大規模言語モデル(LLM)は、メモリとランタイムのコストが高いため、長い入力シーケンスを扱うのに苦労する。本稿では,事前学習した(凍結した)注意に基づくLCMに再学習せずに結合可能な連想記憶モジュールを提案する。 CAMELoTと呼ばれるこのアーキテクチャは、128トークンの小さなコンテキストウィンドウでも優れたパフォーマンスを示している。
論文参考訳（メタデータ） (2024-02-21T01:00:17Z)
Distinguishability Calibration to In-Context Learning [31.375797763897104]
そこで本研究では, PLM符号化埋め込みを新しい距離空間にマッピングすることで, 埋め込みの識別性を保証する手法を提案する。また、双曲的埋め込みの利点を生かして、粒度の細かいクラス関連トークン埋め込み間の階層的関係を捉える。
論文参考訳（メタデータ） (2023-02-13T09:15:00Z)
A Memory Transformer Network for Incremental Learning [64.0410375349852]
本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
論文参考訳（メタデータ） (2022-10-10T08:27:28Z)
A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental Learning [56.450090618578]
CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
論文参考訳（メタデータ） (2022-05-26T08:24:01Z)
Semi-Supervised Learning of Semantic Correspondence with Pseudo-Labels [26.542718087103665]
SemiMatchは意味論的に類似した画像間の密接な対応を確立するための半教師付きソリューションである。筆者らのフレームワークは,ソースと弱増強ターゲット間のモデル予測自体を用いて擬似ラベルを生成し,擬似ラベルを用いてソースと強増強ターゲット間のモデルの再学習を行う。実験では、SemiMatchは様々なベンチマーク、特にPF-Willowにおける最先端のパフォーマンスを大きなマージンで達成している。
論文参考訳（メタデータ） (2022-03-30T03:52:50Z)
Memory-Guided Semantic Learning Network for Temporal Sentence Grounding [55.31041933103645]
本稿では,TSGタスクにおいて稀に出現しないコンテンツを学習し,記憶するメモリ拡張ネットワークを提案する。 MGSL-Netは、クロスモーダル・インターアクション・モジュール、メモリ拡張モジュール、異種アテンション・モジュールの3つの主要な部分で構成されている。
論文参考訳（メタデータ） (2022-01-03T02:32:06Z)
Meta-Learning with Variational Semantic Memory for Word Sense Disambiguation [56.830395467247016]
メタ学習環境におけるWSDのセマンティックメモリモデルを提案する。我々のモデルは階層的変動推論に基づいており、ハイパーネットワークを介して適応的なメモリ更新ルールを組み込んでいる。極めて少ないシナリオでの効果的な学習を支援するために,本モデルがWSDで最先端の技術を数ショットで実現していることを示す。
論文参考訳（メタデータ） (2021-06-05T20:40:01Z)
Improving Pretrained Models for Zero-shot Multi-label Text Classification through Reinforced Label Hierarchy Reasoning [18.531022315325583]
ラベル階層の探索は、ゼロショットのマルチラベルテキスト分類問題に取り組むための有望なアプローチとなっている。トレーニング中の階層内のラベル間の相互依存性を促進するために,RLHR(Reinforced Label Hierarchy Reasoning)アプローチを提案する。
論文参考訳（メタデータ） (2021-04-04T19:14:09Z)
Memory Enhanced Embedding Learning for Cross-Modal Video-Text Retrieval [155.32369959647437]
クロスモーダルなビデオテキスト検索は、視覚と言語分野において難しい課題である。このタスクの既存のアプローチはすべて、ハードネガティブなランキング損失を通じてエンコーディングモデルを設計する方法に重点を置いている。ビデオテキスト検索のための新しいメモリ強化埋め込み学習(MEEL)法を提案する。
論文参考訳（メタデータ） (2021-03-29T15:15:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。