論文の概要: Continual Contrastive Spoken Language Understanding
- arxiv url: http://arxiv.org/abs/2310.02699v1
- Date: Wed, 4 Oct 2023 10:09:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-05 15:51:31.458579
- Title: Continual Contrastive Spoken Language Understanding
- Title(参考訳): 連続する対比的な話し言葉理解
- Authors: Umberto Cappellazzo, Enrico Fini, Muqiao Yang, Daniele Falavigna,
Alessio Brutti, Bhiksha Raj
- Abstract要約: COCONUTは、経験リプレイとコントラスト学習の組み合わせに依存するクラスインクリメンタルラーニング(CIL)手法である。
我々は,COCONUTをデコーダ側で動作するメソッドと組み合わせることで,さらなるメトリクス改善を実現することを示す。
- 参考スコア(独自算出の注目度): 35.06274474639964
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, neural networks have shown impressive progress across diverse
fields, with speech processing being no exception. However, recent
breakthroughs in this area require extensive offline training using large
datasets and tremendous computing resources. Unfortunately, these models
struggle to retain their previously acquired knowledge when learning new tasks
continually, and retraining from scratch is almost always impractical. In this
paper, we investigate the problem of learning sequence-to-sequence models for
spoken language understanding in a class-incremental learning (CIL) setting and
we propose COCONUT, a CIL method that relies on the combination of experience
replay and contrastive learning. Through a modified version of the standard
supervised contrastive loss applied only to the rehearsal samples, COCONUT
preserves the learned representations by pulling closer samples from the same
class and pushing away the others. Moreover, we leverage a multimodal
contrastive loss that helps the model learn more discriminative representations
of the new data by aligning audio and text features. We also investigate
different contrastive designs to combine the strengths of the contrastive loss
with teacher-student architectures used for distillation. Experiments on two
established SLU datasets reveal the effectiveness of our proposed approach and
significant improvements over the baselines. We also show that COCONUT can be
combined with methods that operate on the decoder side of the model, resulting
in further metrics improvements.
- Abstract(参考訳): 近年、ニューラルネットワークは様々な分野において顕著な進歩を見せており、音声処理は例外ではない。
しかし、この分野における最近のブレークスルーは、大規模なデータセットと膨大なコンピューティングリソースを使用した広範なオフライントレーニングを必要とする。
残念なことに、これらのモデルは、新しいタスクを継続的に学習する際に、以前取得した知識を維持するのに苦労している。
本稿では,クラスインクリメンタルラーニング(CIL)設定における音声言語理解のためのシーケンス・ツー・シーケンス学習モデルの問題点を考察し,経験再現とコントラスト学習の組み合わせに依存するCIL手法であるCOCONUTを提案する。
リハーサルサンプルにのみ適用される標準教師付きコントラスト損失の修正版を通じて、ココナッツは同じクラスからより近いサンプルを取り出して他のクラスを押し出すことで学習した表現を保存する。
さらに,音声とテキストの特徴を整合させることにより,モデルが新たなデータのより識別的な表現を学ぶのに役立つマルチモーダルなコントラストロスを活用する。
また, コントラスト損失の強みと, 蒸留に用いる教師・学生建築の強みを組み合わせるため, 異なるコントラスト設計について検討した。
2つのSLUデータセットに対する実験により,提案手法の有効性とベースラインに対する大幅な改善が示された。
また,ココナッツをモデルのデコーダ側で動作させる手法と組み合わせることで,さらなるメトリクス改善が期待できることを示した。
関連論文リスト
- Contrastive Continual Learning with Importance Sampling and
Prototype-Instance Relation Distillation [14.25441464051506]
本稿では,従来のデータ分布を復元し,知識の保存を目的としたコントラスト連続学習(Contrastive Continual Learning via Importance Smpling, CCLIS)を提案する。
また,プロトタイプとサンプル表現の関係を維持する技術であるPRD(Prototype-instance Relation Distillation)の損失について述べる。
論文 参考訳(メタデータ) (2024-03-07T15:47:52Z) - Enhancing Consistency and Mitigating Bias: A Data Replay Approach for
Incremental Learning [100.7407460674153]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。
問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。
しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。
代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
論文 参考訳(メタデータ) (2024-01-12T12:51:12Z) - Mitigating Forgetting in Online Continual Learning via Contrasting
Semantically Distinct Augmentations [22.289830907729705]
オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。
主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
論文 参考訳(メタデータ) (2022-11-10T05:29:43Z) - Prototypical quadruplet for few-shot class incremental learning [24.814045065163135]
改良されたコントラスト損失を用いて,より優れた埋め込み空間を同定し,分類ロバスト性を向上させる手法を提案する。
我々のアプローチは、新しいクラスで訓練された場合でも、埋め込み空間で以前獲得した知識を保っている。
提案手法の有効性は,新しいクラスでモデルを訓練した後,組込み空間がそのままであることを示すとともに,各セッションの精度で既存の最先端アルゴリズムより優れていることを示すことで実証する。
論文 参考訳(メタデータ) (2022-11-05T17:19:14Z) - Generative Negative Text Replay for Continual Vision-Language
Pretraining [95.2784858069843]
視覚言語による事前学習が近年注目を集めている。
大量のデータは、通常ストリーミング形式で収集される。
本稿では,画像とテキスト間のマルチモーダルな知識蒸留手法を提案する。
論文 参考訳(メタデータ) (2022-10-31T13:42:21Z) - Contrastive Learning with Boosted Memorization [36.957895270908324]
自己教師付き学習は、視覚的およびテキスト的データの表現学習において大きな成功を収めた。
近年の自己指導型長期学習の試行は、損失視点やモデル視点の再バランスによって行われる。
本稿では,ラベルを意識しないコンテキストにおける長期学習を強化するために,新しいBCL法を提案する。
論文 参考訳(メタデータ) (2022-05-25T11:54:22Z) - Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。
これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。
そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
論文 参考訳(メタデータ) (2021-09-24T07:20:13Z) - Revisiting Contrastive Methods for Unsupervised Learning of Visual
Representations [78.12377360145078]
対照的な自己教師型学習は、セグメンテーションやオブジェクト検出といった多くの下流タスクにおいて教師付き事前訓練よりも優れています。
本稿では,データセットのバイアスが既存手法にどのように影響するかを最初に検討する。
現在のコントラストアプローチは、(i)オブジェクト中心対シーン中心、(ii)一様対ロングテール、(iii)一般対ドメイン固有データセットなど、驚くほどうまく機能することを示す。
論文 参考訳(メタデータ) (2021-06-10T17:59:13Z) - Active Learning for Sequence Tagging with Deep Pre-trained Models and
Bayesian Uncertainty Estimates [52.164757178369804]
自然言語処理のためのトランスファーラーニングとアクティブラーニングの最近の進歩は、必要なアノテーション予算を大幅に削減する可能性を開く。
我々は,様々なベイズ不確実性推定手法とモンテカルロドロップアウトオプションの実験的研究を,アクティブ学習フレームワークで実施する。
また, 能動学習中にインスタンスを取得するためには, 完全サイズのトランスフォーマーを蒸留版に置き換えることにより, 計算性能が向上することを示した。
論文 参考訳(メタデータ) (2021-01-20T13:59:25Z) - A Survey on Contrastive Self-supervised Learning [0.0]
自己教師付き学習は、大規模なデータセットのアノテートコストを回避する能力によって人気を集めている。
コントラスト学習は近年,コンピュータビジョン,自然言語処理(NLP)などの分野において,自己指導型学習手法の主流となっている。
本稿では, コントラスト的アプローチに従う自己教師型手法について, 広範囲にわたるレビューを行う。
論文 参考訳(メタデータ) (2020-10-31T21:05:04Z) - Relation-Guided Representation Learning [53.60351496449232]
本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。
私たちのフレームワークは、サンプル間の関係をよく保存します。
サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
論文 参考訳(メタデータ) (2020-07-11T10:57:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。