論文の概要: RepCL: Exploring Effective Representation for Continual Text Classification

• arxiv url: http://arxiv.org/abs/2305.07289v1
• Date: Fri, 12 May 2023 07:32:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-15 13:46:30.125235
• Title: RepCL: Exploring Effective Representation for Continual Text Classification
• Title（参考訳）: RepCL:連続テキスト分類のための効果的な表現を探る
• Authors: Yifan Song, Peiyi Wang, Dawei Zhu, Tianyu Liu, Zhifang Sui, Sujian Li
• Abstract要約: 我々は,クラスインクリメンタルな設定の下での連続的なテキスト分類に焦点をあてる。 最近のCL研究では、あるタスクで学んだ表現は他のタスクには効果がない可能性がある。 本稿では,リプレイに基づく連続テキスト分類手法RepCLを提案する。
• 参考スコア（独自算出の注目度）: 34.33543812253366
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning (CL) aims to constantly learn new knowledge over time while avoiding catastrophic forgetting on old tasks. In this work, we focus on continual text classification under the class-incremental setting. Recent CL studies find that the representations learned in one task may not be effective for other tasks, namely representation bias problem. For the first time we formally analyze representation bias from an information bottleneck perspective and suggest that exploiting representations with more class-relevant information could alleviate the bias. To this end, we propose a novel replay-based continual text classification method, RepCL. Our approach utilizes contrastive and generative representation learning objectives to capture more class-relevant features. In addition, RepCL introduces an adversarial replay strategy to alleviate the overfitting problem of replay. Experiments demonstrate that RepCL effectively alleviates forgetting and achieves state-of-the-art performance on three text classification tasks.
• Abstract（参考訳）: 継続学習(CL)は、古いタスクを忘れないようにしながら、時間とともに新しい知識を常に学習することを目的としている。 本研究は,クラスインクリメンタルな設定下での連続的なテキスト分類に焦点をあてる。 最近のCL研究では、あるタスクで学習した表現は他のタスク、すなわち表現バイアス問題に有効でない可能性がある。 情報ボトルネックの観点から表現バイアスを形式的に分析し,より類型的情報を用いた表現の活用がバイアスの軽減につながることを示唆した。 そこで本研究では,リプレイに基づく連続テキスト分類手法RepCLを提案する。 本手法は,コントラスト表現学習目標と生成表現学習目標を用いて,よりクラス関係の特徴を捉える。 さらに、RepCLはリプレイの過度な問題を軽減するために、対戦型リプレイ戦略を導入する。 実験により、RepCLは3つのテキスト分類タスクにおける忘れを効果的に軽減し、最先端のパフォーマンスを達成する。

関連論文リスト

• Replay Consolidation with Label Propagation for Continual Object Detection [7.454468349023651]
  オブジェクト検出のための連続学習は、分類のためのCLに比べてさらに困難である。 CLODでは、以前のタスクからのイメージには、将来のタスクでラベル付けされた未知のクラスが含まれている可能性がある。 本稿では,オブジェクト検出のためのラベル伝搬を用いたリプレイ統合(Replay Consolidation with Label Propagation)という,CLODを解く新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-09-09T14:16:27Z)
• InfoCL: Alleviating Catastrophic Forgetting in Continual Text Classification from An Information Theoretic Perspective [44.961805748830066]
  我々は,クラスインクリメンタルな設定の下での連続的なテキスト分類に焦点をあてる。 近年の研究では、類似クラスの性能低下を忘れる重要な要因として挙げている。 本稿では,リプレイに基づく連続テキスト分類手法InfoCLを提案する。
  論文  参考訳（メタデータ） (2023-10-10T07:00:13Z)
• Three ways to improve feature alignment for open vocabulary detection [88.65076922242184]
  ゼロショットオープンボキャブラリ検出の鍵となる問題は、視覚的特徴とテキスト的特徴の整合性である。 以前のアプローチでは、特徴ピラミッドと検出ヘッドをゼロからトレーニングし、事前トレーニング中に確立された視覚テキストの特徴アライメントを壊す。 本稿では,これらの問題を緩和する3つの方法を提案する。まず,テキストの埋め込みを強化するための簡単なスキームを用いて,学習中に見られる少数のクラスへの過度な適合を防止する。 次に、特徴ピラミッドネットワークと検出ヘッドをトレーニング可能なショートカットを含むように変更する。 最後に、より大きなコーパスを活用するために、自己学習アプローチが使用される。
  論文  参考訳（メタデータ） (2023-03-23T17:59:53Z)
• Detachedly Learn a Classifier for Class-Incremental Learning [11.865788374587734]
  本稿では,バニラ体験リプレイ(ER)の失敗は,従来のタスクの不要な再学習と,現在のタスクと以前のタスクとを区別する能力の欠如が原因であることを示す。 本稿では,新しいリプレイ戦略・タスク認識体験リプレイを提案する。 実験の結果,本手法は最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-02-23T01:35:44Z)
• Understanding and Mitigating Overfitting in Prompt Tuning for Vision-Language Models [108.13378788663196]
  本稿では, トレーニング過程全体において, 低ランク部分空間にバックプロパゲーションの勾配を投影するSubspace Prompt Tuning(SubPT)を提案する。 我々はCoOpにノベル・ラーナー・フィーチャー(NFL)を装備し、学習したプロンプトをトレーニングセット以外の新しいカテゴリに一般化する能力を高める。
  論文  参考訳（メタデータ） (2022-11-04T02:06:22Z)
• New Intent Discovery with Pre-training and Contrastive Learning [21.25371293641141]
  新しい意図発見は、ユーザ発話から新しい意図カテゴリーを明らかにして、サポート対象クラスのセットを拡張することを目的としている。 既存のアプローチは通常、大量のラベル付き発話に依存する。 本稿では,クラスタリングのためのラベルなしデータにおける自己超越的信号を活用するために,新たなコントラスト損失を提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:07:25Z)
• Co$^2$L: Contrastive Continual Learning [69.46643497220586]
  近年の自己教師型学習のブレークスルーは、このようなアルゴリズムが視覚的な表現を学習し、見えないタスクにもっとうまく移行できることを示している。 本稿では、連続的な学習と伝達可能な表現の維持に焦点を当てたリハーサルに基づく連続学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-28T06:14:38Z)
• Reducing Representation Drift in Online Continual Learning [87.71558506591937]
  私たちは、エージェントが制限されたメモリと計算で変化する分布から学ぶ必要があるオンライン連続学習パラダイムを研究します。 この作業では、入ってくるデータストリームに未観測のクラスサンプルが導入されることにより、事前に観測されたデータの表現の変化に焦点を合わせます。
  論文  参考訳（メタデータ） (2021-04-11T15:19:30Z)
• Revisiting Deep Local Descriptor for Improved Few-Shot Classification [56.74552164206737]
  textbfDense textbfClassification と textbfAttentive textbfPooling を利用して埋め込みの質を向上させる方法を示す。 広範に使われているグローバル平均プール (GAP) の代わりに, 注意深いプールを施し, 特徴マップをプールすることを提案する。
  論文  参考訳（メタデータ） (2021-03-30T00:48:28Z)
• On the Exploration of Incremental Learning for Fine-grained Image Retrieval [45.48333682748607]
  我々は,新たなカテゴリが時間とともに追加される場合に,細粒度画像検索の問題を漸進的に考慮する。 本稿では,検索性能の劣化を抑えるための漸進学習手法を提案する。 提案手法は,新しいクラスにおいて高い性能を保ちながら,元のクラスにおける破滅的な忘れを効果的に軽減する。
  論文  参考訳（メタデータ） (2020-10-15T21:07:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。