Fugu-MT 論文翻訳(概要): Information-Theoretic Complementary Prompts for Improved Continual Text Classification

論文の概要: Information-Theoretic Complementary Prompts for Improved Continual Text Classification

arxiv url: http://arxiv.org/abs/2505.20933v1
Date: Tue, 27 May 2025 09:22:14 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-28 17:05:58.541958
Title: Information-Theoretic Complementary Prompts for Improved Continual Text Classification
Title（参考訳）: 連続テキスト分類の改善のための情報理論補足プロンプト
Authors: Duzhen Zhang, Yong Ren, Chenxing Li, Dong Yu, Tielin Zhang,
Abstract要約: 本稿では,連続テキスト分類のための情報理論補完プロンプト(InfoComp)を紹介する。 InfoComp は P(rivate)-Prompt と S(hared)-Prompt という二つの異なるプロンプト空間を明示的に学習する。本枠組みでは,(1)P-Promptにおけるタスク固有の知識の蓄積を強化すること,(2)S-Promptにおけるタスク固有の知識の保持を強化すること,(2)フォワード知識伝達を改善すること,の2つの新しい損失関数を設計する。
参考スコア（独自算出の注目度）: 34.30189210224955
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Continual Text Classification (CTC) aims to continuously classify new text data over time while minimizing catastrophic forgetting of previously acquired knowledge. However, existing methods often focus on task-specific knowledge, overlooking the importance of shared, task-agnostic knowledge. Inspired by the complementary learning systems theory, which posits that humans learn continually through the interaction of two systems -- the hippocampus, responsible for forming distinct representations of specific experiences, and the neocortex, which extracts more general and transferable representations from past experiences -- we introduce Information-Theoretic Complementary Prompts (InfoComp), a novel approach for CTC. InfoComp explicitly learns two distinct prompt spaces: P(rivate)-Prompt and S(hared)-Prompt. These respectively encode task-specific and task-invariant knowledge, enabling models to sequentially learn classification tasks without relying on data replay. To promote more informative prompt learning, InfoComp uses an information-theoretic framework that maximizes mutual information between different parameters (or encoded representations). Within this framework, we design two novel loss functions: (1) to strengthen the accumulation of task-specific knowledge in P-Prompt, effectively mitigating catastrophic forgetting, and (2) to enhance the retention of task-invariant knowledge in S-Prompt, improving forward knowledge transfer. Extensive experiments on diverse CTC benchmarks show that our approach outperforms previous state-of-the-art methods.
Abstract（参考訳）: 連続テキスト分類(CTC)は、それまでの知識の破滅的な忘れを最小化しつつ、時間とともに新しいテキストデータを継続的に分類することを目的としている。しかし、既存の手法はしばしばタスク固有の知識に焦点を合わせ、共有されたタスクに依存しない知識の重要性を見越す。 CTCの新しいアプローチである情報理論補完的補足法(InfoComp)を導入する。2つのシステム – 特定の経験の異なる表現を形成するための海馬 – と,過去の経験からより一般的で伝達可能な表現を抽出する新皮質 – を通じて人間が継続的に学習することを示す補完的学習システム理論に着想を得た。 InfoComp は P(rivate)-Prompt と S(hared)-Prompt という二つの異なるプロンプト空間を明示的に学習する。これらはそれぞれタスク固有の知識とタスク不変の知識を符号化し、モデルがデータ再生に頼ることなく、逐次分類タスクを学習することを可能にする。 InfoCompは情報理論のフレームワークを使い、異なるパラメータ(あるいは符号化された表現)間の相互情報を最大化する。本枠組みでは,(1)P-Promptにおけるタスク固有の知識の蓄積を強化すること,(2)S-Promptにおけるタスク固有の知識の保持を強化すること,(2)フォワード知識伝達を改善すること,の2つの新しい損失関数を設計する。 CTCベンチマークの多種多様な実験により、我々の手法は従来の最先端手法よりも優れていることが示された。

関連論文リスト

DUKAE: DUal-level Knowledge Accumulation and Ensemble for Pre-Trained Model-Based Continual Learning [19.684132921720945]
事前学習型モデルベース連続学習(PTMCL)は,新たな知識のより迅速な獲得を可能にするため,注目を集めている。本稿では,機能レベルと意思決定レベルの知識蓄積を両立させるDual-level Knowledge Accumulation and Ensemble(DUKAE)を提案する。 CIFAR-100、ImageNet-R、CUB-200、Cars-196データセットの実験は、我々のアプローチの優れた性能を示している。
論文参考訳（メタデータ） (2025-04-09T01:40:38Z)
CSTA: Spatial-Temporal Causal Adaptive Learning for Exemplar-Free Video Class-Incremental Learning [62.69917996026769]
クラスインクリメンタルな学習課題は、空間的外観と時間的行動の関与の両方を学習し、保存することを必要とする。本稿では,各クラス固有のインクリメンタル情報要件を調整し,新しいクラスパターンを学習するためのアダプタを分離するフレームワークを提案する。異なる種類の情報間のインクリメントと記憶の衝突を減らすために,因果補償機構を提案する。
論文参考訳（メタデータ） (2025-01-13T11:34:55Z)
Hierarchical Prompts for Rehearsal-free Continual Learning [67.37739666753008]
継続的な学習は、過去のタスク知識の忘れを軽減しつつ、現在のタスク知識を統合する能力をモデルに装備する。プロンプトチューニングによってインスパイアされたプロンプトベースのメソッドは、凍結したバックボーンを維持し、わずかに学習可能なプロンプトでトレーニングする。本稿では,H-Prompts(H-Prompts)と呼ばれる連続学習のための新しいリハーサルフリーパラダイムを提案する。
論文参考訳（メタデータ） (2024-01-21T16:59:44Z)
Prompt Learning With Knowledge Memorizing Prototypes For Generalized Few-Shot Intent Detection [22.653220906899612]
汎用Few-Shot Intent Detection (GFSID) は、目に見える意図と新しい意図の両方を同時に分類する必要があるため、困難かつ現実的である。従来のGFSID法は、エピソード学習パラダイムに依存していた。本稿では,GFSIDタスクをクラスインクリメンタル学習パラダイムに変換することを提案する。
論文参考訳（メタデータ） (2023-09-10T09:16:38Z)
Pre-training Multi-task Contrastive Learning Models for Scientific Literature Understanding [52.723297744257536]
事前学習言語モデル(LM)は、科学文献理解タスクにおいて有効であることを示す。文献理解タスク間の共通知識共有を容易にするために,マルチタスクのコントラスト学習フレームワークであるSciMultを提案する。
論文参考訳（メタデータ） (2023-05-23T16:47:22Z)
Dual Semantic Knowledge Composed Multimodal Dialog Systems [114.52730430047589]
本稿では,MDS-S2という新しいマルチモーダルタスク指向対話システムを提案する。コンテキスト関連属性と関係知識を知識ベースから取得する。また、合成された応答表現から意味情報を抽出するために、潜在クエリ変数のセットを考案する。
論文参考訳（メタデータ） (2023-05-17T06:33:26Z)
Online Continual Learning via the Knowledge Invariant and Spread-out Properties [4.109784267309124]
継続的な学習の鍵となる課題は破滅的な忘れ方だ。知識不変性とスプレッドアウト特性(OCLKISP)を用いたオンライン連続学習法を提案する。提案手法を,CIFAR 100, Split SVHN, Split CUB200, Split Tiny-Image-Netの4つのベンチマークで実証的に評価した。
論文参考訳（メタデータ） (2023-02-02T04:03:38Z)
Continual Prompt Tuning for Dialog State Tracking [58.66412648276873]
望ましいダイアログシステムは、古いスキルを忘れずに継続的に新しいスキルを学ぶことができるべきである。本稿では,タスク間の知識伝達を可能にするパラメータ効率フレームワークであるContinuous Prompt Tuningを提案する。
論文参考訳（メタデータ） (2022-03-13T13:22:41Z)
Understand me, if you refer to Aspect Knowledge: Knowledge-aware Gated Recurrent Memory Network [54.735400754548635]
アスペクトレベルの感情分類(ASC)は、レビューで言及された特定の側面に対する微粒な感情極性を予測することを目的としている。最近のASCの進歩にもかかわらず、マシンが重要な側面の感情を推測できるようにすることは依然として困難である。本稿では,(1)アスペクト知識の欠如によるアスペクト表現がアスペクトの正確な意味と特性情報を表現するのに不十分であること,(2)先行研究は局所的な構文情報とグローバルな関係情報のみを捉えること,という2つの課題に対処する。
論文参考訳（メタデータ） (2021-08-05T03:39:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。