Fugu-MT 論文翻訳(概要): DPFormer: Dynamic Prompt Transformer for Continual Learning

論文の概要: DPFormer: Dynamic Prompt Transformer for Continual Learning

arxiv url: http://arxiv.org/abs/2506.07414v1
Date: Mon, 09 Jun 2025 04:26:20 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-10 16:33:10.804124
Title: DPFormer: Dynamic Prompt Transformer for Continual Learning
Title（参考訳）: DPFormer:連続学習のための動的プロンプト変換器
Authors: Sheng-Kai Huang, Jiun-Feng Chang, Chun-Rong Huang,
Abstract要約: 連続学習では、破滅的な問題を忘れると、モデルは安定性と塑性のジレンマに陥る可能性がある。本稿では,プロンプトスキームを用いた新しい動的プロンプトトランス (DPFormer) を提案する。プロンプトスキームは、DPFormerが以前のクラスやタスクの知識を記憶し、単一のネットワーク構造の下で新しいクラスやタスクから新しい知識を学習し続けるのに役立つ。
参考スコア（独自算出の注目度）: 5.396395274502375
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In continual learning, solving the catastrophic forgetting problem may make the models fall into the stability-plasticity dilemma. Moreover, inter-task confusion will also occur due to the lack of knowledge exchanges between different tasks. In order to solve the aforementioned problems, we propose a novel dynamic prompt transformer (DPFormer) with prompt schemes. The prompt schemes help the DPFormer memorize learned knowledge of previous classes and tasks, and keep on learning new knowledge from new classes and tasks under a single network structure with a nearly fixed number of model parameters. Moreover, they also provide discrepant information to represent different tasks to solve the inter-task confusion problem. Based on prompt schemes, a unified classification module with the binary cross entropy loss, the knowledge distillation loss and the auxiliary loss is proposed to train the whole model in an end-to-end trainable manner. Compared with state-of-the-art methods, our method achieves the best performance in the CIFAR-100, ImageNet100 and ImageNet1K datasets under different class-incremental settings in continual learning. The source code will be available at our GitHub after acceptance.
Abstract（参考訳）: 連続学習では、破滅的な忘れる問題を解くことで、モデルは安定性と塑性のジレンマに陥る可能性がある。さらに、タスク間の知識交換の欠如により、タスク間の混乱も生じる。上記の問題を解決するために,プロンプトスキームを用いた新しい動的プロンプトトランス (DPFormer) を提案する。このプロンプトスキームは、DPFormerが以前のクラスやタスクの学習知識を記憶し、ほぼ固定数のモデルパラメータを持つ単一のネットワーク構造の下で新しいクラスやタスクから新しい知識を学習し続けるのに役立つ。さらに、タスク間の混乱問題を解決するために、異なるタスクを表現するために不明瞭な情報も提供する。逐次的スキームに基づいて,二項交叉エントロピー損失,知識蒸留損失,補助損失を併用した統一分類モジュールを提案する。 CIFAR-100, ImageNet100, ImageNet1Kデータセットにおいて, 連続学習におけるクラスインクリメンタル設定の違いにより, 最先端の手法と比較して, 最高の性能を実現する。ソースコードはGitHubで受け入れられる予定です。

関連論文リスト

Analytic Subspace Routing: How Recursive Least Squares Works in Continual Learning of Large Language Model [6.42114585934114]
大規模言語モデル(LLM)には、多様な言語関連タスクを処理できる機能がある。大規模言語モデル(LLM)における継続的な学習は、LLMを新しいタスクに継続的に適応させることを目的としている。本稿では,これらの課題に対処するため,ASR(Analytic Subspace Routing)を提案する。
論文参考訳（メタデータ） (2025-03-17T13:40:46Z)
Beyond Prompt Learning: Continual Adapter for Efficient Rehearsal-Free Continual Learning [22.13331870720021]
C-ADA (Continuous Adapter) という,RFCL タスクに対する超高速学習手法を提案する。 C-ADAは、CALの特定の重みを柔軟に拡張し、各タスクの新たな知識を学び、古い重みを凍結して以前の知識を保存する。提案手法は,現状のSOTA(State-of-the-art)法よりも優れ,性能とトレーニング速度を大幅に向上させる。
論文参考訳（メタデータ） (2024-07-14T17:40:40Z)
Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models [79.28821338925947]
ドメインクラスのインクリメンタル学習は現実的だが、継続的な学習シナリオである。これらの多様なタスクに対処するために、事前訓練されたビジョンランゲージモデル(VLM)を導入し、その強力な一般化性を実現する。事前訓練されたVLMにエンコードされた知識は、新しいタスクに適応する際に妨げられ、固有のゼロショット能力を損なう。既存の手法では、膨大なオーバーヘッドを必要とする余分なデータセットに知識蒸留でVLMをチューニングすることで、この問題に対処している。我々は、事前学習した知識を保持できるDIKI(Distributed-Aware Interference-free Knowledge Integration)フレームワークを提案する。
論文参考訳（メタデータ） (2024-07-07T12:19:37Z)
PECTP: Parameter-Efficient Cross-Task Prompts for Incremental Vision Transformer [76.39111896665585]
インクリメンタルラーニング(IL)は、シーケンシャルタスクの深いモデルを継続的に学習することを目的としている。近年の大規模事前訓練モデル (PTM) は, 従来の試料を含まない実用ILにおいて, 即時的手法により優れた性能を発揮している。
論文参考訳（メタデータ） (2024-07-04T10:37:58Z)
Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
論文参考訳（メタデータ） (2023-11-23T15:46:54Z)
FedYolo: Augmenting Federated Learning with Pretrained Transformers [61.56476056444933]
本研究では,デバイス上での学習目標を達成するための事前学習型トランスフォーマー(PTF)について検討する。大規模化により,代替手法間の精度ギャップが小さくなり,ロバスト性も向上することを示す。最後に、クライアントは単一のPTFを使用して複数の無関係なタスクを同時に解決できる。
論文参考訳（メタデータ） (2023-07-10T21:08:52Z)
Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文参考訳（メタデータ） (2023-06-21T01:43:25Z)
Online Continual Learning via the Knowledge Invariant and Spread-out Properties [4.109784267309124]
継続的な学習の鍵となる課題は破滅的な忘れ方だ。知識不変性とスプレッドアウト特性(OCLKISP)を用いたオンライン連続学習法を提案する。提案手法を,CIFAR 100, Split SVHN, Split CUB200, Split Tiny-Image-Netの4つのベンチマークで実証的に評価した。
論文参考訳（メタデータ） (2023-02-02T04:03:38Z)
Hierarchically Structured Task-Agnostic Continual Learning [0.0]
本研究では,連続学習のタスク非依存的な視点を取り入れ,階層的情報理論の最適性原理を考案する。我々は,情報処理経路の集合を作成することで,忘れを緩和する,Mixture-of-Variational-Experts層と呼ばれるニューラルネットワーク層を提案する。既存の連続学習アルゴリズムのようにタスク固有の知識を必要としない。
論文参考訳（メタデータ） (2022-11-14T19:53:15Z)
Multi-Scale Aligned Distillation for Low-Resolution Detection [68.96325141432078]
本稿では,高分解能モデルや多分解能モデルから知識を抽出することで,低分解能モデルの性能を向上させることに焦点を当てる。いくつかのインスタンスレベルの検出タスクとデータセットにおいて,本手法を用いて訓練された低解像度モデルと,従来のマルチスケールトレーニングによる訓練された高解像度モデルとを競合的に処理する。
論文参考訳（メタデータ） (2021-09-14T12:53:35Z)
Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
論文参考訳（メタデータ） (2020-12-31T08:21:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。