論文の概要: Task Relevance-Driven Prompt Expansion for Federated Continual Learning

• arxiv url: http://arxiv.org/abs/2610.34461v1
• Date: Sun, 25 Oct 2026 17:34:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.618665
• Title: Task Relevance-Driven Prompt Expansion for Federated Continual Learning
• Title（参考訳）: 連立学習のためのタスク関連性駆動型プロンプト拡張
• Abstract要約: フェデレートされた連続学習(FCL)は、ローカルクライアントが新しいタスクから継続的に知識を得ることを可能にすることで、かなりの関心を集めている。 多くのFCL手法は、グローバルサーバが到着時刻と新しいタスクのカテゴリ数について事前の知識を持っていると仮定するが、これは現実世界では現実的ではない。 我々は,新しいタスクの事前知識への依存をなくすために,新しいタスク関連駆動型プロンプト拡張(TRPE)モデルを開発した。
• 参考スコア（独自算出の注目度）: 113.53619971490151
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated continual learning (FCL) has attracted considerable interest by enabling local clients to continually acquire knowledge from new tasks. However, most FCL methods assume that the global server has prior knowledge of the arrival times and number of categories for new tasks, which is unrealistic in the real world. Furthermore, they neglect the importance of positive inter-task semantic relationships when learning new tasks and are significantly affected by irrelevant relationships from old tasks, thereby exacerbating catastrophic forgetting. To resolve the above challenges, we develop a novel Task Relevance-driven Prompt Expansion (TRPE) model. Specifically, to eliminate the reliance on prior knowledge of new tasks, we propose an out-of-distribution detector to identify the arrival of new tasks within local clients, along with a radius-adaptive DBSCAN to infer the quantity of categories in new tasks on the proxy server. Moreover, to explore positive inter-task relationships, we calculate the affinity between the original gradient for learning new task and its gradient orthogonal to the feature space of old tasks to evaluate semantic relevance between old and new tasks from a global perspective. Then, we use this global task relevance to determine the key-prompt pair for new tasks and identify highly related old tasks. After concatenating their prompts for training, we can leverage such positive inter-task relations to improve the continual learning of newly arriving tasks. To balance the learning of new tasks and the forgetting of old ones, a soft orthogonality constraint is applied to the local key and prompt gradients. Experiments spanning diverse datasets and backbones confirm the efficacy of our TRPE model.
• Abstract（参考訳）: フェデレートされた連続学習(FCL)は、ローカルクライアントが新しいタスクから継続的に知識を得ることを可能にすることで、かなりの関心を集めている。 しかし、ほとんどのFCL手法は、グローバルサーバが到着時刻と新しいタスクのカテゴリ数について事前の知識を持っていると仮定している。 さらに、新しいタスクを学習する際のタスク間意味関係の重要性を無視し、古いタスクから無関係な関係に大きく影響し、破滅的な忘れを悪化させる。 上記の課題を解決するために,タスク関連性駆動型プロンプト拡張(TRPE)モデルを開発した。 具体的には,新規タスクの事前知識に頼らないために,ローカルクライアント内の新規タスクの到着を検知するアウト・オブ・ディストリビューション検出器と,プロキシサーバ上の新規タスクのカテゴリ量を推定する半径適応DBSCANを提案する。 さらに,タスク間の肯定的な関係を探求するために,新しいタスクを学習するための元の勾配と,旧タスクの特徴空間に直交する勾配との親和性を計算し,グローバルな視点から,旧タスクと新タスクの意味的関連性を評価する。 そして、このグローバルタスク関連性を用いて、新しいタスクのキープロンプトペアを決定し、非常に関連性の高い古いタスクを特定する。 トレーニングのプロンプトを整理した後、このようなポジティブなタスク間関係を利用して、新しく到着したタスクの継続的な学習を改善することができる。 新しいタスクの学習と古いタスクの忘れのバランスをとるために、局所鍵にソフトな直交制約を適用し、急勾配を誘導する。 多様なデータセットとバックボーンにまたがる実験により、TRPEモデルの有効性が確認された。

関連論文リスト

• AdaHAT: Adaptive Hard Attention to the Task in Task-Incremental Learning [3.655781945138786]
  ニューラルネットワークは、新しいタスクでトレーニングされた時に学習した知識を上書きする傾向がある。 本稿では,静的パラメータへの適応的更新を可能にするアダプティブアテンション機構を備えたアダプティブハードアテンション・トゥ・ザ・タスク(AdaHAT)を提案する。
  論文  参考訳（メタデータ） (2026-08-02T14:03:57Z)
• Task-Agnostic Guided Feature Expansion for Class-Incremental Learning [59.78858949137853]
  CIL(Class-Incremental Learning)における学習システムには,学習知識を維持しながら新しい概念を学習する能力が望ましい 近年,新しいタスクのトレーニング中に旧機能を修正し,新しいタスクに新たな機能を拡張したCILでは,モデルの機能拡張が主流となっている。 本稿では,タスク間の多様な特徴の学習と伝達を促進するために,タスク非依存型特徴拡張(TagFex)というフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-02T09:56:50Z)
• LW2G: Learning Whether to Grow for Prompt-based Continual Learning [55.552510632228326]
  最近のPromptベースの連続学習は、事前訓練されたモデルで顕著な性能を達成した。 これらのアプローチは、学習中に新しいプロンプトセットを追加してプロンプトプールを拡張し、推論中に正しいセットを選択する。 従来,PCLの性能向上に課題を呈する課題として,タスク指向のプロンプトセットの個別化と選択精度の低さが指摘されてきた。
  論文  参考訳（メタデータ） (2024-09-27T15:55:13Z)
• Dense Network Expansion for Class Incremental Learning [61.00081795200547]
  最先端のアプローチでは、ネットワーク拡張(NE)に基づいた動的アーキテクチャを使用し、タスクごとにタスクエキスパートを追加する。 精度とモデル複雑性のトレードオフを改善するために,新しい NE 手法である高密度ネットワーク拡張 (DNE) を提案する。 従来のSOTA法では、類似またはより小さなモデルスケールで、精度の点で4%のマージンで性能が向上した。
  論文  参考訳（メタデータ） (2023-03-22T16:42:26Z)
• ForkMerge: Mitigating Negative Transfer in Auxiliary-Task Learning [59.08197876733052]
  補助タスク学習(ATL)は、関連するタスクから得られる知識を活用することにより、目標タスクの性能を向上させることを目的としている。 複数のタスクを同時に学習すると、ターゲットタスクのみを学習するよりも精度が低下することがある。 ForkMergeは、モデルを定期的に複数のブランチにフォークし、タスクの重みを自動的に検索する新しいアプローチである。
  論文  参考訳（メタデータ） (2023-01-30T02:27:02Z)
• Beyond Not-Forgetting: Continual Learning with Backward Knowledge Transfer [39.99577526417276]
  継続学習(CL)では、エージェントは、新しいタスクと古いタスクの両方の学習性能を向上させることができる。 既存のCL手法の多くは、古いタスクに対する学習モデルの修正を最小化することによって、ニューラルネットワークの破滅的な忘れに対処することに焦点を当てている。 データ再生のない固定容量ニューラルネットワークに対して,バックワードノウルEdge tRansfer (CUBER) を用いた新しいCL法を提案する。
  論文  参考訳（メタデータ） (2022-11-01T23:55:51Z)
• TRGP: Trust Region Gradient Projection for Continual Learning [39.99577526417276]
  破滅的な忘れは継続的な学習における大きな課題の1つだ。 本稿では,フォワード・ナレッジ・トランスファーを容易にするため,信頼領域のグラディエント・プロジェクションを提案する。 提案手法は,最先端手法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2022-02-07T04:21:54Z)
• Relational Experience Replay: Continual Learning by Adaptively Tuning Task-wise Relationship [54.73817402934303]
  本稿では,2段階の学習フレームワークである経験連続再生(ERR)を提案する。 ERRは、すべてのベースラインの性能を一貫して改善し、現在の最先端の手法を超えることができる。
  論文  参考訳（メタデータ） (2021-12-31T12:05:22Z)
• AFEC: Active Forgetting of Negative Transfer in Continual Learning [37.03139674884091]
  生物学的ニューラルネットワークは、新しい経験の学習と矛盾する古い知識を積極的に忘れることができることを示す。 生物の能動的忘れをきっかけに,新たな課題の学習を制限し,継続的な学習に役立てる古い知識を積極的に忘れることを提案する。
  論文  参考訳（メタデータ） (2021-10-23T10:03:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。