論文の概要: Task-Anchored Representation Shaping for Pre-Trained Model-Based Continual Learning

• arxiv url: http://arxiv.org/abs/2608.16345v1
• Date: Mon, 17 Aug 2026 09:51:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.62762
• Title: Task-Anchored Representation Shaping for Pre-Trained Model-Based Continual Learning
• Title（参考訳）: 事前学習モデルに基づく連続学習のためのタスク認識型表現形
• Abstract要約: 連続学習のための軽量ポストPTMモジュールとして,タスク・アンコール推論遅延整形(TAILS)を提案する。 TAILSは、固定されたタスクアンカーを、蓄積された知識に対する永続的な参照として使用し、タスク全体で関連するエビデンスを構成する。 控えめなパラメータオーバーヘッドと無視可能な推論コストで、分類とタスク推論のパフォーマンスを改善することができる。
• 参考スコア（独自算出の注目度）: 15.779738807521618
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained models (PTMs) provide a strong foundation for continual learning by offering stable representations that facilitate lightweight adaptation to new tasks. However, adapting well to each task does not ensure reliable inference over all learned tasks. Since task boundaries are often artificial and semantically entangled, an input from an unknown task can remain ambiguous even with strong PTM features, making cross-task prediction a key bottleneck. We propose Task-Anchored Inference Latent Shaping (TAILS), a lightweight post-PTM module that can be integrated into diverse continual learners and optimized through a decoupled step. TAILS uses fixed task anchors as persistent references to accumulated knowledge. It interprets each sample's feature representation relative to these references, then composes relevant evidence across tasks into latent recall. Rather than selecting a task-specific path or adjusting classifier outputs, TAILS uses latent recall to directly correct the feature representation before prediction. It therefore resolves cross-task ambiguity at the representation level, while leaving the original PTM, method-specific modules, and classifier unchanged. Extensive experiments across multiple PTM-based continual learning paradigms show that TAILS can improve classification and task-inference performance with modest parameter overhead and negligible inference cost.
• Abstract（参考訳）: 事前学習モデル(PTM)は、新しいタスクへの軽量適応を容易にする安定した表現を提供することにより、継続的な学習のための強力な基盤を提供する。 しかし、各タスクに順応することは、すべての学習タスクに対して信頼できる推論を保証しない。 タスク境界はしばしば人工的かつ意味的に絡み合っているため、未知のタスクからの入力は強力なPTM機能でもあいまいであり、クロスタスク予測が重要なボトルネックとなる。 Inference Latent Shaping (TAILS, Task-Anchored Inference Latent Shaping)を提案する。 TAILSは、蓄積された知識に対する永続的な参照として固定されたタスクアンカーを使用する。 これらの参照に対して各サンプルの特徴表現を解釈し、タスク間で関連するエビデンスを構成する。 タスク固有のパスを選択したり、分類器の出力を調整する代わりに、TAILSは遅延リコールを使用して予測の前に特徴表現を直接修正する。 したがって、表現レベルでのクロスタスクの曖昧さを解消し、オリジナルのPTM、メソッド固有のモジュール、分類器はそのまま残している。 複数のPTMに基づく連続学習パラダイムの広範な実験により、TAILSは、控えめなパラメータオーバーヘッドと無視可能な推論コストで分類とタスク推論性能を向上させることができることが示された。

関連論文リスト

• TRACE: Discovering Task-Specific Parameter via Adaptation-Aware Probing for Continual Fine-Tuning [33.07713704586859]
  本稿では,タスク固有のpaRameterを探索するための新しいアプローチであるTRACEを紹介する。 提案手法の優れた性能を示すため,複数の標準ベンチマークを用いて実験を行った。
  論文  参考訳（メタデータ） (2026-05-29T08:57:06Z)
• Task Prototype-Based Knowledge Retrieval for Multi-Task Learning from Partially Annotated Data [38.55691652000724]
  マルチタスク学習(MTL)は、自律運転やロボット工学といった現実の応用において重要である。 部分的にラベル付けされたMTLの既存の方法は、通常、ラベル付けされていないタスクからの予測に依存する。 本研究では,未ラベルタスクからの予測に頼るのではなく,堅牢なMLLを実現するためのプロトタイプベースの知識検索フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-12T12:27:02Z)
• StableMTL: Repurposing Latent Diffusion Models for Multi-Task Learning from Partially Annotated Synthetic Datasets [14.867396697566257]
  部分学習のセットアップをゼロショット設定に拡張し、複数のデータセット上でマルチタスクモデルをトレーニングします。 我々の方法であるStableMTLは、遅延回帰のために画像生成装置を再利用する。 タスク毎の損失に対して、注意深いバランスを必要とするのではなく、統一された潜伏損失を採用し、より多くのタスクにシームレスなスケーリングを可能にします。
  論文  参考訳（メタデータ） (2025-06-09T17:59:59Z)
• Efficient Knowledge Transfer in Multi-Task Learning through Task-Adaptive Low-Rank Representation [11.955971931186006]
  事前訓練された言語モデルは、現実世界のアプリケーションでトレーニング中に見つからない新しいタスクに苦しむ。 本稿では,タスク適応型低ランク表現(TA-LoRA)を提案する。 16のタスクの実験では、TA-LoRAがフルデータおよび少数ショット設定で最先端のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2025-04-20T06:33:19Z)
• Parameter-Efficient and Memory-Efficient Tuning for Vision Transformer: A Disentangled Approach [87.8330887605381]
  本稿では,学習可能なパラメータをわずかに限定して,事前学習した視覚変換器を下流認識タスクに適用する方法を示す。 学習可能で軽量なモジュールを用いてタスク固有のクエリを合成する。 本手法はメモリ制約下での最先端性能を実現し,実環境における適用性を示す。
  論文  参考訳（メタデータ） (2024-07-09T15:45:04Z)
• PECTP: Parameter-Efficient Cross-Task Prompts for Incremental Vision Transformer [76.39111896665585]
  インクリメンタルラーニング(IL)は、シーケンシャルタスクの深いモデルを継続的に学習することを目的としている。 近年の大規模事前訓練モデル (PTM) は, 従来の試料を含まない実用ILにおいて, 即時的手法により優れた性能を発揮している。
  論文  参考訳（メタデータ） (2024-07-04T10:37:58Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• Enhancing Plasticity for First Session Adaptation Continual Learning [20.62749699589017]
  クラスインクリメンタルラーニング(PLASTIC)における塑性強化テスト時間適応の導入 PLASTICはモデル安定性を維持しながら可塑性をCILに再蓄積する。 従来型と最先端のPTMベースのCILアプローチを一貫して上回ります。
  論文  参考訳（メタデータ） (2023-10-17T13:06:39Z)
• Self-regulating Prompts: Foundational Model Adaptation without Forgetting [112.66832145320434]
  本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。 PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
  論文  参考訳（メタデータ） (2023-07-13T17:59:35Z)
• Task Residual for Tuning Vision-Language Models [69.22958802711017]
  タスク残差調整(TaskRes)と呼ばれる視覚言語モデル(VLM)のための新しい効率的なチューニング手法を提案する。 TaskResは、トレーニング済みモデルの事前知識とターゲットタスクに関する新たな知識を明示的に分離する。 提案されたTaskResは単純だが有効であり、11のベンチマークデータセットで以前のメソッドよりも大幅に上回っている。
  論文  参考訳（メタデータ） (2022-11-18T15:09:03Z)
• Towards Unified Prompt Tuning for Few-shot Text Classification [47.71344780587704]
  We present the Unified Prompt Tuning (UPT) framework that to improve few-shot text classification for BERT-style model。 UPTでは、異なるNLPタスク間での協調学習のために、新しいパラダイムであるPrompt-Options-Verbalizerを提案する。 また, PLMの一般化能力を向上させるために, 知識向上型選択マスケッド言語モデリングという自己教師型タスクを設計する。
  論文  参考訳（メタデータ） (2022-05-11T07:40:45Z)
• Parameter-Efficient Transfer Learning with Diff Pruning [108.03864629388404]
  diff pruningは、プリトレイン・ファインチューンフレームワーク内でパラメータ効率の高い転送学習を可能にするシンプルなアプローチです。 diff pruningで微調整されたモデルは、GLUEベンチマークで完全に微調整されたベースラインのパフォーマンスと一致します。
  論文  参考訳（メタデータ） (2020-12-14T12:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。