論文の概要: HiDe-PET: Continual Learning via Hierarchical Decomposition of Parameter-Efficient Tuning

• arxiv url: http://arxiv.org/abs/2407.05229v1
• Date: Sun, 7 Jul 2024 01:50:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 20:37:03.829523
• Title: HiDe-PET: Continual Learning via Hierarchical Decomposition of Parameter-Efficient Tuning
• Title（参考訳）: HiDe-PET:パラメータ効率の良いチューニングの階層的分解による継続的な学習
• Authors: Liyuan Wang, Jingyi Xie, Xingxing Zhang, Hang Su, Jun Zhu,
• Abstract要約: 予備学習モデル(PTM)とパラメータ効率チューニング(PET)を組み合わせた連続学習(CL)統合フレームワークを提案する。 タスク固有知識とタスク共有知識を取り入れることで目的を明示的に最適化する革新的な手法である階層分解PET(HiDe-PET)を提案する。 提案手法は,近年の強いベースラインの幅広いスペクトルに対して,極めて優れた性能を示す。
• 参考スコア（独自算出の注目度）: 55.88910947643436
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The deployment of pre-trained models (PTMs) has greatly advanced the field of continual learning (CL), enabling positive knowledge transfer and resilience to catastrophic forgetting. To sustain these advantages for sequentially arriving tasks, a promising direction involves keeping the pre-trained backbone frozen while employing parameter-efficient tuning (PET) techniques to instruct representation learning. Despite the popularity of Prompt-based PET for CL, its empirical design often leads to sub-optimal performance in our evaluation of different PTMs and target tasks. To this end, we propose a unified framework for CL with PTMs and PET that provides both theoretical and empirical advancements. We first perform an in-depth theoretical analysis of the CL objective in a pre-training context, decomposing it into hierarchical components namely within-task prediction, task-identity inference and task-adaptive prediction. We then present Hierarchical Decomposition PET (HiDe-PET), an innovative approach that explicitly optimizes the decomposed objective through incorporating task-specific and task-shared knowledge via mainstream PET techniques along with efficient recovery of pre-trained representations. Leveraging this framework, we delve into the distinct impacts of implementation strategy, PET technique and PET architecture, as well as adaptive knowledge accumulation amidst pronounced distribution changes. Finally, across various CL scenarios, our approach demonstrates remarkably superior performance over a broad spectrum of recent strong baselines.
• Abstract（参考訳）: PTM(Pre-trained Model)の展開は、継続学習(Continuous Learning, CL)の分野を大きく進歩させ、破滅的な忘れ方への肯定的な知識伝達とレジリエンスを可能にした。 タスクの逐次到着におけるこれらの優位性を維持するために、有望な方向は、表現学習を指示するためにパラメータ係数チューニング(PET)技術を使用しながら、トレーニング済みのバックボーンを凍結し続けることである。 CL 用 Prompt ベースのPET が普及しているにもかかわらず,その経験的設計は,異なる PTM および目標タスクの評価において,最適以下の性能をもたらすことがしばしばある。 そこで本研究では,PTMとPETを併用したCLの統一フレームワークを提案する。 まず,学習前の文脈でCLの目的を詳細に理論的に分析し,タスク・アイデンティティ・推論,タスク・アダプティブ・予測といった階層的な要素に分解する。 提案する階層的分解PET(Hierarchical Decomposition PET, HiDe-PET)は, タスク固有知識とタスク共有知識をメインストリームPET技術に取り入れ, 事前学習した表現の効率よく回復させることにより, 分割対象を明示的に最適化する革新的な手法である。 このフレームワークを活用することで、実装戦略、PET技術、PETアーキテクチャ、および、顕著な分布変化の中での適応的な知識蓄積の影響を調査する。 最後に, 各種CLシナリオにおいて, 近年の強いベースラインの幅広い範囲において, 極めて優れた性能を示す。

関連論文リスト

• SAFE: Slow and Fast Parameter-Efficient Tuning for Continual Learning with Pre-Trained Models [26.484208658326857]
  継続的な学習は、過去の知識を忘れることに抵抗しながら、データストリームにおける新しい概念を漸進的に獲得することを目的としている。 強力な事前学習モデル(PTM)の台頭に伴い、インクリメンタル学習システムのトレーニングへの関心が高まっている。
  論文  参考訳（メタデータ） (2024-11-04T15:34:30Z)
• Enhancing Cross-domain Pre-Trained Decision Transformers with Adaptive Attention [10.631495275246428]
  オフライン強化学習(Offline RL)において、決定変換器(DT)のクロスドメイン事前学習が注目されている。 そこで本研究では,事前学習したDTと混合注意(MoA)を併用したGPT-DTMAを提案する。 実験により, GPT-DTMAはベースラインに比べて短期環境において優れた性能を示し, 長期環境においてはマルコフマトリックスによる負の影響を緩和する。
  論文  参考訳（メタデータ） (2024-09-11T03:18:34Z)
• See Further for Parameter Efficient Fine-tuning by Standing on the Shoulders of Decomposition [56.87609859444084]
  パラメータ効率の細かいチューニング(PEFT)は、パラメータの選択したサブセットを最適化し、残りを固定し、計算とストレージのオーバーヘッドを大幅に削減することに焦点を当てている。 分解の観点からそれらを分離することで、すべてのアプローチを統一する第一歩を踏み出します。 本稿では,PEFT技術の性能向上を目的とした,単純かつ効果的なフレームワークとともに,新しい2つのPEFT手法を提案する。
  論文  参考訳（メタデータ） (2024-07-07T15:44:42Z)
• Towards a General Framework for Continual Learning with Pre-training [55.88910947643436]
  本稿では,事前学習を用いた逐次到着タスクの連続学習のための一般的な枠組みを提案する。 我々はその目的を,タスク内予測,タスク同一性推論,タスク適応予測という3つの階層的構成要素に分解する。 本稿では,パラメータ効率細調整(PEFT)技術と表現統計量を用いて,これらのコンポーネントを明示的に最適化する革新的な手法を提案する。
  論文  参考訳（メタデータ） (2023-10-21T02:03:38Z)
• Hierarchical Decomposition of Prompt-Based Continual Learning: Rethinking Obscured Sub-optimality [55.88910947643436]
  大量のラベルのないデータを実際に扱うためには、自己教師付き事前トレーニングが不可欠である。 HiDe-Promptは、タスク固有のプロンプトと統計のアンサンブルで階層的なコンポーネントを明示的に最適化する革新的なアプローチである。 実験では,HiDe-Promptの優れた性能と,継続学習における事前学習パラダイムへの頑健さを実証した。
  論文  参考訳（メタデータ） (2023-10-11T06:51:46Z)
• A Unified Continual Learning Framework with General Parameter-Efficient Tuning [56.250772378174446]
  「事前学習$rightarrow$ダウンストリーム適応」は、継続学習の新しい機会と課題を提示する。 我々は,PETの1つのインスタンス化としてプロンプトを位置づけ,ラーニング・アキュミュレーション・アンサンブル(LAE)と呼ばれる統一的なCLフレームワークを提案する。 PET(Adapter、LoRA、Prefixなど)は、トレーニング済みのモデルをより少ないパラメータとリソースで下流のタスクに適応させることができる。
  論文  参考訳（メタデータ） (2023-03-17T15:52:45Z)
• Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior: From Theory to Practice [54.03076395748459]
  メタラーニング文学の中心的な疑問は、目に見えないタスクへの一般化を保証するために、いかに正規化するかである。 本稿では,Rothfussらによって最初に導かれたメタラーニングの一般化について述べる。 PAC-Bayesian per-task 学習境界におけるメタラーニングの条件と程度について,理論的解析および実証事例研究を行った。
  論文  参考訳（メタデータ） (2022-11-14T08:51:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。