論文の概要: ADEPT: Continual Pretraining via Adaptive Expansion and Dynamic Decoupled Tuning

• arxiv url: http://arxiv.org/abs/2510.10071v1
• Date: Sat, 11 Oct 2025 07:14:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:29.764467
• Title: ADEPT: Continual Pretraining via Adaptive Expansion and Dynamic Decoupled Tuning
• Title（参考訳）: ADEPT:Adaptive ExpansionとDynamic Decoupled Tuningによる継続的事前トレーニング
• Authors: Jinyang Zhang, Yue Fang, Hongxin Ding, Weibin Liao, Muyang Ye, Xu Chu, Junfeng Zhao, Yasha Wang,
• Abstract要約: 大規模言語モデル(LLM)ドメイン適応のための従来の継続事前訓練(CPT)は、しばしば忘れることと限られたドメイン容量に悩まされる。 本稿では,ドメイン適応型CPTのための2段階フレームワークであるADEPT,Adaptive Expansion,Dynamic Decoupled Tuningを提案する。
• 参考スコア（独自算出の注目度）: 21.71232121553467
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Conventional continual pretraining (CPT) for large language model (LLM) domain adaptation often suffers from catastrophic forgetting and limited domain capacity. Existing strategies adopt layer expansion, introducing additional trainable parameters to accommodate new knowledge. However, the uniform expansion and updates still entangle general and domain learning, undermining its effectiveness. Our pilot studies reveal that LLMs exhibit functional specialization, where layers and units differentially encode general-critical capabilities, suggesting that parameter expansion and optimization should be function-aware. We then propose ADEPT, Adaptive Expansion and Dynamic Decoupled Tuning for continual pretraining, a two-stage framework for domain-adaptive CPT. ADEPT first performs General-Competence Guided Selective Layer Expansion, duplicating layers least critical for the general domain to increase representational capacity while minimizing interference with general knowledge. It then applies Adaptive Unit-Wise Decoupled Tuning, disentangling parameter units within expanded layers according to their general-domain importance and assigning asymmetric learning rates to balance knowledge injection and retention. Experiments on mathematical and medical benchmarks show that ADEPT outperforms full-parameter CPT by up to 5.76% on the general domain and 5.58% on the target domain with only 15% of parameters tuned and less than 50% training time. Ablation studies, theoretical analysis, and extended investigations further demonstrate the necessity of targeted expansion and decoupled optimization, providing new principles for efficient and robust domain-adaptive CPT. Our code is open-sourced at https://github.com/PuppyKnightUniversity/ADEPT
• Abstract（参考訳）: 大規模言語モデル(LLM)ドメイン適応のための従来の継続事前訓練(CPT)は、しばしば破滅的な忘れ込みと限られたドメイン容量に悩まされる。 既存の戦略はレイヤ拡張を採用し、新しい知識に対応するためのトレーニング可能なパラメータを追加します。 しかし、統一的な拡張と更新は、一般とドメイン学習をいまだに絡み合わせており、その効果を損なう。 実験により, LLMは機能的特殊化を示し, 層やユニットは一般臨界能力を微分的に符号化し, パラメータ展開と最適化は機能に適応すべきであることが示唆された。 次に,ドメイン適応型CPTのための2段階フレームワークであるADEPT,Adaptive Expansion,Dynamic Decoupled Tuningを提案する。 ADEPTはまず、一般知識との干渉を最小限に抑えつつ、表現能力を高めるために、一般ドメインにとって最小限のレイヤーを複製する、一般コンピテンスガイド選択層拡張を実行する。 次にアダプティブ・ユニットワイズ・デカップリング・チューニングを適用し、拡張レイヤ内のパラメータ単位をその一般的領域の重要性に応じて分離し、知識注入と保持のバランスをとるために非対称学習率を割り当てる。 数学と医学のベンチマークの実験では、ADEPTは一般的なドメインでは5.76%、ターゲットドメインでは5.58%、調整されたパラメータは15%、トレーニング時間は50%未満である。 アブレーション研究、理論解析、拡張研究は、目的の展開と分離された最適化の必要性をさらに証明し、効率的で堅牢なドメイン適応型CPTのための新しい原則を提供する。 私たちのコードはhttps://github.com/PuppyKnightUniversity/ADEPTでオープンソース化されています

関連論文リスト

• A Novel Self-Evolution Framework for Large Language Models [18.62332474172811]
  本稿では,ユーザの嗜好適応とドメイン固有能力を協調的に最適化する新しいDual-Phase Self-Evolutionフレームワークを提案する。 一般的なNLPベンチマークと長期対話タスクによる実験は、DPSEが常にSupervised Fine-Tuning、Preference Optimization、Memory-Augmented baselinesより優れていることを示している。
  論文  参考訳（メタデータ） (2025-07-21T06:30:39Z)
• Implicit Reward as the Bridge: A Unified View of SFT and DPO Connections [65.36449542323277]
  本稿では,Large Language Model (LLM) 後の学習において,SFT(Supervised Fine-Tuning) と優先学習を統合した理論フレームワークを提案する。 そこで本研究では,学習率の簡易かつ効果的な削減手法を提案する。
  論文  参考訳（メタデータ） (2025-06-15T05:42:29Z)
• EKPC: Elastic Knowledge Preservation and Compensation for Class-Incremental Learning [53.88000987041739]
  クラスインクリメンタルラーニング(Class-Incremental Learning, CIL)は、AIモデルを、時間とともに異なるクラスのシーケンシャルに到着したデータから継続的に学習可能にすることを目的としている。 本稿では, 重要度を考慮した重要度正規化 (IPR) と CIL のためのトレーニング可能なセマンティックドリフト補償 (TSDC) を統合したElastic Knowledge Preservation and Compensation (EKPC) 法を提案する。
  論文  参考訳（メタデータ） (2025-06-14T05:19:58Z)
• How to Alleviate Catastrophic Forgetting in LLMs Finetuning? Hierarchical Layer-Wise and Element-Wise Regularization [15.434072331989878]
  大きな言語モデル(LLM)は、強力な汎用言語能力を示す。 これらのモデルをドメイン固有のタスクで微調整すると、大惨な忘れがちになり、そこではモデルが事前訓練中に得られた重要な知識を上書きまたは失う。 本研究では,微調整時の一般知識の保存に不可欠なモデルパラメータの要素的重要性を計算するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-01-23T13:54:53Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• PACE: Marrying generalization in PArameter-efficient fine-tuning with Consistency rEgularization [35.922096876707975]
  PACE は PArameter- efficient fine-tuning with Consistency rEgularization の一般化である。 拡張一般化のための勾配を暗黙的に正規化するが、知識を保持するために微調整されたモデルや事前訓練されたモデルも暗黙的に整列する。 また、テキスト分類(GLUE)や数学的推論においてLoRAを改善している。
  論文  参考訳（メタデータ） (2024-09-25T17:56:00Z)
• Learn to Preserve and Diversify: Parameter-Efficient Group with Orthogonal Regularization for Domain Generalization [28.977757627384165]
  ドメイン・ドメイン(DG)は、限られたトレーニングデータと見つからないテストデータの間の分散シフトが発生したとき、モデルの性能劣化を避けることを目的としている。 近年、膨大なパラメータを持つ基礎モデルは、膨大なデータセットで事前訓練されており、強力な一般化能力を示している。 我々のフレームワークは5つのDGベンチマークでSOTA性能を実現し、テストコストを増すことなく少数のパラメータをトレーニングするのみである。
  論文  参考訳（メタデータ） (2024-07-21T07:50:49Z)
• UniPT: Universal Parallel Tuning for Transfer Learning with Efficient Parameter and Memory [69.33445217944029]
  PETLは、トレーニング済みモデルを下流ドメインに適応するための効果的な戦略である。 最近のPETLは、より価値の高いメモリ効率特性に焦点を当てている。 メモリ効率の良い新しいPETL戦略Universal Parallel Tuning (UniPT)を提案する。
  論文  参考訳（メタデータ） (2023-08-28T05:38:43Z)
• Efficient Semantic Image Synthesis via Class-Adaptive Normalization [116.63715955932174]
  クラス適応正規化(CLADE)は、セマンティッククラスにのみ適応する軽量かつ等価なバリアントである。 セマンティクスレイアウトから計算したクラス内位置マップエンコーディングを導入し,cladeの正規化パラメータを変調する。 提案されたCLADEは異なるSPADEベースのメソッドに一般化し、SPADEと比較して同等の生成品質を達成できる。
  論文  参考訳（メタデータ） (2020-12-08T18:59:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。