論文の概要: Learning an Anchored Prompt Space for Continual Adaptation of Large Language Models

• arxiv url: http://arxiv.org/abs/2609.32499v1
• Date: Sat, 26 Sep 2026 11:39:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 08:31:07.755044
• Title: Learning an Anchored Prompt Space for Continual Adaptation of Large Language Models
• Title（参考訳）: 大規模言語モデルの連続適応のためのアンカー付きプロンプト空間の学習
• Abstract要約: アンコレッド・プロンプト空間の学習は歴史的即興効果を保っている。 LAPSはタスク固有のソフトプロンプト間の関係を学習し、ポジティブな伝達を促進する。 LAPSは蒸留ベース、プロンプトベース、および共同プロンプト-パラメータ適応ベースラインを一貫して上回る。
• 参考スコア（独自算出の注目度）: 39.162116435231674
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continually adapting large language models requires acquiring new knowledge while preserving previously learned capabilities. Jointly adapting model parameters and task-specific soft prompts offers a promising solution, but faces two key limitations: historical prompts may become less effective as the model evolves, while their transferable cross-task relationships are not explicitly learned. We propose Learning an Anchored Prompt Space (LAPS), which preserves historical prompt effectiveness and learns relationships among task-specific soft prompts to facilitate positive transfer. LAPS first aligns historical prompts with the updated model through self-distillation. LAPS then constructs an anchored prompt space whose vertices correspond to learned task-specific soft prompts and whose intermediate geometry is shaped by learnable Bézier control prompts. Once this anchored prompt space is learned, LAPS identifies the best-performing prompt for each task on its validation set, allowing the optimized prompt to draw on knowledge acquired from observed tasks. Experiments on the TRACE benchmark across three Qwen3 model scales show that LAPS consistently outperforms distillation-based, prompt-based, and joint prompt--parameter adaptation baselines, improving average performance while reducing forgetting.
• Abstract（参考訳）: 大規模言語モデルを継続的に適用するには、以前に学習した能力を維持しながら、新たな知識を取得する必要がある。 モデルパラメータとタスク固有のソフトプロンプトの併用は、有望な解決策を提供するが、2つの重要な制限に直面している。 本研究では,歴史的プロンプト効果を保ち,タスク固有のソフトプロンプト間の関係を学習し,肯定的な伝達を促進することを目的としたLAPS(Learning an Anchored Prompt Space)を提案する。 LAPSはまず、履歴的なプロンプトを自己蒸留によって更新されたモデルと整合させる。 LAPSは次に、学習されたタスク固有のソフトプロンプトに対応する頂点と、学習可能なベジエ制御プロンプトによって中間幾何学が形成されるアンカー付きプロンプト空間を構築する。 このアンカー付きプロンプト空間が学習されると、LAPSはその検証セット上で各タスクの最も優れたプロンプトを特定し、最適化されたプロンプトは観測されたタスクから取得した知識に基づいて引き出すことができる。 Qwen3モデルスケールでのTRACEベンチマーク実験により、LAPSは蒸留ベース、プロンプトベース、およびジョイントプロンプト-パラメータ適応ベースラインを一貫して上回り、平均性能を向上し、忘れを減らした。

関連論文リスト

• LLaVA-CMoE: Towards Continual Mixture of Experts for Large Vision-Language Models [21.888139819188105]
  LLaVA-CMoEは、大規模言語モデルの継続的な学習フレームワークである。 Probe-Guided Knowledge Extensionメカニズムは、いつ、どこで新しいエキスパートを追加するべきかを決定する。 Probabilistic Task Locatorは各タスクを専用軽量ルータに割り当てる。
  論文  参考訳（メタデータ） (2025-03-27T07:36:11Z)
• LW2G: Learning Whether to Grow for Prompt-based Continual Learning [55.552510632228326]
  最近のPromptベースの連続学習は、事前訓練されたモデルで顕著な性能を達成した。 これらのアプローチは、学習中に新しいプロンプトセットを追加してプロンプトプールを拡張し、推論中に正しいセットを選択する。 従来,PCLの性能向上に課題を呈する課題として,タスク指向のプロンプトセットの個別化と選択精度の低さが指摘されてきた。
  論文  参考訳（メタデータ） (2024-09-27T15:55:13Z)
• P-RAG: Progressive Retrieval Augmented Generation For Planning on Embodied Everyday Task [94.08478298711789]
  Embodied Everyday Taskは、インボディードAIコミュニティで人気のあるタスクである。 自然言語命令は明示的なタスクプランニングを欠くことが多い。 タスク環境に関する知識をモデルに組み込むには、広範囲なトレーニングが必要である。
  論文  参考訳（メタデータ） (2024-09-17T15:29:34Z)
• PECTP: Parameter-Efficient Cross-Task Prompts for Incremental Vision Transformer [76.39111896665585]
  インクリメンタルラーニング(IL)は、シーケンシャルタスクの深いモデルを継続的に学習することを目的としている。 近年の大規模事前訓練モデル (PTM) は, 従来の試料を含まない実用ILにおいて, 即時的手法により優れた性能を発揮している。
  論文  参考訳（メタデータ） (2024-07-04T10:37:58Z)
• Convolutional Prompting meets Language Models for Continual Learning [4.115213208594654]
  継続学習(CL)により、機械学習モデルは、古いタスクからのデータなしで、新しいトレーニングデータを継続的にシフトすることから学ぶことができる。 ConvPromptは、階層的に共有された埋め込みを維持する新しい畳み込みプロンプト生成機構である。 畳み込みのインテリジェントな利用により、パフォーマンスを損なうことなく、低パラメータのオーバーヘッドを維持することができます。
  論文  参考訳（メタデータ） (2024-03-29T17:40:37Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Self-regulating Prompts: Foundational Model Adaptation without Forgetting [112.66832145320434]
  本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。 PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
  論文  参考訳（メタデータ） (2023-07-13T17:59:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。