Fugu-MT 論文翻訳(概要): GRID: Scalable Task-Agnostic Prompt-Based Continual Learning for Language Models

論文の概要: GRID: Scalable Task-Agnostic Prompt-Based Continual Learning for Language Models

arxiv url: http://arxiv.org/abs/2507.14725v3
Date: Wed, 01 Oct 2025 16:07:15 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-02 14:33:21.671592
Title: GRID: Scalable Task-Agnostic Prompt-Based Continual Learning for Language Models
Title（参考訳）: GRID: 言語モデルのためのスケーラブルなタスク非依存のPromptベースの連続学習
Authors: Anushka Tiwari, Sayantan Pal, Rohini K. Srihari, Kaiyi Ji,
Abstract要約: Prompt-based continual learning (CL)は、タスクシーケンス全体にわたって大きな言語モデル(LLM)を適用するためのパラメータ効率のよいアプローチを提供する。既存のほとんどのメソッドはタスク認識推論に依存し、タスク固有のプロンプトの集合を維持する。これらの課題に対処するために設計された統合フレームワークであるGRIDを提示する。
参考スコア（独自算出の注目度）: 22.312673721170388
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Prompt-based continual learning (CL) provides a parameter-efficient approach for adapting large language models (LLMs) across task sequences. However, most existing methods rely on task-aware inference and maintain a growing set of task-specific prompts, which introduces two major challenges: (1) severe performance degradation on earlier tasks under task-agnostic inference, and (2) limited scalability due to prompt memory accumulation as task sequences grow. In this paper, we present GRID, a unified framework designed to address these challenges. GRID incorporates a decoding mechanism that enhances backward transfer by leveraging representative inputs, automatic task identification, and constrained decoding. Furthermore, it employs a gradient-guided prompt selection strategy to compress less informative prompts into a single aggregated representation, ensuring scalable and memory-efficient continual learning. Extensive experiments on long-sequence and negative transfer benchmarks show that GRID improves average accuracy and backward transfer, achieves competitive forward transfer, and substantially reduces prompt memory usage.
Abstract（参考訳）: Prompt-based continual learning (CL)は、タスクシーケンス全体にわたって大きな言語モデル(LLM)を適用するためのパラメータ効率のよいアプローチを提供する。しかし、既存のほとんどのメソッドはタスク認識推論に依存し、タスク固有のプロンプトの集合を増大させ、(1)タスク非依存の推論下でのタスクの大幅なパフォーマンス劣化、(2)タスクシーケンスが増加するにつれてメモリの蓄積が速くなることによるスケーラビリティの制限という2つの大きな課題を提起している。本稿では,これらの課題に対処する統合フレームワークGRIDを提案する。 GRIDにはデコード機構が組み込まれており、代表入力、自動タスク識別、制約付きデコードを利用する。さらに、勾配誘導型プロンプト選択戦略を用いて、より少ない情報的プロンプトを単一の集約表現に圧縮し、スケーラブルでメモリ効率の良い連続学習を保証する。長周期および負の転送ベンチマークに関する大規模な実験により、GRIDは平均精度と後方転送を改善し、競合する前方転送を実現し、高速メモリ使用率を大幅に低下させることが示された。

関連論文リスト

FM-LoRA: Factorized Low-Rank Meta-Prompting for Continual Learning [19.068489119024388]
連続学習は、シーケンシャルなタスクに事前訓練されたモデルを活用するための有望なアプローチとして登場した。既存のCLメソッドの多くは、ローランド適応(LoRA)アダプタやプロンプトなどの学習構造を漸進的に格納する。動的階数セレクタ(DRS)と動的メタプロンプティング(DMP)の両方を統合した,新規で効率的な低ランク適応手法FM-LoRAを提案する。
論文参考訳（メタデータ） (2025-04-09T19:36:18Z)
Transfer-Prompting: Enhancing Cross-Task Adaptation in Large Language Models via Dual-Stage Prompts Optimization [13.660511750245245]
Transfer-Promptingは、大規模な言語モデルにおけるクロスタスク適応を強化するために設計されたフレームワークである。本フレームワークは,(1)ソース・プロンプト構築,(2)ソース・プロンプト生成,(2)ソース・プロンプト生成,および(2)ターゲット・プロンプトのクロスタスク適応性を高める。
論文参考訳（メタデータ） (2025-02-20T02:47:04Z)
Continual LLaVA: Continual Instruction Tuning in Large Vision-Language Models [93.5327725085853]
連続LLaVA(Continuous LLaVA)は、LVLMにおける連続的な命令チューニングに適したリハーサルフリーな手法である。実験により,提案した連続LLaVAは,連続的な命令チューニング過程における忘れを著しく減らし,従来の手法よりも優れていたことが示唆された。
論文参考訳（メタデータ） (2024-11-04T19:55:32Z)
FiRST: Finetuning Router-Selective Transformers for Input-Adaptive Latency Reduction [11.146015814220858]
本稿では、層固有のルータを用いて、各入力シーケンスに対して適応的に変換器層のサブセットを選択することでレイテンシを低減するアルゴリズムであるFiRSTを提案する。 FiRSTは品質を認識しながら高速な推論を可能にするKVキャッシュとの互換性を維持する。私たちのアプローチでは、入力適応性は重要であり、タスクによって異なるタスク固有の中間層が隠れた表現を進化させる上で重要な役割を担っています。
論文参考訳（メタデータ） (2024-10-16T12:45:35Z)
PECTP: Parameter-Efficient Cross-Task Prompts for Incremental Vision Transformer [76.39111896665585]
インクリメンタルラーニング(IL)は、シーケンシャルタスクの深いモデルを継続的に学習することを目的としている。近年の大規模事前訓練モデル (PTM) は, 従来の試料を含まない実用ILにおいて, 即時的手法により優れた性能を発揮している。
論文参考訳（メタデータ） (2024-07-04T10:37:58Z)
Localizing Task Information for Improved Model Merging and Compression [61.16012721460561]
我々は,各タスクの重み付けが重なり合わないことが多いため,各タスクがマージされた後も,各タスクの解決に必要な情報が保存されていることを示す。本稿では,そのような重みを排除し,既存のモデルマージ手法の一般的な性能を改善するアルゴリズムであるConsensus Mergingを提案する。
論文参考訳（メタデータ） (2024-05-13T14:54:37Z)
Task Indicating Transformer for Task-conditional Dense Predictions [16.92067246179703]
この課題に対処するために,タスク表示変換(TIT)と呼ばれる新しいタスク条件フレームワークを導入する。本手法では,行列分解によるタスク指示行列を組み込んだMix Task Adapterモジュールをトランスフォーマーブロック内に設計する。また,タスク表示ベクトルとゲーティング機構を利用するタスクゲートデコーダモジュールを提案する。
論文参考訳（メタデータ） (2024-03-01T07:06:57Z)
Self-regulating Prompts: Foundational Model Adaptation without Forgetting [112.66832145320434]
本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。 PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
論文参考訳（メタデータ） (2023-07-13T17:59:35Z)
SPoT: Better Frozen Model Adaptation through Soft Prompt Transfer [7.2462572989580405]
本稿では,SPoT: Soft Prompt Transferと呼ばれる新しいプロンプトベーストランスファー学習手法を提案する。 SPoTは多くのタスクでPromptTuningの性能を大幅に向上させることを示す。また,26のNLPタスクと160のソース・ターゲットタスクを組み合わせたタスク転送性についても大規模に検討した。
論文参考訳（メタデータ） (2021-10-15T07:35:58Z)
Efficient Feature Transformations for Discriminative and Generative Continual Learning [98.10425163678082]
継続的学習のための簡易タスク特化機能マップ変換戦略を提案する。これらは新しいタスクを学習するための強力な柔軟性を提供し、ベースアーキテクチャに最小パラメータを追加することで実現される。本手法の有効性と効率を,判別(cifar-100およびimagenet-1k)および生成的タスクの一連の実験を用いて実証する。
論文参考訳（メタデータ） (2021-03-25T01:48:14Z)
Meta Reinforcement Learning with Autonomous Inference of Subtask Dependencies [57.27944046925876]
本稿では,タスクがサブタスクグラフによって特徴づけられるような,新しい数発のRL問題を提案し,対処する。メタ政治を直接学習する代わりに、Subtask Graph Inferenceを使ったメタラーナーを開発した。実験の結果,2つのグリッドワールド領域とStarCraft II環境において,提案手法が潜在タスクパラメータを正確に推定できることが確認された。
論文参考訳（メタデータ） (2020-01-01T17:34:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。