Fugu-MT 論文翻訳(概要): Task-Agnostic Continual Prompt Tuning with Gradient-Based Selection and Decoding

論文の概要: Task-Agnostic Continual Prompt Tuning with Gradient-Based Selection and Decoding

arxiv url: http://arxiv.org/abs/2507.14725v1
Date: Sat, 19 Jul 2025 19:15:03 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-22 20:51:32.020984
Title: Task-Agnostic Continual Prompt Tuning with Gradient-Based Selection and Decoding
Title（参考訳）: グラディエントベース選択とデコードによるタスク非依存連続プロンプトチューニング
Authors: Anushka Tiwari, Sayantan Pal, Rohini K. Srihari, Kaiyi Ji,
Abstract要約: 本稿では,タスク非依存推論の2つの重要な制約に対処する統合フレームワークGRIDを紹介する。 GRIDは、後方転送を改善するタスク認識復号機構を統合している。また、より少ない情報的プロンプトを1つの集約表現に圧縮する勾配に基づくプロンプト選択戦略を提案する。
参考スコア（独自算出の注目度）: 13.843773054228047
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Prompt-based continual learning (CL) offers a parameter-efficient way to adapt large language models (LLMs) across task sequences. However, most existing methods assume task-aware inference and maintain a growing list of task-specific prompts, which limits scalability and hides latent forgetting. In this work, we introduce GRID, a unified framework that addresses two key limitations: (1) latent forgetting under task-agnostic inference, and (2) prompt memory explosion as task sequences grow. GRID integrates a task-aware decoding mechanism that improves backward transfer by leveraging representative inputs, automatic task identification, and constrained decoding. Additionally, we propose a gradient-based prompt selection strategy that compresses less informative prompts into a single aggregated representation, enabling scalable and memory-efficient lifelong learning. Extensive experiments across short-sequence, long-sequence, and negative transfer benchmarks show that GRID significantly improves backward transfer, achieves competitive forward transfer, and reduces forgotten tasks by up to 80\%, outperforming state-of-the-art methods on T5 and Flan-T5 backbones.
Abstract（参考訳）: Prompt-based continual learning (CL)は、タスクシーケンス全体にわたって大きな言語モデル(LLM)を適用するためのパラメータ効率のよい方法を提供する。しかし、既存のほとんどのメソッドはタスク認識推論を前提としており、タスク固有のプロンプトの増大リストを維持している。本研究では,(1)タスク非依存の推論下での遅延忘れ,(2)タスクシーケンスが増加するにつれてメモリの爆発が進行する,という2つの重要な制約に対処する統合フレームワークGRIDを紹介する。 GRIDは、代表入力、自動タスク識別、制約付きデコードを活用することで、後方転送を改善するタスク対応デコード機構を統合する。さらに、より少ない情報的プロンプトを単一の集約表現に圧縮し、スケーラブルでメモリ効率のよい生涯学習を可能にする勾配に基づくプロンプト選択戦略を提案する。ショートシーケンス、ロングシーケンス、負の転送ベンチマークによる大規模な実験により、GRIDは後方転送を大幅に改善し、競争力のある転送を実現し、忘れられたタスクを最大80%削減し、T5とFlan-T5のバックボーン上で最先端の手法より優れていた。

関連論文リスト

FM-LoRA: Factorized Low-Rank Meta-Prompting for Continual Learning [19.068489119024388]
連続学習は、シーケンシャルなタスクに事前訓練されたモデルを活用するための有望なアプローチとして登場した。既存のCLメソッドの多くは、ローランド適応(LoRA)アダプタやプロンプトなどの学習構造を漸進的に格納する。動的階数セレクタ(DRS)と動的メタプロンプティング(DMP)の両方を統合した,新規で効率的な低ランク適応手法FM-LoRAを提案する。
論文参考訳（メタデータ） (2025-04-09T19:36:18Z)
Transfer-Prompting: Enhancing Cross-Task Adaptation in Large Language Models via Dual-Stage Prompts Optimization [13.660511750245245]
Transfer-Promptingは、大規模な言語モデルにおけるクロスタスク適応を強化するために設計されたフレームワークである。本フレームワークは,(1)ソース・プロンプト構築,(2)ソース・プロンプト生成,(2)ソース・プロンプト生成,および(2)ターゲット・プロンプトのクロスタスク適応性を高める。
論文参考訳（メタデータ） (2025-02-20T02:47:04Z)
Continual LLaVA: Continual Instruction Tuning in Large Vision-Language Models [93.5327725085853]
連続LLaVA(Continuous LLaVA)は、LVLMにおける連続的な命令チューニングに適したリハーサルフリーな手法である。実験により,提案した連続LLaVAは,連続的な命令チューニング過程における忘れを著しく減らし,従来の手法よりも優れていたことが示唆された。
論文参考訳（メタデータ） (2024-11-04T19:55:32Z)
FiRST: Finetuning Router-Selective Transformers for Input-Adaptive Latency Reduction [11.146015814220858]
本稿では、層固有のルータを用いて、各入力シーケンスに対して適応的に変換器層のサブセットを選択することでレイテンシを低減するアルゴリズムであるFiRSTを提案する。 FiRSTは品質を認識しながら高速な推論を可能にするKVキャッシュとの互換性を維持する。私たちのアプローチでは、入力適応性は重要であり、タスクによって異なるタスク固有の中間層が隠れた表現を進化させる上で重要な役割を担っています。
論文参考訳（メタデータ） (2024-10-16T12:45:35Z)
PECTP: Parameter-Efficient Cross-Task Prompts for Incremental Vision Transformer [76.39111896665585]
インクリメンタルラーニング(IL)は、シーケンシャルタスクの深いモデルを継続的に学習することを目的としている。近年の大規模事前訓練モデル (PTM) は, 従来の試料を含まない実用ILにおいて, 即時的手法により優れた性能を発揮している。
論文参考訳（メタデータ） (2024-07-04T10:37:58Z)
Localizing Task Information for Improved Model Merging and Compression [61.16012721460561]
我々は,各タスクの重み付けが重なり合わないことが多いため,各タスクがマージされた後も,各タスクの解決に必要な情報が保存されていることを示す。本稿では,そのような重みを排除し,既存のモデルマージ手法の一般的な性能を改善するアルゴリズムであるConsensus Mergingを提案する。
論文参考訳（メタデータ） (2024-05-13T14:54:37Z)
Task Indicating Transformer for Task-conditional Dense Predictions [16.92067246179703]
この課題に対処するために,タスク表示変換(TIT)と呼ばれる新しいタスク条件フレームワークを導入する。本手法では,行列分解によるタスク指示行列を組み込んだMix Task Adapterモジュールをトランスフォーマーブロック内に設計する。また,タスク表示ベクトルとゲーティング機構を利用するタスクゲートデコーダモジュールを提案する。
論文参考訳（メタデータ） (2024-03-01T07:06:57Z)
Self-regulating Prompts: Foundational Model Adaptation without Forgetting [112.66832145320434]
本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。 PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
論文参考訳（メタデータ） (2023-07-13T17:59:35Z)
SPoT: Better Frozen Model Adaptation through Soft Prompt Transfer [7.2462572989580405]
本稿では,SPoT: Soft Prompt Transferと呼ばれる新しいプロンプトベーストランスファー学習手法を提案する。 SPoTは多くのタスクでPromptTuningの性能を大幅に向上させることを示す。また,26のNLPタスクと160のソース・ターゲットタスクを組み合わせたタスク転送性についても大規模に検討した。
論文参考訳（メタデータ） (2021-10-15T07:35:58Z)
Efficient Feature Transformations for Discriminative and Generative Continual Learning [98.10425163678082]
継続的学習のための簡易タスク特化機能マップ変換戦略を提案する。これらは新しいタスクを学習するための強力な柔軟性を提供し、ベースアーキテクチャに最小パラメータを追加することで実現される。本手法の有効性と効率を,判別(cifar-100およびimagenet-1k)および生成的タスクの一連の実験を用いて実証する。
論文参考訳（メタデータ） (2021-03-25T01:48:14Z)
Meta Reinforcement Learning with Autonomous Inference of Subtask Dependencies [57.27944046925876]
本稿では,タスクがサブタスクグラフによって特徴づけられるような,新しい数発のRL問題を提案し,対処する。メタ政治を直接学習する代わりに、Subtask Graph Inferenceを使ったメタラーナーを開発した。実験の結果,2つのグリッドワールド領域とStarCraft II環境において,提案手法が潜在タスクパラメータを正確に推定できることが確認された。
論文参考訳（メタデータ） (2020-01-01T17:34:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。