論文の概要: All You Need is One: Capsule Prompt Tuning with a Single Vector

• arxiv url: http://arxiv.org/abs/2510.16670v1
• Date: Sun, 19 Oct 2025 00:02:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 00:56:39.090109
• Title: All You Need is One: Capsule Prompt Tuning with a Single Vector
• Title（参考訳）: 1つだけ必要なこと:1つのベクトルでカプセルのプロンプトを調整
• Authors: Yiyang Liu, James C. Liang, Heng Fan, Wenhao Yang, Yiming Cui, Xiaotian Han, Lifu Huang, Dongfang Liu, Qifan Wang, Cheng Han,
• Abstract要約: 現在のプロンプトベースの学習手法は、最適なプロンプトの長さを探索する努力的なグリッドに依存しており、典型的にはかなりの数のプロンプトを必要とする。 本稿では,Capsule Prompt-Tuning(CaPT)を紹介した。 提案手法は,インスタンス認識情報とタスク認識情報の両方をほぼパラメータフリーな方法で革新的に統合する。
• 参考スコア（独自算出の注目度）: 86.68105855537762
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prompt-based learning has emerged as a parameter-efficient finetuning (PEFT) approach to facilitate Large Language Model (LLM) adaptation to downstream tasks by conditioning generation with task-aware guidance. Despite its successes, current prompt-based learning methods heavily rely on laborious grid searching for optimal prompt length and typically require considerable number of prompts, introducing additional computational burden. Worse yet, our pioneer findings indicate that the task-aware prompt design is inherently limited by its absence of instance-aware information, leading to a subtle attention interplay with the input sequence. In contrast, simply incorporating instance-aware information as a part of the guidance can enhance the prompt-tuned model performance without additional fine-tuning. Moreover, we find an interesting phenomenon, namely "attention anchor", that incorporating instance-aware tokens at the earliest position of the sequence can successfully preserve strong attention to critical structural information and exhibit more active attention interaction with all input tokens. In light of our observation, we introduce Capsule Prompt-Tuning (CaPT), an efficient and effective solution that leverages off-the-shelf, informative instance semantics into prompt-based learning. Our approach innovatively integrates both instance-aware and task-aware information in a nearly parameter-free manner (i.e., one single capsule prompt). Empirical results demonstrate that our method can exhibit superior performance across various language tasks (e.g., 84.03\% average accuracy on T5-Large), serving as an "attention anchor," while enjoying high parameter efficiency (e.g., 0.003\% of model parameters on Llama3.2-1B).
• Abstract（参考訳）: Prompt-based learning has appeared as a parameter- efficient finetuning (PEFT) approach to help Large Language Model (LLM) adapt to downstream task by conditioning generation with task-ware guidance。 その成功にもかかわらず、現在のプロンプトベースの学習手法は、最適なプロンプト長を求める努力的なグリッドに大きく依存しており、通常、かなりの数のプロンプトを必要とし、さらなる計算負荷がもたらされる。 さらに悪いことに、我々の先駆的な発見は、タスク認識のプロンプト設計が本来、インスタンス認識情報の欠如によって制限されており、入力シーケンスと微妙な注意関係が生じることを示唆している。 対照的に、ガイダンスの一部として単にインスタンス認識情報を組み込むことで、追加の微調整をすることなく、プロンプト調整されたモデル性能を向上させることができる。 さらに、シーケンスの最初期の位置にインスタンス認識トークンを組み込むことで、重要な構造情報への強い注意を保ち、全ての入力トークンとより活発な注意関係を示す興味深い現象、すなわち「アテンションアンカー」が見つかる。 そこで我々は,Capsule Prompt-Tuning (CaPT) を紹介した。Capsule Prompt-Tuning (CaPT) は,市販の情報型インスタンスセマンティクスを即時学習に活用する,効率的で効果的なソリューションである。 我々のアプローチは、インスタンス認識情報とタスク認識情報の両方をほぼパラメータフリーな方法で(すなわち、1つのカプセルプロンプト)革新的に統合する。 実験結果から,Llama3.2-1Bのモデルパラメータの0.003\%を高いパラメータ効率(例えば,Llama3.2-1Bのモデルパラメータの0.003\%)を保ちながら,T5-Largeの平均精度が84.03\%向上し,"アテンションアンカー"として機能することが示唆された。

関連論文リスト

• Achieving More with Less: Additive Prompt Tuning for Rehearsal-Free Class-Incremental Learning [76.32953653161417]
  クラス増分学習は、モデルが学習したクラスの知識を保持しながら、新しいクラスを段階的に学習することを可能にする。 この分野での最近の進歩はパラメータ効率のよい微調整技術へと移行している。 本稿では,現在のアプローチの限界に対処する新しいプロンプトベースのアプローチを提案する。
  論文  参考訳（メタデータ） (2025-03-11T02:27:37Z)
• InfoPrompt: Information-Theoretic Soft Prompt Tuning for Natural Language Understanding [51.48361798508375]
  我々は,プロンプトと他のモデルパラメータ間の相互情報の最大化として,ソフトプロンプトチューニングを定式化する情報理論フレームワークを開発する。 本稿では,インフォプロンプトがプロンプトチューニングの収束を著しく加速し,従来のプロンプトチューニング手法よりも優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-06-08T04:31:48Z)
• On the Role of Attention in Prompt-tuning [90.97555030446563]
  本研究では,一層アテンションアーキテクチャのプロンプトチューニングについて検討し,文脈混合モデルについて検討する。 ソフトマックス・プロンプト・アテンションは, ソフトマックス・自己アテンションやリニア・プロンプト・アテンションよりも明らかに表現力が高いことを示す。 また、実際のデータセットに関する理論的洞察を検証し、モデルが文脈関連情報にどのように対応できるかを示す実験も提供する。
  論文  参考訳（メタデータ） (2023-06-06T06:23:38Z)
• Dynamic Prompting: A Unified Framework for Prompt Tuning [33.175097465669374]
  本稿では、特定のタスクやインスタンスに基づいて、異なるプロンプトの要因を動的に決定する統合動的プロンプト(DP)チューニング戦略を提案する。 実験結果は、幅広いタスクにわたる動的プロンプトチューニングによって達成された顕著なパフォーマンス改善を裏付けるものである。 我々は、全データ、少数ショット、マルチタスクのシナリオの下で、我々のアプローチの普遍的な適用性を確立する。
  論文  参考訳（メタデータ） (2023-03-06T06:04:46Z)
• Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
  インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。 IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
  論文  参考訳（メタデータ） (2022-06-04T10:08:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。