論文の概要: Leveraging Self-Attention for Input-Dependent Soft Prompting in LLMs

• arxiv url: http://arxiv.org/abs/2506.05629v1
• Date: Thu, 05 Jun 2025 23:13:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.26053
• Title: Leveraging Self-Attention for Input-Dependent Soft Prompting in LLMs
• Title（参考訳）: LLMにおける入力依存型ソフトプロンプティングのための自己注意の活用
• Authors: Ananth Muppidi, Abhilash Nandy, Sambaran Bandyopadhyay,
• Abstract要約: 本稿では,ソフトプロンプトを用いたパラメータ効率の高い微調整について述べる。 自己注意機構(ID-SPAM)を用いた入力依存型ソフトプロンプト手法を提案する。 各種タスクにおける最先端技術と比較して提案手法の利点を示し、改良されたゼロショット領域転送能力を示す。
• 参考スコア（独自算出の注目度）: 17.838462425090498
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The performance of large language models in domain-specific tasks necessitates fine-tuning, which is computationally expensive and technically challenging. This paper focuses on parameter-efficient fine-tuning using soft prompting, a promising approach that adapts pre-trained models to downstream tasks by learning a small set of parameters. We propose a novel Input Dependent Soft Prompting technique with a self-Attention Mechanism (ID-SPAM) that generates soft prompts based on the input tokens and attends different tokens with varying importance. Our method is simple and efficient, keeping the number of trainable parameters small. We show the merits of the proposed approach compared to state-of-the-art techniques on various tasks and show the improved zero shot domain transfer capability.
• Abstract（参考訳）: ドメイン固有タスクにおける大規模言語モデルの性能は、計算コストが高く技術的に難しい微調整を必要とする。 本稿では,パラメータ集合を学習することで,事前学習したモデルを下流タスクに適応させる,ソフトプロンプトを用いたパラメータ効率の高い微調整に焦点をあてる。 本稿では、入力トークンに基づいてソフトプロンプトを生成し、異なるトークンに異なる重要性で出席する自己注意機構(ID-SPAM)を備えた新しい入力依存型ソフトプロンプト手法を提案する。 我々の手法は単純で効率的であり、訓練可能なパラメータの数を小さく保っている。 各種タスクにおける最先端技術と比較して提案手法の利点を示し、改良されたゼロショット領域転送能力を示す。

関連論文リスト

• Achieving More with Less: Additive Prompt Tuning for Rehearsal-Free Class-Incremental Learning [76.32953653161417]
  クラス増分学習は、モデルが学習したクラスの知識を保持しながら、新しいクラスを段階的に学習することを可能にする。 この分野での最近の進歩はパラメータ効率のよい微調整技術へと移行している。 本稿では,現在のアプローチの限界に対処する新しいプロンプトベースのアプローチを提案する。
  論文  参考訳（メタデータ） (2025-03-11T02:27:37Z)
• Efficient Prompting Methods for Large Language Models: A Survey [50.82812214830023]
  効率的なプロンプティング手法は幅広い注目を集めている。 本稿では,異なるプロンプト成分に対する自動プロンプトエンジニアリングと連続空間および離散空間におけるプロンプト圧縮について論じる。
  論文  参考訳（メタデータ） (2024-04-01T12:19:08Z)
• RIFF: Learning to Rephrase Inputs for Few-shot Fine-tuning of Language Models [4.085425430499285]
  本稿では,パラメータ効率のよい微調整手法と合わせて,元のタスクの入力テキストを変更することの影響について検討する。 入力テキストの書き直しを効果的に行うため,最大辺縁類似度を目標とした数発のパラフレーズモデルを訓練する。 本研究では, パラメータ効率のよい微調整だけで達成できることを超えて, 列車におけるパラフレーズとテスト時間によるデータ豊か化により, 性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-03-04T17:58:09Z)
• MPrompt: Exploring Multi-level Prompt Tuning for Machine Reading Comprehension [19.12663587559988]
  機械読取理解のためのマルチレベルプロンプトチューニング(MPrompt)手法を提案する。 タスク特化、ドメイン特化、コンテキスト特化レベルでのプロンプトを利用して、入力セマンティクスの理解を強化する。 各種QAフォーマットのベンチマーク12件について広範な実験を行い,最先端手法よりも平均1.94%向上した。
  論文  参考訳（メタデータ） (2023-10-27T14:24:06Z)
• OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
  複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。 本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T10:08:04Z)
• Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
  インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。 IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
  論文  参考訳（メタデータ） (2022-06-04T10:08:50Z)
• RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
  本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。 RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。 少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-25T07:50:31Z)
• IDPG: An Instance-Dependent Prompt Generation Method [58.45110542003139]
  Prompt tuningは、モデルトレーニング段階で各入力インスタンスにタスク固有のプロンプトを追加する、新しい、効率的なNLP転送学習パラダイムである。 本稿では,各入力インスタンスのプロンプトを生成する条件付きプロンプト生成手法を提案する。
  論文  参考訳（メタデータ） (2022-04-09T15:45:27Z)
• Making Pre-trained Language Models End-to-end Few-shot Learners with Contrastive Prompt Tuning [41.15017636192417]
  CP-Tuning(CP-Tuning)は、言語モデルのための最初のエンドツーエンドのPrompt Tuningフレームワークである。 完全にトレーニング可能なプロンプトパラメータを持つタスク不変の連続プロンプトエンコーディング技術と統合されている。 IRシステムや異なるPLMで使用される様々な言語理解タスクの実験は、CP-Tuningが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-04-01T02:24:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。