論文の概要: Efficient and Privacy-Preserving Soft Prompt Transfer for LLMs

• arxiv url: http://arxiv.org/abs/2506.16196v1
• Date: Thu, 19 Jun 2025 10:25:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:05.031409
• Title: Efficient and Privacy-Preserving Soft Prompt Transfer for LLMs
• Title（参考訳）: LLMにおけるソフトプロンプト転送の効率化とプライバシ保護
• Authors: Xun Wang, Jing Xu, Franziska Boenisch, Michael Backes, Christopher A. Choquette-Choo, Adam Dziedzic,
• Abstract要約: POST(Privacy of Soft prompt Transfer)は、小さなモデルでソフトプロンプトのプライベートチューニングを可能にするフレームワークである。 計算コストを削減し、プライバシーを保護し、実用性の高いソフトプロンプトを効果的に転送する。 実験の結果,POSTは計算コストを低減し,プライバシを保ち,高ユーティリティなソフトプロンプトを効果的に転送することがわかった。
• 参考スコア（独自算出の注目度）: 35.86692074743018
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompting has become a dominant paradigm for adapting large language models (LLMs). While discrete (textual) prompts are widely used for their interpretability, soft (parameter) prompts have recently gained traction in APIs. This is because they can encode information from more training samples while minimizing the user's token usage, leaving more space in the context window for task-specific input. However, soft prompts are tightly coupled to the LLM they are tuned on, limiting their generalization to other LLMs. This constraint is particularly problematic for efficiency and privacy: (1) tuning prompts on each LLM incurs high computational costs, especially as LLMs continue to grow in size. Additionally, (2) when the LLM is hosted externally, soft prompt tuning often requires sharing private data with the LLM provider. For instance, this is the case with the NVIDIA NeMo API. To address these issues, we propose POST (Privacy Of Soft prompt Transfer), a framework that enables private tuning of soft prompts on a small model and subsequently transfers these prompts to a larger LLM. POST uses knowledge distillation to derive a small model directly from the large LLM to improve prompt transferability, tunes the soft prompt locally, optionally with differential privacy guarantees, and transfers it back to the larger LLM using a small public dataset. Our experiments show that POST reduces computational costs, preserves privacy, and effectively transfers high-utility soft prompts.
• Abstract（参考訳）: プロンプティングは、大きな言語モデル(LLM)を適応するための支配的なパラダイムとなっている。 離散的な(テキスト)プロンプトは解釈容易性に広く使われているが、ソフト(パラメータ)プロンプトは近年APIで注目を集めている。 これは、より多くのトレーニングサンプルから情報をエンコードし、ユーザのトークン使用量を最小化し、タスク固有の入力のためのコンテキストウィンドウにより多くのスペースを残せるためである。 しかしながら、ソフトプロンプトは、調整されたLLMと密結合され、その一般化は他のLLMに制限される。 1) LLM のチューニングプロンプトは、特に LLM のサイズが拡大し続けるにつれて、高い計算コストを発生させる。 さらに、 (2) LLM が外部にホストされている場合、ソフトプロンプトチューニングは、しばしば LLM プロバイダとプライベートデータを共有する必要がある。 例えば、NVIDIA NeMo APIでは、これが当てはまります。 これらの問題に対処するため、我々は、小さなモデル上でソフトプロンプトのプライベートチューニングを可能にするフレームワークであるPOST(Privacy of Soft prompt Transfer)を提案し、その後、これらのプロンプトをより大きなLLMに転送する。 POST は知識蒸留を用いて、大きな LLM から直接小さなモデルを導出し、迅速な転送性を改善し、ソフトプロンプトをローカルに調整し、任意に差分プライバシー保証で調整し、小さな公開データセットを使用してより大きな LLM に転送する。 実験の結果,POSTは計算コストを低減し,プライバシを保ち,高ユーティリティなソフトプロンプトを効果的に転送することがわかった。

関連論文リスト

• G-Boost: Boosting Private SLMs with General LLMs [27.656951776655045]
  ほとんどのLarge Language Models (LLMs)開発者は、自身のデータに基づいてSLM(Small Language Models)を微調整できる。 本稿では,一般のLSMに対して,プライベートSLMの性能向上を支援することを提案する。
  論文  参考訳（メタデータ） (2025-03-13T13:47:03Z)
• Learning to Compress Prompt in Natural Language Formats [54.06967020905763]
  大規模言語モデル(LLM)は、複数の自然言語処理タスクを処理するのに優れている。 LLMは、長いコンテキスト、遅い推論速度、高い計算コストによる性能の低下によって制約される。 本研究の目的は、LLM転送性を備えた自然言語形式で長いプロンプトを圧縮することである。
  論文  参考訳（メタデータ） (2024-02-28T20:41:21Z)
• ConfusionPrompt: Practical Private Inference for Online Large Language Models [3.8134804426693094]
  最先端の大規模言語モデル(LLM)は一般的にオンラインサービスとしてデプロイされ、ユーザーはクラウドサーバーに詳細なプロンプトを送信する必要がある。 我々は,従来のプロンプトを小さなサブプロンプトに分解することで,ユーザのプライバシを保護する,プライベートLLM推論のための新しいフレームワークであるConfusionPromptを紹介する。 コンフュージョンプロンプトは,オープンソースモデルと摂動に基づく手法を用いて,局所的推論手法よりもはるかに高い実用性を実現することを示す。
  論文  参考訳（メタデータ） (2023-12-30T01:26:42Z)
• Compress, Then Prompt: Improving Accuracy-Efficiency Trade-off of LLM Inference with Transferable Prompt [96.24800696597707]
  圧縮モデルにより,このトレードオフを最適化する新たな視点を導入する。 本稿では,圧縮されたモデルを学習プロセスに公開するソフトプロンプト学習法を提案する。 我々のソフトプロンプト戦略は8x圧縮LLaMA-7Bモデルの性能を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-17T20:45:13Z)
• Augmented Large Language Models with Parametric Knowledge Guiding [72.71468058502228]
  大規模言語モデル(LLM)は、言語理解と生成能力に優れた自然言語処理(NLP)を備えています。 それらのパフォーマンスは、関連するデータへの限られた露出のために専門的な知識を必要とするドメイン固有のタスクに最適であるかもしれない。 本稿では,LLMに関連知識にアクセスするための知識誘導モジュールを組み込んだ新しいPKGフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-08T15:05:16Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。