論文の概要: CBP-Tuning: Efficient Local Customization for Black-box Large Language Models

• arxiv url: http://arxiv.org/abs/2509.12112v1
• Date: Mon, 15 Sep 2025 16:41:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-16 17:26:23.407009
• Title: CBP-Tuning: Efficient Local Customization for Black-box Large Language Models
• Title（参考訳）: CBP-Tuning:ブラックボックス大言語モデルの効率的なローカルカスタマイズ
• Authors: Jiaxuan Zhao, Naibin Gu, Yuchen Feng, Xiyu Liu, Peng Fu, Zheng Lin, Weiping Wang,
• Abstract要約: CBP-Tuningは、双方向のプライバシーを維持しつつ、効率的なローカルカスタマイズを容易にする新しいフレームワークである。 具体的には,(1) サーバ側で訓練されたプロンプトジェネレータを用いて,ドメイン固有およびタスク非依存の機能をキャプチャし,(2) 個々のタスクに対してソフトプロンプトを調整できるユーザ側勾配非最適化を設計する。 このアプローチでは、モデルウェイトにアクセスしたり、プライベートデータをアップロードする必要がなくなる。
• 参考スコア（独自算出の注目度）: 23.249724558362136
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The high costs of customizing large language models (LLMs) fundamentally limit their adaptability to user-specific needs. Consequently, LLMs are increasingly offered as cloud-based services, a paradigm that introduces critical limitations: providers struggle to support personalized customization at scale, while users face privacy risks when exposing sensitive data. To address this dual challenge, we propose Customized Black-box Prompt Tuning (CBP-Tuning), a novel framework that facilitates efficient local customization while preserving bidirectional privacy. Specifically, we design a two-stage framework: (1) a prompt generator trained on the server-side to capture domain-specific and task-agnostic capabilities, and (2) user-side gradient-free optimization that tailors soft prompts for individual tasks. This approach eliminates the need for users to access model weights or upload private data, requiring only a single customized vector per task while achieving effective adaptation. Furthermore, the evaluation of CBP-Tuning in the commonsense reasoning, medical and financial domain settings demonstrates superior performance compared to baselines, showcasing its advantages in task-agnostic processing and privacy preservation.
• Abstract（参考訳）: 大きな言語モデル(LLM)をカスタマイズする高コストは、ユーザ固有のニーズへの適応性を根本的に制限します。 プロバイダは、大規模にパーソナライズされたカスタマイズをサポートするのに苦労する一方、ユーザは機密データを露出する際にプライバシー上のリスクに直面する。 この2つの課題に対処するために、双方向のプライバシを保持しながら効率的なローカルカスタマイズを容易にする新しいフレームワークであるCustomized Black-box Prompt Tuning (CBP-Tuning)を提案する。 具体的には,(1) サーバ側で訓練されたプロンプトジェネレータを用いて,ドメイン固有およびタスク非依存の機能をキャプチャし,(2) 個々のタスクに対してソフトプロンプトを調整できるユーザ側勾配非最適化を設計する。 このアプローチでは、モデルウェイトにアクセスしたり、プライベートデータをアップロードする必要がなくなる。 さらに,コモンセンス推論,医療・金融領域設定におけるCBP-Tuningの評価は,ベースラインよりも優れた性能を示し,タスク非依存処理とプライバシ保護の優位性を示している。

関連論文リスト

• SecFwT: Efficient Privacy-Preserving Fine-Tuning of Large Language Models Using Forward-Only Passes [37.63828228378461]
  大規模言語モデル(LLM)は、多くの分野を変えてきたが、医療や金融といったプライバシーに敏感な分野の特殊タスクへの適応は、厳しいプライバシー要件のためにアクセス可能なトレーニングデータの不足によって制約されている。 セキュアなマルチパーティ計算(MPC)ベースのプライバシ保護機械学習は、モデルパラメータとユーザデータの両方を保護する強力なアプローチを提供する。 提案するSecFwTは,効率よくプライバシ保護可能なLCMファインチューニングを目的とした,最初のMPCベースのフレームワークである。
  論文  参考訳（メタデータ） (2025-06-18T09:36:57Z)
• Embedding-to-Prefix: Parameter-Efficient Personalization for Pre-Trained Large Language Models [6.445337954429245]
  大規模言語モデル(LLM)は、文脈に関連のあるコンテンツを生成するのに優れている。 本研究では,LLMの隠れ表現空間にコンテキスト埋め込みを注入するパラメータ効率の高いEmbeding-to-Prefix(E2P)を提案する。 我々は2つの公開データセットとプロダクション環境でのE2Pの評価を行い、ペルソナチャットでの対話パーソナライゼーション、PENSにおける文脈的見出し生成、音楽とポッドキャストの大規模パーソナライゼーションについて検討した。
  論文  参考訳（メタデータ） (2025-05-16T13:34:25Z)
• PWC-MoE: Privacy-Aware Wireless Collaborative Mixture of Experts [59.5243730853157]
  クラウドサーバにホストされる大規模言語モデル(LLM)は、ローカルデバイス上の計算とストレージの負担を軽減するが、プライバシの懸念を高める。 小規模言語モデル(SLM)は、ローカルで実行されるためプライバシーが向上するが、複雑なタスクではパフォーマンスが制限される。 帯域幅制約下での計算コスト,性能,プライバシ保護のバランスをとるために,プライバシを意識したPWC-MoE(PWC-MoE)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-13T16:27:07Z)
• FedSpaLLM: Federated Pruning of Large Language Models [8.45879077052023]
  大規模言語モデル(LLM)は最先端のパフォーマンスを実現するが、高い計算量とストレージ要求のためデプロイは困難である。 我々は,LLMの刈り取り専用に設計された最初のフェデレーション学習フレームワークであるFedSpaLLMを提案する。
  論文  参考訳（メタデータ） (2024-10-18T20:33:12Z)
• Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
  差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。 ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:54:32Z)
• Efficient Federated Prompt Tuning for Black-box Large Pre-trained Models [62.838689691468666]
  我々は,各ローカルデータセットを最適に活用するためのフェデレートブラックボックス・プロンプト・チューニング(Fed-BBPT)を提案する。 Fed-BBPTは、ローカルユーザーがレギュラーアグリゲーションを通じてプロンプトジェネレータを協調的に訓練するのを支援する中央サーバーに重点を置いている。 大規模な微調整とは対照的に、Fed-BBPTは、PTMストレージとローカルマシンの微調整に関連するメモリの課題を、十分にサイドステップで解決している。
  論文  参考訳（メタデータ） (2023-10-04T19:30:49Z)
• Unsupervised Model Personalization while Preserving Privacy and Scalability: An Open Problem [55.21502268698577]
  本研究では,非教師なしモデルパーソナライゼーションの課題について検討する。 この問題を探求するための新しいDual User-Adaptation Framework(DUA)を提供する。 このフレームワークは、サーバ上のモデルパーソナライズとユーザデバイス上のローカルデータ正規化に柔軟にユーザ適応を分散させる。
  論文  参考訳（メタデータ） (2020-03-30T09:35:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。