論文の概要: Prada: Black-Box LLM Adaptation with Private Data on Resource-Constrained Devices

• arxiv url: http://arxiv.org/abs/2503.14932v1
• Date: Wed, 19 Mar 2025 06:38:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-20 15:23:59.660898
• Title: Prada: Black-Box LLM Adaptation with Private Data on Resource-Constrained Devices
• Title（参考訳）: Prada: リソース制約デバイス上のプライベートデータによるブラックボックスLLM適応
• Authors: Ziyao Wang, Yexiao He, Zheyu Shen, Yu Li, Guoheng Sun, Myungjin Lee, Ang Li,
• Abstract要約: 大きな言語モデル(LLM)は、リソース制約のあるエッジデバイスに格納されたプライベートデータセットを使用して、特別なドメインに適応することができる。 プライバシ保護と効率的なブラックボックスLLM適応システムであるPradaを提案する。 Pradaは、集中的な微調整手法に匹敵するパフォーマンスを実現し、計算オーバーヘッドを最大60%削減し、通信コストを最大80%削減する。
• 参考スコア（独自算出の注目度）: 16.500721672193762
• License:
• Abstract: In recent years, Large Language Models (LLMs) have demonstrated remarkable abilities in various natural language processing tasks. However, adapting these models to specialized domains using private datasets stored on resource-constrained edge devices, such as smartphones and personal computers, remains challenging due to significant privacy concerns and limited computational resources. Existing model adaptation methods either compromise data privacy by requiring data transmission or jeopardize model privacy by exposing proprietary LLM parameters. To address these challenges, we propose Prada, a novel privacy-preserving and efficient black-box LLM adaptation system using private on-device datasets. Prada employs a lightweight proxy model fine-tuned with Low-Rank Adaptation (LoRA) locally on user devices. During inference, Prada leverages the logits offset, i.e., difference in outputs between the base and adapted proxy models, to iteratively refine outputs from a remote black-box LLM. This offset-based adaptation approach preserves both data privacy and model privacy, as there is no need to share sensitive data or proprietary model parameters. Furthermore, we incorporate speculative decoding to further speed up the inference process of Prada, making the system practically deployable on bandwidth-constrained edge devices, enabling a more practical deployment of Prada. Extensive experiments on various downstream tasks demonstrate that Prada achieves performance comparable to centralized fine-tuning methods while significantly reducing computational overhead by up to 60% and communication costs by up to 80%.
• Abstract（参考訳）: 近年,Large Language Models (LLM) は様々な自然言語処理タスクにおいて顕著な能力を発揮している。 しかし、これらのモデルを、スマートフォンやパーソナルコンピュータなど、リソースに制限されたエッジデバイスに格納されたプライベートデータセットを使用して、特定のドメインに適応させることは、大きなプライバシー上の懸念と限られた計算リソースのため、依然として困難である。 既存のモデル適応手法は、データ転送を必要とすることによってデータのプライバシーを侵害するか、独自のLLMパラメータを公開することによってモデルのプライバシを危険にさらす。 これらの課題に対処するために,プライバシ保護と効率的なブラックボックスLLM適応システムであるPradaを提案する。 Pradaでは、ローランド適応(LoRA)を微調整した軽量プロキシモデルを、ユーザデバイス上でローカルに採用している。 推論の間、Pradaはロジットオフセット、すなわちベースと適応されたプロキシモデルの間の出力の差を利用して、リモートのブラックボックスLSMからの出力を反復的に洗練する。 このオフセットベースの適応アプローチは、機密データやプロプライエタリなモデルパラメータを共有する必要がないため、データのプライバシとモデルのプライバシの両方を保存する。 さらに,Pradaの推論処理を高速化するために投機的デコードを導入し,帯域制限のあるエッジデバイスに実際にデプロイできるようにし,より実用的なPradaのデプロイを可能にした。 様々な下流タスクに関する大規模な実験により、Pradaは集中的な微調整手法に匹敵するパフォーマンスを実現し、計算オーバーヘッドを最大60%削減し、通信コストを最大80%削減した。

関連論文リスト

• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• ScaleOT: Privacy-utility-scalable Offsite-tuning with Dynamic LayerReplace and Selective Rank Compression [13.702472186412296]
  オフサイトチューニングは、大きな言語モデルをチューニングするためのプライバシ保護方法である。 プライバシ・ユーティリティ・スケール可能な新しいオフサイトチューニングフレームワークであるScaleOTを提案する。
  論文  参考訳（メタデータ） (2024-12-13T03:00:48Z)
• FedDTPT: Federated Discrete and Transferable Prompt Tuning for Black-Box Large Language Models [14.719919025265224]
  特定のシナリオからのデータを調整した大きな言語モデル(LLM)は、プライバシリークのリスクを引き起こす。 ブラックボックス大言語モデルに対して,フェデレートされた離散的かつ転送可能なプロンプトチューニングであるFedDTPTを初めて提案する。 提案手法は,ブラックボックス設定における非IDデータに対する高い精度,通信オーバーヘッドの低減,ロバスト性を実現する。
  論文  参考訳（メタデータ） (2024-11-01T19:19:23Z)
• LLM-PBE: Assessing Data Privacy in Large Language Models [111.58198436835036]
  大規模言語モデル(LLM)は多くのドメインに不可欠なものとなり、データ管理、マイニング、分析におけるアプリケーションを大幅に進歩させた。 この問題の批判的な性質にもかかわらず、LLMにおけるデータプライバシのリスクを総合的に評価する文献は存在しない。 本稿では,LLMにおけるデータプライバシリスクの体系的評価を目的としたツールキットであるLLM-PBEを紹介する。
  論文  参考訳（メタデータ） (2024-08-23T01:37:29Z)
• Crayon: Customized On-Device LLM via Instant Adapter Blending and Edge-Server Hybrid Inference [20.666893617591136]
  オンデバイス LLM カスタマイズのための新しいアプローチである Crayon を提案する。 我々は,より要求の多いクエリや非カスタマイズタスクをサーバ上のより大きな,より有能なLDMに確実に割り当てるデバイスサーバハイブリッド推論戦略を開発する。
  論文  参考訳（メタデータ） (2024-06-11T07:00:08Z)
• Self-Augmented Preference Optimization: Off-Policy Paradigms for Language Model Alignment [104.18002641195442]
  既存のペアデータを必要としない、効果的でスケーラブルなトレーニングパラダイムである自己拡張型優先度最適化(SAPO)を導入する。 負の反応を自律的に生成するセルフプレイの概念に基づいて、我々はさらに、データ探索とエクスプロイトを強化するために、非政治的な学習パイプラインを組み込む。
  論文  参考訳（メタデータ） (2024-05-31T14:21:04Z)
• MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT [87.4910758026772]
  近年のLarge Language Models (LLM) 開発において,"Bigger the Better" が主流となっている。 本稿では、リソース制約のあるデバイスに対して、正確かつ効率的なSLM(Small Language Models)を設計する上での課題に対処し、"less is more"パラダイムについて考察する。
  論文  参考訳（メタデータ） (2024-02-26T18:59:03Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)
• PrivateLoRA For Efficient Privacy Preserving LLM [20.750808913757396]
  本稿では,エッジデバイス上でプライバシに敏感な計算を分散し,クラウド上で共有する,新たなLarge Language Model(LLM)サービスパラダイムを提案する。 私たちの中心となるイノベーションであるPrivateLoRAは、残余のアクティベーションの低いレベルを活用することで、困難な通信オーバーヘッドに対処しています。 標準的な5Gネットワークの下では、PrivateLoRAは、7Bモデルのデバイスのみのソリューションの300%以上、33BモデルのA100 GPUの80%以上のスループットを実現している。
  論文  参考訳（メタデータ） (2023-11-23T14:36:30Z)
• Split-and-Denoise: Protect large language model inference with local differential privacy [2.572566198588905]
  Split-N-Denoise (SnD) はプライベートな推論フレームワークであり、最小の計算コストでクライアント側でトークン埋め込み層を実行するためにモデルを分割する。 各種LLMアーキテクチャおよび下流タスク間のプライバシ・ユーティリティ・トレードオフを最適化する上で,SnDの有効性を示す。
  論文  参考訳（メタデータ） (2023-10-13T14:17:33Z)
• Just Fine-tune Twice: Selective Differential Privacy for Large Language Models [69.66654761324702]
  本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。 実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
  論文  参考訳（メタデータ） (2022-04-15T22:36:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。