論文の概要: PDSS: A Privacy-Preserving Framework for Step-by-Step Distillation of Large Language Models

• arxiv url: http://arxiv.org/abs/2406.12403v1
• Date: Tue, 18 Jun 2024 08:48:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 19:56:37.298712
• Title: PDSS: A Privacy-Preserving Framework for Step-by-Step Distillation of Large Language Models
• Title（参考訳）: PDSS: 大規模言語モデルのステップバイステップ蒸留のためのプライバシー保護フレームワーク
• Authors: Tao Fan, Yan Kang, Weijing Chen, Hanlin Gu, Yuanfeng Song, Lixin Fan, Kai Chen, Qiang Yang,
• Abstract要約: PDSSはサーバクライアントアーキテクチャで動作し、クライアントは合理生成のためにサーバのLCMにプロンプトを送信する。 生成された合理性はクライアントによってデコードされ、タスク固有の小言語モデルのトレーニングを強化するために使用される。 各種テキスト生成タスクにおけるPDSSの有効性を示す実験により,タスク固有のSLMを訓練し,性能を向上させることができる。
• 参考スコア（独自算出の注目度）: 29.58928014528991
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the context of real-world applications, leveraging large language models (LLMs) for domain-specific tasks often faces two major challenges: domain-specific knowledge privacy and constrained resources. To address these issues, we propose PDSS, a privacy-preserving framework for step-by-step distillation of LLMs. PDSS works on a server-client architecture, wherein client transmits perturbed prompts to the server's LLM for rationale generation. The generated rationales are then decoded by the client and used to enrich the training of task-specific small language model(SLM) within a multi-task learning paradigm. PDSS introduces two privacy protection strategies: the Exponential Mechanism Strategy and the Encoder-Decoder Strategy, balancing prompt privacy and rationale usability. Experiments demonstrate the effectiveness of PDSS in various text generation tasks, enabling the training of task-specific SLM with enhanced performance while prioritizing data privacy protection.
• Abstract（参考訳）: 現実世界のアプリケーションでは、ドメイン固有のタスクに大規模言語モデル(LLM)を活用することが、ドメイン固有の知識のプライバシと制約のあるリソースという2つの大きな課題に直面します。 これらの問題に対処するため,LDMを段階的に蒸留するためのプライバシー保護フレームワークPDSSを提案する。 PDSSはサーバクライアントアーキテクチャで動作し、クライアントは乱れたプロンプトをサーバのLCMに送信し、合理的な生成を行う。 生成された合理性は、クライアントによってデコードされ、マルチタスク学習パラダイム内のタスク固有小言語モデル(SLM)のトレーニングを強化するために使用される。 PDSSは2つのプライバシ保護戦略(Exponential Mechanism Strategy)とEncoder-Decoder Strategy(Encoder-Decoder Strategy)を導入している。 各種テキスト生成タスクにおけるPDSSの有効性を実証し、データプライバシ保護を優先しながら、パフォーマンスを向上したタスク固有のSLMのトレーニングを可能にする。

関連論文リスト

• A Practical and Privacy-Preserving Framework for Real-World Large Language Model Services [8.309281698695381]
  大規模言語モデル(LLM)は、テキスト理解と生成において例外的な能力を示した。 個人はしばしばLLM企業が提供するオンラインAI・アズ・ア・サービス(AI)に依存している。 このビジネスモデルは、サービスプロバイダがユーザのトレースパターンや行動データを悪用する可能性があるため、重大なプライバシー上のリスクをもたらす。 本稿では,サービスプロバイダが要求を提出した個人にリンクさせることを防止し,ユーザの匿名性を確保するための実用的かつプライバシ保護フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-03T07:40:28Z)
• Large Language Models for Base Station Siting: Intelligent Deployment based on Prompt or Agent [62.16747639440893]
  大規模言語モデル(LLM)とその関連技術は、特に迅速な工学とエージェント工学の領域において進歩している。 このアプローチは、人間の経験と知識をこれらの洗練されたLLMに注入するために、巧妙なプロンプトの戦略的利用を必要とする。 この統合は、サービスとしての人工知能(AI)と、より容易なAIの将来のパラダイムを表している。
  論文  参考訳（メタデータ） (2024-08-07T08:43:32Z)
• Robust Utility-Preserving Text Anonymization Based on Large Language Models [80.5266278002083]
  テキストの匿名化は、プライバシーを維持しながら機密データを共有するために重要である。 既存の技術は、大規模言語モデルの再識別攻撃能力の新たな課題に直面している。 本稿では,3つのLCMベースコンポーネント – プライバシ評価器,ユーティリティ評価器,最適化コンポーネント – で構成されるフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-16T14:28:56Z)
• Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
  差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。 ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:54:32Z)
• Efficient Prompting for LLM-based Generative Internet of Things [88.84327500311464]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示しており、最近、IoT(Internet of Things)アプリケーションにLLMの能力を統合することが研究の注目を集めている。 セキュリティ上の懸念から、多くの機関は最先端の商用LLMサービスへのアクセスを避け、ローカルネットワーク環境でのオープンソースLLMのデプロイと利用を必要としている。 本研究では,LLMを用いた生成IoT(Generative IoT)システムを提案する。
  論文  参考訳（メタデータ） (2024-06-14T19:24:00Z)
• Large Language Models: A New Approach for Privacy Policy Analysis at Scale [1.7570777893613145]
  本研究は,大規模プライバシポリシから効果的かつ効率的にプライバシプラクティスを抽出する代替手段として,LLM(Large Language Models)の適用を提案する。 我々はChatGPTやLlama 2といった有名なLLMを活用し、プロンプト、パラメータ、モデルの最適設計に関するガイダンスを提供する。 評価では、ドメイン内のいくつかの有名なデータセットをベンチマークとして、その例外的な性能を評価し、F1スコアが93%を超えた。
  論文  参考訳（メタデータ） (2024-05-31T15:12:33Z)
• Federated Domain-Specific Knowledge Transfer on Large Language Models Using Synthetic Data [53.70870879858533]
  フェデレートされたドメイン固有の知識伝達フレームワークを紹介する。 クライアントのデータプライバシを保護しながら、LLMからSLMへのドメイン固有の知識転送を可能にする。 提案されたFDKTフレームワークは、プライバシー予算が10未満のSLMのタスクパフォーマンスを約5%改善する。
  論文  参考訳（メタデータ） (2024-05-23T06:14:35Z)
• ConfusionPrompt: Practical Private Inference for Online Large Language Models [3.8134804426693094]
  最先端の大規模言語モデル(LLM)は一般的にオンラインサービスとしてデプロイされ、ユーザーはクラウドサーバーに詳細なプロンプトを送信する必要がある。 我々は,従来のプロンプトを小さなサブプロンプトに分解することで,ユーザのプライバシを保護する,プライベートLLM推論のための新しいフレームワークであるConfusionPromptを紹介する。 コンフュージョンプロンプトは,オープンソースモデルと摂動に基づく手法を用いて,局所的推論手法よりもはるかに高い実用性を実現することを示す。
  論文  参考訳（メタデータ） (2023-12-30T01:26:42Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。