論文の概要: Model-Based Privacy-Preserving Knowledge Transfer for Large Language Models

• arxiv url: http://arxiv.org/abs/2410.10481v2
• Date: Fri, 14 Feb 2025 09:47:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-17 18:05:47.415009
• Title: Model-Based Privacy-Preserving Knowledge Transfer for Large Language Models
• Title（参考訳）: 大規模言語モデルに対するモデルベースプライバシ保護知識伝達
• Authors: Zhaomin Wu, Jizhou Guo, Junyi Hou, Bingsheng He, Lixin Fan, Qiang Yang,
• Abstract要約: Llamdexは大規模言語モデル(LLM)を強化するフレームワークで、ドメイン固有のデータに基づいてトレーニングされたモデルのみを使用する。 提案手法は,ドメイン固有のタスクの精度を大幅に向上し,最大26%の精度向上を実現する。
• 参考スコア（独自算出の注目度）: 34.949731264918846
• License:
• Abstract: As large language models (LLMs) become more prevalent, effectively utilizing domain-specific knowledge while ensuring privacy has become critical. Existing methods often struggle to balance utility and privacy. For instance, retrieval-augmented generation (RAG) enables LLMs to access domain-specific knowledge but compromises the privacy of sensitive data. On the other hand, differentially private data synthesis techniques offer strong privacy guarantees but often result in poor utility. To address this challenge, we propose Llamdex, a novel framework that enhances LLMs using only models trained on domain-specific data, integrated into LLMs through carefully designed connection modules. Our approach significantly enhances the accuracy of domain-specific tasks, achieving up to a 26% accuracy improvement compared to state-of-the-art data synthesis methods under the same differential privacy constraints. Experimental results show that Llamdex not only improves the accuracy of LLM responses but also maintains comparable inference efficiency to the original LLM, highlighting its potential for real applications.
• Abstract（参考訳）: 大規模言語モデル(LLM)が普及するにつれて、ドメイン固有の知識を効果的に活用し、プライバシの確保が重要になっている。 既存の方法は、ユーティリティとプライバシのバランスをとるのに苦労することが多い。 例えば、検索強化世代(RAG)は、LLMがドメイン固有の知識にアクセスできるようにするが、機密データのプライバシーを侵害する。 一方、差分的にプライベートなデータ合成技術は、強力なプライバシー保証を提供するが、しばしば実用性に欠ける。 この課題に対処するため,Llamdexを提案する。Llamdexは,ドメイン固有データに基づいて訓練されたモデルのみを用いてLLMを強化し,慎重に設計された接続モジュールを通じてLLMに統合するフレームワークである。 提案手法はドメイン固有のタスクの精度を大幅に向上させ,同じ差分プライバシー制約下での最先端データ合成手法と比較して最大26%の精度向上を実現した。 実験の結果,Llamdex は LLM 応答の精度を向上するだけでなく,従来の LLM に匹敵する推論効率も維持し,実際の応用の可能性を強調した。

関連論文リスト

• Exploring Language Model Generalization in Low-Resource Extractive QA [57.14068405860034]
  ドメインドリフト下でのLarge Language Models (LLM) を用いた抽出質問応答(EQA)について検討する。 パフォーマンスギャップを実証的に説明するための一連の実験を考案する。
  論文  参考訳（メタデータ） (2024-09-27T05:06:43Z)
• Robust Utility-Preserving Text Anonymization Based on Large Language Models [80.5266278002083]
  テキストの匿名化は、プライバシーを維持しながら機密データを共有するために重要である。 既存の技術は、大規模言語モデルの再識別攻撃能力の新たな課題に直面している。 本稿では,3つのLCMベースコンポーネント – プライバシ評価器,ユーティリティ評価器,最適化コンポーネント – で構成されるフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-16T14:28:56Z)
• Federated Domain-Specific Knowledge Transfer on Large Language Models Using Synthetic Data [53.70870879858533]
  フェデレートされたドメイン固有の知識伝達フレームワークを紹介する。 クライアントのデータプライバシを保護しながら、LLMからSLMへのドメイン固有の知識転送を可能にする。 提案されたFDKTフレームワークは、プライバシー予算が10未満のSLMのタスクパフォーマンスを約5%改善する。
  論文  参考訳（メタデータ） (2024-05-23T06:14:35Z)
• BLADE: Enhancing Black-box Large Language Models with Small Domain-Specific Models [56.89958793648104]
  大規模言語モデル(LLM)は多用途であり、多様なタスクに対処することができる。 従来のアプローチでは、ドメイン固有のデータによる継続的な事前トレーニングを行うか、一般的なLLMをサポートするために検索拡張を採用する。 BLADEと呼ばれる新しいフレームワークを提案する。このフレームワークは、小さなDomain-spEcificモデルでブラックボックスのLArge言語モデルを拡張する。
  論文  参考訳（メタデータ） (2024-03-27T08:57:21Z)
• Dial-insight: Fine-tuning Large Language Models with High-Quality Domain-Specific Data Preventing Capability Collapse [4.98050508891467]
  高品質なデータを得るために設計された生産プロンプトを構築するための2段階のアプローチを提案する。 この方法は、幅広いタスクを包含し、多種多様な表現を示す多様なプロンプトの生成を含む。 生成したラベルデータの整合性を確保するため,コスト効率,多次元品質評価フレームワークを導入する。
  論文  参考訳（メタデータ） (2024-03-14T08:27:32Z)
• PANDA: Preference Adaptation for Enhancing Domain-Specific Abilities of LLMs [49.32067576992511]
  大規模言語モデルは、しばしばドメイン固有の最先端モデルによって達成されるパフォーマンスに欠ける。 LLMのドメイン固有の機能を強化する1つの潜在的アプローチは、対応するデータセットを使用してそれらを微調整することである。 LLM(PANDA)のドメイン固有能力を高めるための優先度適応法を提案する。 実験の結果,PANDA はテキスト分類や対話型意思決定タスクにおいて LLM のドメイン固有性を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-02-20T09:02:55Z)
• Differentially Private Low-Rank Adaptation of Large Language Model Using Federated Learning [32.52811740662061]
  本稿では,大規模言語モデル(LLM)に適した新しいフェデレーション学習アルゴリズムDP-LoRAを紹介する。 DP-LoRAは、重み付け更新のノイズを追加し、データプライバシを個別に維持しつつ、協調的なモデルトレーニングを容易にするガウス機構を使用することで、データのプライバシを保存する。
  論文  参考訳（メタデータ） (2023-12-29T06:50:38Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。