論文の概要: Model-Based Privacy-Preserving Knowledge Transfer for Large Language Models

• arxiv url: http://arxiv.org/abs/2410.10481v2
• Date: Fri, 14 Feb 2025 09:47:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-17 18:05:47.415009
• Title: Model-Based Privacy-Preserving Knowledge Transfer for Large Language Models
• Title（参考訳）: 大規模言語モデルに対するモデルベースプライバシ保護知識伝達
• Authors: Zhaomin Wu, Jizhou Guo, Junyi Hou, Bingsheng He, Lixin Fan, Qiang Yang,
• Abstract要約: Llamdexは大規模言語モデル(LLM)を強化するフレームワークで、ドメイン固有のデータに基づいてトレーニングされたモデルのみを使用する。 提案手法は,ドメイン固有のタスクの精度を大幅に向上し,最大26%の精度向上を実現する。
• 参考スコア（独自算出の注目度）: 34.949731264918846
• License:
• Abstract: As large language models (LLMs) become more prevalent, effectively utilizing domain-specific knowledge while ensuring privacy has become critical. Existing methods often struggle to balance utility and privacy. For instance, retrieval-augmented generation (RAG) enables LLMs to access domain-specific knowledge but compromises the privacy of sensitive data. On the other hand, differentially private data synthesis techniques offer strong privacy guarantees but often result in poor utility. To address this challenge, we propose Llamdex, a novel framework that enhances LLMs using only models trained on domain-specific data, integrated into LLMs through carefully designed connection modules. Our approach significantly enhances the accuracy of domain-specific tasks, achieving up to a 26% accuracy improvement compared to state-of-the-art data synthesis methods under the same differential privacy constraints. Experimental results show that Llamdex not only improves the accuracy of LLM responses but also maintains comparable inference efficiency to the original LLM, highlighting its potential for real applications.
• Abstract（参考訳）: 大規模言語モデル(LLM)が普及するにつれて、ドメイン固有の知識を効果的に活用し、プライバシの確保が重要になっている。 既存の方法は、ユーティリティとプライバシのバランスをとるのに苦労することが多い。 例えば、検索強化世代(RAG)は、LLMがドメイン固有の知識にアクセスできるようにするが、機密データのプライバシーを侵害する。 一方、差分的にプライベートなデータ合成技術は、強力なプライバシー保証を提供するが、しばしば実用性に欠ける。 この課題に対処するため,Llamdexを提案する。Llamdexは,ドメイン固有データに基づいて訓練されたモデルのみを用いてLLMを強化し,慎重に設計された接続モジュールを通じてLLMに統合するフレームワークである。 提案手法はドメイン固有のタスクの精度を大幅に向上させ,同じ差分プライバシー制約下での最先端データ合成手法と比較して最大26%の精度向上を実現した。 実験の結果,Llamdex は LLM 応答の精度を向上するだけでなく,従来の LLM に匹敵する推論効率も維持し,実際の応用の可能性を強調した。

関連論文リスト

• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• A Novel Compact LLM Framework for Local, High-Privacy EHR Data Applications [3.5839042822277585]
  本稿では,厳密なプライバシ要件を持つ環境下での局所的な展開を目的とした,コンパクトなLarge Language Models (LLMs) フレームワークを提案する。 臨床ノートにおける重要な情報をフィルタリングし強調するために,正規表現などの情報抽出手法を用いた新しい前処理手法を導入する。 我々のフレームワークは、プライベートおよびパブリック両方のデータセット(MIMIC-IV)上でゼロショットおよび少数ショット学習パラダイムを用いて評価される。
  論文  参考訳（メタデータ） (2024-12-03T22:06:55Z)
• Robust Utility-Preserving Text Anonymization Based on Large Language Models [80.5266278002083]
  テキストの匿名化は、プライバシーを維持しながら機密データを共有するために重要である。 既存の技術は、大規模言語モデルの再識別攻撃能力の新たな課題に直面している。 本稿では,3つのLCMベースコンポーネント – プライバシ評価器,ユーティリティ評価器,最適化コンポーネント – で構成されるフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-16T14:28:56Z)
• Federated Domain-Specific Knowledge Transfer on Large Language Models Using Synthetic Data [53.70870879858533]
  フェデレートされたドメイン固有の知識伝達フレームワークを紹介する。 クライアントのデータプライバシを保護しながら、LLMからSLMへのドメイン固有の知識転送を可能にする。 提案されたFDKTフレームワークは、プライバシー予算が10未満のSLMのタスクパフォーマンスを約5%改善する。
  論文  参考訳（メタデータ） (2024-05-23T06:14:35Z)
• A Framework for Cost-Effective and Self-Adaptive LLM Shaking and Recovery Mechanism [33.330424243007265]
  我々は,CypherTalk という,費用対効果と自己適応性を備えた LLM 揺らぎチューニングとリカバリ機構を導入する。 水平および垂直の揺動演算子を慎重に設計することにより、SOTAのプライバシー保護型LLMスキームと同等の精度が得られる。 また、CypherTalkフレームワークでは、最適化された揺動演算子設定を使用すると、信頼性の高い精度が得られる。
  論文  参考訳（メタデータ） (2024-03-12T03:30:04Z)
• PANDA: Preference Adaptation for Enhancing Domain-Specific Abilities of LLMs [49.32067576992511]
  大規模言語モデルは、しばしばドメイン固有の最先端モデルによって達成されるパフォーマンスに欠ける。 LLMのドメイン固有の機能を強化する1つの潜在的アプローチは、対応するデータセットを使用してそれらを微調整することである。 LLM(PANDA)のドメイン固有能力を高めるための優先度適応法を提案する。 実験の結果,PANDA はテキスト分類や対話型意思決定タスクにおいて LLM のドメイン固有性を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-02-20T09:02:55Z)
• Differentially Private Low-Rank Adaptation of Large Language Model Using Federated Learning [32.52811740662061]
  本稿では,大規模言語モデル(LLM)に適した新しいフェデレーション学習アルゴリズムDP-LoRAを紹介する。 DP-LoRAは、重み付け更新のノイズを追加し、データプライバシを個別に維持しつつ、協調的なモデルトレーニングを容易にするガウス機構を使用することで、データのプライバシを保存する。
  論文  参考訳（メタデータ） (2023-12-29T06:50:38Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• Augmented Large Language Models with Parametric Knowledge Guiding [72.71468058502228]
  大規模言語モデル(LLM)は、言語理解と生成能力に優れた自然言語処理(NLP)を備えています。 それらのパフォーマンスは、関連するデータへの限られた露出のために専門的な知識を必要とするドメイン固有のタスクに最適であるかもしれない。 本稿では,LLMに関連知識にアクセスするための知識誘導モジュールを組み込んだ新しいPKGフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-08T15:05:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。