Fugu-MT 論文翻訳(概要): Model-Based Differentially Private Knowledge Transfer for Large Language Models

論文の概要: Model-Based Differentially Private Knowledge Transfer for Large Language Models

arxiv url: http://arxiv.org/abs/2410.10481v1
Date: Mon, 14 Oct 2024 13:18:20 GMT
ステータス: 処理完了
システム内更新日: 2024-10-29 21:24:58.621449
Title: Model-Based Differentially Private Knowledge Transfer for Large Language Models
Title（参考訳）: 大規模言語モデルに対するモデルベース差分的知識伝達
Authors: Zhaomin Wu, Jizhou Guo, Junyi Hou, Bingsheng He, Lixin Fan, Qiang Yang,
Abstract要約: プライバシ保護,ドメイン固有モデルを大規模言語モデルに統合するフレームワークである textitLlamdex を提案する。提案手法はドメイン固有のタスクの精度を大幅に向上させ,既存手法と比較して最大26%の改善を実現した。
参考スコア（独自算出の注目度）: 34.949731264918846
License: http://creativecommons.org/licenses/by/4.0/
Abstract: As large language models (LLMs) become increasingly prevalent in web services, effectively leveraging domain-specific knowledge while ensuring privacy has become critical. Existing methods, such as retrieval-augmented generation (RAG) and differentially private data synthesis, often compromise either the utility of domain knowledge or the privacy of sensitive data, limiting their applicability in specialized domains. To address these challenges, we propose \textit{Llamdex}, a novel framework that integrates privacy-preserving, domain-specific models into LLMs. Our approach significantly enhances the accuracy of domain-specific tasks, achieving up to a 26\% improvement compared to existing methods under the same differential privacy constraints. Experimental results show that Llamdex not only improves the accuracy of LLM responses but also maintains comparable inference efficiency to the original LLM, highlighting its potential for real-world applications.
Abstract（参考訳）: 大規模言語モデル(LLM)がWebサービスでますます普及するにつれて、ドメイン固有の知識を効果的に活用し、プライバシの確保が重要になっている。検索強化生成(RAG)や微分プライベートなデータ合成といった既存の手法は、ドメイン知識の実用性や機密データのプライバシーを損なうことが多く、特定のドメインにおける適用性を制限している。これらの課題に対処するために、プライバシ保護、ドメイン固有のモデルをLLMに統合する新しいフレームワークである「textit{Llamdex}」を提案する。提案手法はドメイン固有のタスクの精度を大幅に向上させ,同一の差分プライバシー制約下での既存手法と比較して最大26倍の改善を実現した。実験の結果,Llamdex は LLM 応答の精度を向上するだけでなく,従来の LLM に匹敵する推論効率も維持し,実世界の応用の可能性を強調した。

関連論文リスト

LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
論文参考訳（メタデータ） (2025-02-15T02:55:22Z)
A Novel Compact LLM Framework for Local, High-Privacy EHR Data Applications [3.5839042822277585]
本稿では,厳密なプライバシ要件を持つ環境下での局所的な展開を目的とした,コンパクトなLarge Language Models (LLMs) フレームワークを提案する。臨床ノートにおける重要な情報をフィルタリングし強調するために,正規表現などの情報抽出手法を用いた新しい前処理手法を導入する。我々のフレームワークは、プライベートおよびパブリック両方のデータセット(MIMIC-IV)上でゼロショットおよび少数ショット学習パラダイムを用いて評価される。
論文参考訳（メタデータ） (2024-12-03T22:06:55Z)
Robust Utility-Preserving Text Anonymization Based on Large Language Models [80.5266278002083]
テキストの匿名化は、プライバシーを維持しながら機密データを共有するために重要である。既存の技術は、大規模言語モデルの再識別攻撃能力の新たな課題に直面している。本稿では,3つのLCMベースコンポーネント – プライバシ評価器,ユーティリティ評価器,最適化コンポーネント – で構成されるフレームワークを提案する。
論文参考訳（メタデータ） (2024-07-16T14:28:56Z)
Federated Domain-Specific Knowledge Transfer on Large Language Models Using Synthetic Data [53.70870879858533]
フェデレートされたドメイン固有の知識伝達フレームワークを紹介する。クライアントのデータプライバシを保護しながら、LLMからSLMへのドメイン固有の知識転送を可能にする。提案されたFDKTフレームワークは、プライバシー予算が10未満のSLMのタスクパフォーマンスを約5%改善する。
論文参考訳（メタデータ） (2024-05-23T06:14:35Z)
A Framework for Cost-Effective and Self-Adaptive LLM Shaking and Recovery Mechanism [33.330424243007265]
我々は,CypherTalk という,費用対効果と自己適応性を備えた LLM 揺らぎチューニングとリカバリ機構を導入する。水平および垂直の揺動演算子を慎重に設計することにより、SOTAのプライバシー保護型LLMスキームと同等の精度が得られる。また、CypherTalkフレームワークでは、最適化された揺動演算子設定を使用すると、信頼性の高い精度が得られる。
論文参考訳（メタデータ） (2024-03-12T03:30:04Z)
PANDA: Preference Adaptation for Enhancing Domain-Specific Abilities of LLMs [49.32067576992511]
大規模言語モデルは、しばしばドメイン固有の最先端モデルによって達成されるパフォーマンスに欠ける。 LLMのドメイン固有の機能を強化する1つの潜在的アプローチは、対応するデータセットを使用してそれらを微調整することである。 LLM(PANDA)のドメイン固有能力を高めるための優先度適応法を提案する。実験の結果,PANDA はテキスト分類や対話型意思決定タスクにおいて LLM のドメイン固有性を大幅に向上させることがわかった。
論文参考訳（メタデータ） (2024-02-20T09:02:55Z)
Differentially Private Low-Rank Adaptation of Large Language Model Using Federated Learning [32.52811740662061]
本稿では,大規模言語モデル(LLM)に適した新しいフェデレーション学習アルゴリズムDP-LoRAを紹介する。 DP-LoRAは、重み付け更新のノイズを追加し、データプライバシを個別に維持しつつ、協調的なモデルトレーニングを容易にするガウス機構を使用することで、データのプライバシを保存する。
論文参考訳（メタデータ） (2023-12-29T06:50:38Z)
PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
論文参考訳（メタデータ） (2023-10-03T22:37:01Z)
Augmented Large Language Models with Parametric Knowledge Guiding [72.71468058502228]
大規模言語モデル(LLM)は、言語理解と生成能力に優れた自然言語処理(NLP)を備えています。それらのパフォーマンスは、関連するデータへの限られた露出のために専門的な知識を必要とするドメイン固有のタスクに最適であるかもしれない。本稿では,LLMに関連知識にアクセスするための知識誘導モジュールを組み込んだ新しいPKGフレームワークを提案する。
論文参考訳（メタデータ） (2023-05-08T15:05:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。