Fugu-MT 論文翻訳(概要): NoEsis: Differentially Private Knowledge Transfer in Modular LLM Adaptation

論文の概要: NoEsis: Differentially Private Knowledge Transfer in Modular LLM Adaptation

arxiv url: http://arxiv.org/abs/2504.18147v1
Date: Fri, 25 Apr 2025 07:56:24 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-02 19:15:53.685253
Title: NoEsis: Differentially Private Knowledge Transfer in Modular LLM Adaptation
Title（参考訳）: NoEsis: モジュール型LLM適応における個人的知識伝達
Authors: Rob Romijnders, Stefanos Laskaridis, Ali Shahin Shamsabadi, Hamed Haddadi,
Abstract要約: NoEsisはモジュール性、プライバシ、知識伝達の望ましい特性の上に構築されている。 NoEsisは、差分プライバシーとハイブリッドな2段階パラメータ効率の微調整を統合する。 CodeXGLUEによる評価の結果、NoEsisは証明可能なプライバシー保証を達成できることが示された。
参考スコア（独自算出の注目度）: 16.451384822961938
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large Language Models (LLM) are typically trained on vast amounts of data from various sources. Even when designed modularly (e.g., Mixture-of-Experts), LLMs can leak privacy on their sources. Conversely, training such models in isolation arguably prohibits generalization. To this end, we propose a framework, NoEsis, which builds upon the desired properties of modularity, privacy, and knowledge transfer. NoEsis integrates differential privacy with a hybrid two-staged parameter-efficient fine-tuning that combines domain-specific low-rank adapters, acting as experts, with common prompt tokens, acting as a knowledge-sharing backbone. Results from our evaluation on CodeXGLUE showcase that NoEsis can achieve provable privacy guarantees with tangible knowledge transfer across domains, and empirically show protection against Membership Inference Attacks. Finally, on code completion tasks, NoEsis bridges at least 77% of the accuracy gap between the non-shared and the non-private baseline.
Abstract（参考訳）: 大規模言語モデル(LLM)は通常、様々なソースから大量のデータに基づいて訓練される。モジュール化された設計(Mixture-of-Expertsなど)であっても、LLMはソースのプライバシをリークすることができる。逆に、そのようなモデルを分離して訓練することは一般化を禁止している。この目的のために,モジュール性,プライバシ,知識伝達の望ましい特性を基盤としたフレームワーク,NoEsisを提案する。 NoEsisはディファレンシャルプライバシと、ドメイン固有の低ランクアダプタを専門家として、共通のプロンプトトークンと組み合わせて、知識共有バックボーンとして機能するハイブリッド2段階パラメータ効率の微調整を統合している。 CodeXGLUEによる評価の結果,NoEsisはドメイン間の具体的な知識伝達によって,証明可能なプライバシ保証を実現し,メンバシップ推論攻撃に対する保護を実証的に示すことができた。最後に、コード補完タスクでは、NoEsisは非共有と非プライベートベースラインの間の精度ギャップの少なくとも77%を橋渡ししている。

関連論文リスト

PM-MOE: Mixture of Experts on Private Model Parameters for Personalized Federated Learning [14.681194790227085]
フェデレーテッド・ラーニング(FL)は、プライバシー保護と協調学習能力で広く注目を集めている。パーソナライズド・フェデレーション(Personalized Federated Learning)は、モデルをグローバルな共有部分とローカルなプライベート部分に分割することで、この問題に対処する。本稿では、パーソナライズされたモジュールとエネルギーベースのパーソナライズされたモジュールを組み合わせたPM-MoEアーキテクチャを提案する。
論文参考訳（メタデータ） (2025-02-01T07:20:21Z)
Federated Fine-Tuning of LLMs: Framework Comparison and Research Directions [59.5243730853157]
Federated Learning(FL)は、分散プライベートデータセットを使用して、トレーニング済みの大規模言語モデル(LLM)を微調整するための、プライバシ保護ソリューションを提供する。本稿では、知識蒸留(KD)とスプリットラーニング(SL)を統合し、これらの問題を緩和する3つの先進的連合LLM(FedLLM)フレームワークの比較分析を行う。
論文参考訳（メタデータ） (2025-01-08T11:37:06Z)
Combining Domain and Alignment Vectors to Achieve Better Knowledge-Safety Trade-offs in LLMs [64.83462841029089]
我々は、ドメインとアライメントベクトルを補間し、より安全なドメイン固有モデルを作成する、textscMergeAlignと呼ばれる効率的なマージベースのアライメント手法を導入する。医学やファイナンスの専門家であるLlama3の変種にtextscMergeAlignを適用することで、ドメイン固有のベンチマークを最小限または全く劣化させることなく、大幅なアライメントの改善が得られる。
論文参考訳（メタデータ） (2024-11-11T09:32:20Z)
Model-Based Privacy-Preserving Knowledge Transfer for Large Language Models [34.949731264918846]
Llamdexは大規模言語モデル(LLM)を強化するフレームワークで、ドメイン固有のデータに基づいてトレーニングされたモデルのみを使用する。提案手法は,ドメイン固有のタスクの精度を大幅に向上し,最大26%の精度向上を実現する。
論文参考訳（メタデータ） (2024-10-14T13:18:20Z)
Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
論文参考訳（メタデータ） (2024-06-20T13:54:32Z)
Self-MoE: Towards Compositional Large Language Models with Self-Specialized Experts [49.950419707905944]
本稿では,モノリシックLLMを,自己専門化の専門家による構成的,モジュール的なシステムに変換するアプローチであるSelf-MoEを紹介する。提案手法は, 自己生成合成データを用いて, 専門家モジュールを構成する自己特殊化を利用する。本研究は, モジュール性の重要性, マルチベースLCMへの適用性, 効率的でスケーラブルで適応可能なシステムの実現における自己改善の可能性を明らかにするものである。
論文参考訳（メタデータ） (2024-06-17T19:06:54Z)
Flexible and Adaptable Summarization via Expertise Separation [59.26639426529827]
熟練した要約モデルは、柔軟性と適応性の両方を示すべきである。我々は,Mixture-of-Expert SummarizationアーキテクチャであるMoeSummを提案する。我々のモデルでは、一般とドメイン固有の要約能力の分離は、顕著な柔軟性と適応性を与えている。
論文参考訳（メタデータ） (2024-06-08T05:31:19Z)
Federated Learning on Riemannian Manifolds with Differential Privacy [8.75592575216789]
悪意のある敵は、様々な手段を通じて機密情報を推測することができる。本稿では,差分プライバシ(DP)技術に基づいて定義された汎用的なプライベートFLフレームワークを提案する。我々は収束性を確立しながらプライバシー保証を分析する。合成および実世界のデータセット上で数値シミュレーションを行い,提案手法の有効性を示す。
論文参考訳（メタデータ） (2024-04-15T12:32:20Z)
PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
論文参考訳（メタデータ） (2023-10-03T22:37:01Z)
When approximate design for fast homomorphic computation provides differential privacy guarantees [0.08399688944263842]
差分プライバシー(DP)と暗号プリミティブは、プライバシー攻撃に対する一般的な対策である。本稿では,argmax演算子に対する確率近似アルゴリズム ShiELD を設計する。たとえShielDが他のアプリケーションを持つことができたとしても、私たちは1つの設定に集中し、SPEEDコラボレーティブトレーニングフレームワークにシームレスに統合します。
論文参考訳（メタデータ） (2023-04-06T09:38:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。