論文の概要: Separable Expert Architecture: Toward Privacy-Preserving LLM Personalization via Composable Adapters and Deletable User Proxies

• arxiv url: http://arxiv.org/abs/2604.21571v1
• Date: Thu, 23 Apr 2026 11:51:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-24 14:40:06.472759
• Title: Separable Expert Architecture: Toward Privacy-Preserving LLM Personalization via Composable Adapters and Deletable User Proxies
• Title（参考訳）: 分離可能なエキスパートアーキテクチャ - 構成可能なアダプタと削除可能なユーザプロキシによるプライバシ保護LLMパーソナライゼーションに向けて
• Authors: Chris Schneider, Philipp Schoenegger, Ben Bariach,
• Abstract要約: 現在のモデルトレーニングアプローチでは、ユーザ情報を共有重みに直接組み込むことで、個別のデータ削除を再トレーニングせずに計算不能にする。 本稿では、静的ベースモデルと、ユーザデータを与えることなく振舞いを形作る構成可能なドメインエキスパートLoRAアダプタと、削除が決定論的アンラーニングを構成するユーザごとのプロキシアーティファクトを組み合わせることで、共有重みから個人データを分離する3層アーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 0.3559583113064005
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current model training approaches incorporate user information directly into shared weights, making individual data removal computationally infeasible without retraining. This paper presents a three-layer architecture that decouples personal data from shared weights by combining a static base model, composable domain-expert LoRA adapters that shape behavior without imparting user data, and per-user proxy artefacts whose deletion constitutes deterministic unlearning. Evaluation on Phi-3.5-mini and Llama-3.1-8B confirms per-user differentiation in which personal data influences outputs while remaining isolated, verified by a return to baseline after proxy removal (KL divergence of approximately 0.21 nats, 82-89% verification pass rate) and near-zero cross-user contamination. Because user-specific information never enters shared weights, the architecture mitigates model inversion, membership inference, and training-data extraction against shared model components by construction. The approach converts machine unlearning from an intractable weight-editing problem into a deterministic deletion operation that preserves personalization alongside privacy-enhancing guarantees and is compatible with differentially private stochastic gradient descent (DP-SGD) for privacy-preserving shared model improvement.
• Abstract（参考訳）: 現在のモデルトレーニングアプローチでは、ユーザ情報を共有重みに直接組み込むことで、個別のデータ削除を再トレーニングせずに計算不能にする。 本稿では、静的ベースモデルと、ユーザデータを与えることなく振舞いを形作る構成可能なドメインエキスパートLoRAアダプタと、削除が決定論的アンラーニングを構成するユーザごとのプロキシアーティファクトを組み合わせることで、共有重みから個人データを分離する3層アーキテクチャを提案する。 Phi-3.5-miniおよびLlama-3.1-8Bの評価は、個人データが分離されたまま出力に影響を与えるユーザごとの分化を確認し、プロキシ除去後のベースラインへの復帰(約0.21ナット、82-89%の検証パスレート)とほぼゼロのクロスユーザー汚染によって検証する。 ユーザ固有の情報は決して共有重みを入力しないため、アーキテクチャは構成によってモデル反転、メンバーシップ推論、共有モデルコンポーネントに対するトレーニングデータ抽出を緩和する。 このアプローチは、難解な重み付け問題からの機械学習を、プライバシ強化保証とともにパーソナライゼーションを保存し、プライバシ保存共有モデル改善のための差分プライベート確率勾配勾配(DP-SGD)と互換性のある決定論的削除操作に変換する。

関連論文リスト

• Uncertainty-Aware Variational Reward Factorization via Probabilistic Preference Bases for LLM Personalization [32.29307367283854]
  本稿では,各ユーザの嗜好を共有嗜好空間における変分分布として表現する不確実性を考慮したフレームワークである,変分因数分解(VRF)を紹介する。 VRFは、変動エンコーダを介してユーザ分布を推測し、ワッサーシュタイン距離と共有確率ベースとの一致による重みを導出し、分散減衰損失による不確実な推定を導出する。
  論文  参考訳（メタデータ） (2026-04-01T14:58:51Z)
• Client-Cooperative Split Learning [22.47753142358317]
  Split Learning (SL)は、プライバシ制約の下でトレーニング計算をオフロードすることで、サービスを可能にする。 CliCooperは、協調モデルトレーニングサービスに適した多サイクル協調型SLフレームワークである。 CliCooperは2つの新しいデザインを通じて、プライバシーと信頼のギャップを埋める。
  論文  参考訳（メタデータ） (2026-03-09T14:17:26Z)
• Classification Under Local Differential Privacy with Model Reversal and Model Averaging [5.178896452202825]
  ローカルディファレンシャルプライバシ(LDP)は、データプライバシ研究において中心的なトピックとなっている。 プライバシーを損なうことなく分類性能を向上させるために, LDP に特化して設計された新しい手法を提案する。 シミュレーションと実世界の両方のデータセットの実証結果は、分類精度を大幅に改善したことを示している。
  論文  参考訳（メタデータ） (2026-02-05T15:52:34Z)
• FewFedPIT: Towards Privacy-preserving and Few-shot Federated Instruction Tuning [54.26614091429253]
  フェデレーション・インストラクション・チューニング(FedIT)は、複数のデータ所有者間で協調的なトレーニングを統合することで、有望なソリューションである。 FedITは、インストラクショナルデータの不足や、トレーニングデータ抽出攻撃への露出リスクなどの制限に直面している。 本稿では,FewFedPITを提案する。このFewFedPITは,フェデレートされた数ショット学習のプライバシー保護とモデル性能を同時に向上する。
  論文  参考訳（メタデータ） (2024-03-10T08:41:22Z)
• Client-specific Property Inference against Secure Aggregation in Federated Learning [52.8564467292226]
  フェデレートラーニングは、さまざまな参加者の間で共通のモデルを協調的に訓練するための、広く使われているパラダイムとなっている。 多くの攻撃は、メンバーシップ、資産、または参加者データの完全な再構築のような機密情報を推測することは依然として可能であることを示した。 単純な線形モデルでは、集約されたモデル更新からクライアント固有のプロパティを効果的にキャプチャできることが示される。
  論文  参考訳（メタデータ） (2023-03-07T14:11:01Z)
• CrowdGuard: Federated Backdoor Detection in Federated Learning [39.58317527488534]
  本稿では,フェデレートラーニングにおけるバックドア攻撃を効果的に軽減する新しい防御機構であるCrowdGuardを提案する。 CrowdGuardでは、サーバロケーションのスタック化されたクラスタリングスキームを使用して、クライアントからのフィードバックに対するレジリエンスを高めている。 評価結果は、CrowdGuardがさまざまなシナリオで100%正の正の正の正の負の負の負の値を達成することを示す。
  論文  参考訳（メタデータ） (2022-10-14T11:27:49Z)
• Privacy-Preserving Federated Learning on Partitioned Attributes [6.661716208346423]
  フェデレーション学習は、ローカルデータやモデルを公開することなく、協調的なトレーニングを促進する。 ローカルモデルをチューニングし、プライバシー保護された中間表現をリリースする逆学習ベースの手順を紹介します。 精度低下を緩和するために,前方後方分割アルゴリズムに基づく防御法を提案する。
  論文  参考訳（メタデータ） (2021-04-29T14:49:14Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)
• Personalized Federated Learning: A Meta-Learning Approach [28.281166755509886]
  フェデレートラーニング(Federated Learning)では、複数のコンピューティングユニット(ユーザ)にまたがるモデルをトレーニングすることを目的としています。 本稿では,現在あるいは新規利用者が自身のデータに対して1段階ないし数段階の勾配降下を実行することで,ローカルデータセットに容易に適応できるような,初歩的な共有モデルを見つけることを目標とする,フェデレーション学習のパーソナライズされたバリエーションについて検討する。
  論文  参考訳（メタデータ） (2020-02-19T01:08:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。