論文の概要: MAPLE: Metadata Augmented Private Language Evolution

• arxiv url: http://arxiv.org/abs/2603.19258v1
• Date: Thu, 26 Feb 2026 14:18:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-06 02:36:12.793111
• Title: MAPLE: Metadata Augmented Private Language Evolution
• Title（参考訳）: MAPLE: メタデータ強化されたプライベート言語進化
• Authors: Eli Chien, Yuzheng Hu, Ryan McKenna, Shanshan Wu, Zheng Xu, Peter Kairouz,
• Abstract要約: 対象領域における初期合成分布の基盤となるメタデータ拡張プライベート言語進化(MAPLE)を提案する。 MAPLEは、プライバシーとユーティリティのトレードオフを著しく改善し、より早く収束し、従来のPEメソッドに比べてAPIコストを大幅に削減します。
• 参考スコア（独自算出の注目度）: 31.885554778844867
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While differentially private (DP) fine-tuning of large language models (LLMs) is a powerful tool, it is often computationally prohibitive or infeasible when state-of-the-art models are only accessible via proprietary APIs. In such settings, generating DP synthetic data has emerged as a crucial alternative, offering the added benefits of arbitrary reuse across downstream tasks and transparent exploratory data analysis without the opaque constraints of a model's parameter space. Private Evolution (PE) is a promising API-based framework for this goal; however, its performance critically depends on initialization. When the private data distribution deviates substantially from the foundation model's pre-training priors--particularly in highly specialized domains--PE frequently struggles to align with the target data, resulting in degraded utility, poor convergence, and inefficient API usage. To address this initialization bottleneck, we propose Metadata Augmented Private Language Evolution (MAPLE). MAPLE leverages differentially private tabular metadata extraction and in-context learning to effectively ground the initial synthetic distribution in the target domain. Extensive experiments on challenging, domain-specific text generation tasks demonstrate that MAPLE achieves a significantly more favorable privacy-utility trade-off, converges faster, and drastically reduces API costs compared to previous PE methods.
• Abstract（参考訳）: 大規模言語モデル(LLM)の微分プライベート(DP)微調整は強力なツールであるが、最先端のモデルがプロプライエタリなAPIを通じてのみアクセス可能である場合、しばしば計算的に禁止される。 このような設定では、DP合成データの生成が重要な代替手段として現れ、ダウンストリームタスク間の任意の再利用の利点と、モデルのパラメータ空間の不透明な制約を伴わずに透明な探索データ分析を提供する。 Private Evolution(PE)は、この目標のための有望なAPIベースのフレームワークであるが、そのパフォーマンスは初期化に依存している。 特に高度に専門化されたドメインでは、プライベートなデータ配信がファンデーションモデルの事前学習先から大きく逸脱する場合、PEはターゲットデータとの整合に苦慮し、劣化したユーティリティ、収束性の低さ、API使用率の低下を招きかねない。 この初期化ボトルネックに対処するため,メタデータ拡張プライベート言語進化(MAPLE)を提案する。 MAPLEは、微分プライベートな表形式のメタデータ抽出とコンテキスト内学習を活用して、ターゲット領域における初期合成分布を効果的に構築する。 挑戦的でドメイン固有のテキスト生成タスクに関する大規模な実験は、MAPLEがより好ましいプライバシユーティリティトレードオフを実現し、より早く収束し、従来のPEメソッドと比較してAPIコストを大幅に削減することを示した。

関連論文リスト

• EPSVec: Efficient and Private Synthetic Data Generation via Dataset Vectors [28.30281053018808]
  既存のプライベートテキスト生成手法の軽量な代替手段であるEPSVecを紹介する。 EPSVec は、プライベートデータと公開前の分散ギャップをキャプチャするアクティベーション空間における *dataset vectors*-direction を使用して、EPSVec のステアリングを行う。 実験の結果,EPSVecは分布アライメントおよび下流ユーティリティにおいて,既存のベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2026-01-31T00:04:08Z)
• Improving Noise Efficiency in Privacy-preserving Dataset Distillation [59.57846442477106]
  本稿では,最適化からサンプリングを分離してコンバージェンスを向上し,信号品質を向上させる新しいフレームワークを提案する。 CIFAR-10では,従来の最先端手法の蒸留セットサイズを5分の1に減らして,クラス毎50イメージでtextbf10.0%,クラス毎50イメージで textbf8.3%向上した。
  論文  参考訳（メタデータ） (2025-08-03T13:15:52Z)
• Improved Supervised Fine-Tuning for Large Language Models to Mitigate Catastrophic Forgetting [1.5595148909011116]
  Supervised Fine-Tuning (SFT) は、Large Language Models (LLM) の命令追従能力を高めるための重要なステップである。 SFTはしばしば、破滅的忘れという現象として、モデルの一般的な能力の低下につながる。 本稿では,従来のSFTデータへのアクセスを必要とせずに,破滅的な忘れを効果的に軽減する,新しい費用対効果のSFT手法を提案する。
  論文  参考訳（メタデータ） (2025-06-11T06:23:50Z)
• PCEvolve: Private Contrastive Evolution for Synthetic Dataset Generation via Few-Shot Private Data and Generative APIs [39.108700932535754]
  プライベート進化(PE)アルゴリズムは拡散モデルAPIを用いて差分プライバシー(DP)合成画像を生成する。 実際には、医療や業界といった専門分野では、ごくわずかのプライベートデータの問題が特に多い。 提案手法は,複数ショットのプライベートデータにおいて,クラス間のコントラスト関係を反復的にマイニングする,新しいAPI支援アルゴリズムであるPrivate Contrastive Evolution (PCEvolve)を提案する。
  論文  参考訳（メタデータ） (2025-06-04T13:33:06Z)
• Personalized Language Models via Privacy-Preserving Evolutionary Model Merging [53.97323896430374]
  言語モデルにおけるパーソナライゼーションは、個々のユーザやユーザグループに対する振る舞いをモデル化することを目的としている。 進化的アルゴリズム(PriME)によるプライバシ保護モデルマージを提案する。 PriMEは、プライバシーリスクを低減しつつ、ユーティリティを直接最適化するために、勾配のない方法を採用している。 LaMPベンチマークの実験によると、Primeは一貫してベースラインを上回り、タスクパフォーマンスを最大45%改善している。
  論文  参考訳（メタデータ） (2025-03-23T09:46:07Z)
• Efficient and Private: Memorisation under differentially private parameter-efficient fine-tuning in language models [2.3281513013731145]
  特定のタスクのための微調整された大型言語モデル(LLM)は、不注意に記憶し、センシティブなトレーニングデータを漏洩する可能性があるため、プライバシのリスクをもたらす。 差分プライバシー(DP)は、これらのリスクを軽減するソリューションを提供するが、重大な計算とパフォーマンスのトレードオフをもたらす。 PEFT法は,パラメータを少なくし,プライバシリークを著しく低減しつつ,標準的な微調整に匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2024-11-24T13:17:36Z)
• Privacy-preserving datasets by capturing feature distributions with Conditional VAEs [0.11999555634662634]
  条件付き変分オートエンコーダ(CVAE)は、大きな事前学習された視覚基盤モデルから抽出された特徴ベクトルに基づいて訓練される。 本手法は, 医用領域と自然画像領域の両方において, 従来のアプローチよりも優れている。 結果は、データスカースおよびプライバシに敏感な環境におけるディープラーニングアプリケーションに大きな影響を与える生成モデルの可能性を強調している。
  論文  参考訳（メタデータ） (2024-08-01T15:26:24Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• Just Fine-tune Twice: Selective Differential Privacy for Large Language Models [69.66654761324702]
  本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。 実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
  論文  参考訳（メタデータ） (2022-04-15T22:36:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。