論文の概要: Parameter-Efficient Fine-Tuning with Differential Privacy for Robust Instruction Adaptation in Large Language Models

• arxiv url: http://arxiv.org/abs/2512.06711v1
• Date: Sun, 07 Dec 2025 08:01:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-09 22:03:54.483061
• Title: Parameter-Efficient Fine-Tuning with Differential Privacy for Robust Instruction Adaptation in Large Language Models
• Title（参考訳）: 大規模言語モデルにおけるロバスト命令適応のための差分プライバシ付きパラメータ効率の良い微調整
• Authors: Yulin Huang, Yaxuan Luan, Jinxu Guo, Xiangchen Song, Yuchen Liu,
• Abstract要約: 本研究では,大規模言語モデルの微調整におけるプライバシ保護と効率性の問題に対処する。 協調最適化フレームワークにおいて、差分プライバシノイズアロケーションと勾配クリッピングを統合したパラメータ効率の手法を提案する。 本手法は, 精度, プライバシ予算, パラメータ効率においてベースラインモデルを上回る性能を示し, 多様な不確実なデータ条件下での安定した性能を維持する。
• 参考スコア（独自算出の注目度）: 11.071281023081582
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This study addresses the issues of privacy protection and efficiency in instruction fine-tuning of large-scale language models by proposing a parameter-efficient method that integrates differential privacy noise allocation with gradient clipping in a collaborative optimization framework. The method keeps the backbone model frozen and updates parameters through a low-dimensional projection subspace, while introducing clipping and adaptive noise allocation during gradient computation. This design reduces privacy budget consumption and ensures training stability and robustness. The unified framework combines gradient constraints, noise allocation, and parameter projection, effectively mitigating performance fluctuations and privacy risks in multi-task instruction scenarios. Experiments are conducted across hyperparameter, environment, and data sensitivity dimensions. Results show that the method outperforms baseline models in accuracy, privacy budget, and parameter efficiency, and maintains stable performance under diverse and uncertain data conditions. The findings enrich the theoretical integration of differential privacy and parameter-efficient fine-tuning and demonstrate its practical adaptability in instruction tasks, providing a feasible solution for secure training in complex instruction environments.
• Abstract（参考訳）: 本研究では,大規模言語モデルの微調整におけるプライバシ保護と効率性の問題に対処し,協調最適化フレームワークにおける差分プライバシノイズアロケーションと勾配クリッピングを統合したパラメータ効率の手法を提案する。 この手法は,低次元射影部分空間を通じて,バックボーンモデルを凍結し,パラメータを更新すると共に,勾配計算中にクリッピングと適応ノイズアロケーションを導入する。 この設計は、プライバシー予算の消費を減らし、トレーニングの安定性と堅牢性を確保する。 この統合フレームワークは、勾配制約、ノイズアロケーション、パラメータプロジェクションを組み合わせて、マルチタスク命令シナリオにおけるパフォーマンス変動とプライバシリスクを効果的に軽減する。 実験はハイパーパラメータ、環境、データ感度の次元にわたって行われる。 本手法は, 精度, プライバシ予算, パラメータ効率においてベースラインモデルを上回る性能を示し, 多様な不確実なデータ条件下での安定した性能を維持する。 この結果は、差分プライバシーとパラメータ効率の微調整の理論的統合を豊かにし、複雑な指導環境において安全な訓練を行うための実現可能なソリューションを提供する。

関連論文リスト

• Fints: Efficient Inference-Time Personalization for LLMs with Fine-Grained Instance-Tailored Steering [49.212940215720884]
  本稿では,ユーザデータからサンプルレベルの干渉を生成し,モデルの前方通過に注入してパーソナライズするステアリングフレームワークを提案する。 本手法は,対話モードやコンテキスト長の異なる環境において,ロバスト性を保ちながら,高速シフト環境におけるパーソナライズ性能を著しく向上させる。
  論文  参考訳（メタデータ） (2025-10-31T06:01:04Z)
• Contrastive Knowledge Transfer and Robust Optimization for Secure Alignment of Large Language Models [9.353236468990945]
  本稿では,安全アライメントとロバストネスにおける大規模言語モデルの限界に対処する。 コントラスト蒸留とノイズロバストトレーニングを組み合わせた微調整法を提案する。 その結果,本手法は知識伝達,堅牢性,全体的な安全性において,既存のベースラインを著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2025-10-31T00:54:33Z)
• ADP-VRSGP: Decentralized Learning with Adaptive Differential Privacy via Variance-Reduced Stochastic Gradient Push [24.62800551742178]
  本稿では分散誘導勾配プッシュによる適応微分プライバシーを用いた分散学習という新しい手法を提案する。 この方法は、段階的に遅延するスケジュールを用いて、ノイズ分散と学習率の両方を動的に調整する。 ADP-VRSGPは、適切な学習速度で堅牢な収束を実現し、トレーニングの安定性と速度を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2025-10-23T03:14:59Z)
• Privacy without Noisy Gradients: Slicing Mechanism for Generative Model Training [10.229653770070202]
  差分プライバシ(DP)を持つ生成モデルを訓練するには、通常、勾配更新にノイズを注入するか、判別器の訓練手順を適用する必要がある。 プライベートデータのランダムな低次元投影にノイズを注入するスライシングプライバシ機構について考察する。 本稿では,この分散性を考慮したカーネルベース推定器を提案し,対角訓練の必要性を回避した。
  論文  参考訳（メタデータ） (2024-10-25T19:32:58Z)
• Fine-Tuning Language Models with Differential Privacy through Adaptive Noise Allocation [33.795122935686706]
  本稿では,モデルパラメータの重要性に基づいて適応的に付加雑音を割り当てる新しいアルゴリズムANADPを提案する。 ANADPは,一連のデータセットにおいて,通常の微調整と従来のDP微調整のパフォーマンスギャップを狭めることを実証する。
  論文  参考訳（メタデータ） (2024-10-03T19:02:50Z)
• Theoretically Principled Federated Learning for Balancing Privacy and Utility [61.03993520243198]
  モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。 フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
  論文  参考訳（メタデータ） (2023-05-24T13:44:02Z)
• Improve Noise Tolerance of Robust Loss via Noise-Awareness [60.34670515595074]
  本稿では,NARL-Adjuster(NARL-Adjuster for brevity)と呼ばれる,ハイパーパラメータ予測関数を適応的に学習するメタラーニング手法を提案する。 4つのSOTAロバストな損失関数を我々のアルゴリズムに統合し,提案手法の一般性および性能をノイズ耐性と性能の両面で検証した。
  論文  参考訳（メタデータ） (2023-01-18T04:54:58Z)
• Adaptive Differentially Private Empirical Risk Minimization [95.04948014513226]
  本稿では,適応的(確率的)勾配摂動法を提案する。 ADP法は,バニラランダムノイズを付加した標準微分プライベート法と比較して,実用性保証を大幅に改善することを示す。
  論文  参考訳（メタデータ） (2021-10-14T15:02:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。