論文の概要: Dual-Priv Pruning : Efficient Differential Private Fine-Tuning in Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2506.07077v1
• Date: Sun, 08 Jun 2025 10:33:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.661325
• Title: Dual-Priv Pruning : Efficient Differential Private Fine-Tuning in Multimodal Large Language Models
• Title（参考訳）: Dual-Priv プルーニング : 多モーダル大言語モデルにおける高効率差分プライベート・ファインチューニング
• Authors: Qianshan Wei, Jiaqi Li, Zihan You, Yi Zhan, Kecen Li, Jialin Wu, Xinfeng Li Hengjun Liu, Yi Yu, Bin Cao, Yiwen Xu, Yang Liu, Guilin Qi,
• Abstract要約: MLLMにおける微分プライバシ(DP)微調整のための2つの補完的プルーニング機構を用いたフレームワークを提案する。 我々のアプローチは、標準のDP-SGDよりも少ないメモリを一貫して活用する。 我々の知る限りでは、我々はMLLMにおけるDPファインチューニングを初めて探求している。
• 参考スコア（独自算出の注目度）: 21.598534853947676
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Differential Privacy (DP) is a widely adopted technique, valued for its effectiveness in protecting the privacy of task-specific datasets, making it a critical tool for large language models. However, its effectiveness in Multimodal Large Language Models (MLLMs) remains uncertain. Applying Differential Privacy (DP) inherently introduces substantial computation overhead, a concern particularly relevant for MLLMs which process extensive textual and visual data. Furthermore, a critical challenge of DP is that the injected noise, necessary for privacy, scales with parameter dimensionality, leading to pronounced model degradation; This trade-off between privacy and utility complicates the application of Differential Privacy (DP) to complex architectures like MLLMs. To address these, we propose Dual-Priv Pruning, a framework that employs two complementary pruning mechanisms for DP fine-tuning in MLLMs: (i) visual token pruning to reduce input dimensionality by removing redundant visual information, and (ii) gradient-update pruning during the DP optimization process. This second mechanism selectively prunes parameter updates based on the magnitude of noisy gradients, aiming to mitigate noise impact and improve utility. Experiments demonstrate that our approach achieves competitive results with minimal performance degradation. In terms of computational efficiency, our approach consistently utilizes less memory than standard DP-SGD. While requiring only 1.74% more memory than zeroth-order methods which suffer from severe performance issues on A100 GPUs, our method demonstrates leading memory efficiency on H20 GPUs. To the best of our knowledge, we are the first to explore DP fine-tuning in MLLMs. Our code is coming soon.
• Abstract（参考訳）: 微分プライバシ(DP)は広く採用されているテクニックであり、タスク固有のデータセットのプライバシ保護の有効性から評価されており、大きな言語モデルにとって重要なツールである。 しかし、MLLM(Multimodal Large Language Models)における有効性は未だ不明である。 微分プライバシ(DP)の適用は本質的に、大規模なテキストおよび視覚データを処理するMLLMに特に関係のある計算オーバーヘッドをもたらす。 プライバシーとユーティリティのトレードオフは、MLLMのような複雑なアーキテクチャへの差分プライバシー(DP)の適用を複雑にする。 MLLMにおけるDPファインチューニングに2つの補完的プルーニング機構を利用するフレームワークであるDual-Priv Pruningを提案する。 一 余分な視覚情報を取り除き、入力寸法を減少させる視覚的トークンプルーニング (II)DP最適化過程における勾配更新プルーニング この第2のメカニズムは、ノイズの影響を緩和し、実用性を向上させることを目的として、ノイズ勾配のマグニチュードに基づいてパラメータ更新を選択的に引き起こす。 実験により,本手法は性能劣化を最小限に抑え,競争力のある結果が得られることが示された。 計算効率の面では,従来のDP-SGDよりも少ないメモリを一貫して利用している。 A100 GPUの厳しい性能問題に悩まされるゼロオーダー法よりも1.74%多くのメモリを必要とするが、本手法はH20 GPUのメモリ効率をリードすることを示す。 我々の知る限りでは、我々はMLLMにおけるDPファインチューニングを初めて探求している。 私たちのコードはもうすぐ来る。

関連論文リスト

• MOFHEI: Model Optimizing Framework for Fast and Efficient Homomorphically Encrypted Neural Network Inference [0.8388591755871735]
  ホモモルフィック暗号化(HE)により、暗号化データ上で機械学習タスクを実行できる。 HEに基づくニューラルネットワーク推論を高速かつ効率的にするためのモデルを最適化するフレームワークであるMOFHEIを提案する。 このフレームワークはLeNet上で最大98%のプルーニング比を実現し,PI実行に必要なHE操作の最大93%を排除した。
  論文  参考訳（メタデータ） (2024-12-10T22:44:54Z)
• DiSK: Differentially Private Optimizer with Simplified Kalman Filter for Noise Reduction [57.83978915843095]
  本稿では,微分プライベート勾配の性能を著しく向上する新しいフレームワークであるDiSKを紹介する。 大規模トレーニングの実用性を確保するため,Kalmanフィルタプロセスを簡素化し,メモリと計算要求を最小化する。
  論文  参考訳（メタデータ） (2024-10-04T19:30:39Z)
• Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
  大規模言語モデルを用いた最適化に基づく構造解析手法を提案する。 我々は,プルーニングモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する。 A100 GPUで13Bモデルに対して約35GBのメモリで2.7時間動作させる。
  論文  参考訳（メタデータ） (2024-06-15T09:31:03Z)
• Differentially Private Zeroth-Order Methods for Scalable Large Language Model Finetuning [0.0]
  プリトレーニング済みLLMのDP微調整は、タスク固有のデータセットのプライバシ保護に広く用いられている。 DP-SGDのスケーラビリティを限界まで押し上げたにもかかわらず、DP-SGDベースの微調整法は残念ながらSGD固有の非効率性によって制限されている。
  論文  参考訳（メタデータ） (2024-02-12T17:24:15Z)
• Private Fine-tuning of Large Language Models with Zeroth-order Optimization [51.19403058739522]
  差分的プライベート勾配降下(DP-SGD)により、モデルはプライバシ保護の方法でトレーニングできる。 DP-ZO(DP-ZO)は,ゼロオーダー最適化手法を民営化することで,大規模言語モデルのためのプライベートな微調整フレームワークである。
  論文  参考訳（メタデータ） (2024-01-09T03:53:59Z)
• DPZero: Private Fine-Tuning of Language Models without Backpropagation [49.365749361283704]
  DPZeroは、ほぼ次元に依存しない新しいゼロオーダーアルゴリズムである。 DPZeroのメモリ効率は、いくつかの下流タスクでプライベートに微調整されたRoBERTaとOPTで実証される。
  論文  参考訳（メタデータ） (2023-10-14T18:42:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。