論文の概要: Dual-Priv Pruning : Efficient Differential Private Fine-Tuning in Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2506.07077v1
• Date: Sun, 08 Jun 2025 10:33:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.661325
• Title: Dual-Priv Pruning : Efficient Differential Private Fine-Tuning in Multimodal Large Language Models
• Title（参考訳）: Dual-Priv プルーニング : 多モーダル大言語モデルにおける高効率差分プライベート・ファインチューニング
• Authors: Qianshan Wei, Jiaqi Li, Zihan You, Yi Zhan, Kecen Li, Jialin Wu, Xinfeng Li Hengjun Liu, Yi Yu, Bin Cao, Yiwen Xu, Yang Liu, Guilin Qi,
• Abstract要約: MLLMにおける微分プライバシ(DP)微調整のための2つの補完的プルーニング機構を用いたフレームワークを提案する。 我々のアプローチは、標準のDP-SGDよりも少ないメモリを一貫して活用する。 我々の知る限りでは、我々はMLLMにおけるDPファインチューニングを初めて探求している。
• 参考スコア（独自算出の注目度）: 21.598534853947676
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Differential Privacy (DP) is a widely adopted technique, valued for its effectiveness in protecting the privacy of task-specific datasets, making it a critical tool for large language models. However, its effectiveness in Multimodal Large Language Models (MLLMs) remains uncertain. Applying Differential Privacy (DP) inherently introduces substantial computation overhead, a concern particularly relevant for MLLMs which process extensive textual and visual data. Furthermore, a critical challenge of DP is that the injected noise, necessary for privacy, scales with parameter dimensionality, leading to pronounced model degradation; This trade-off between privacy and utility complicates the application of Differential Privacy (DP) to complex architectures like MLLMs. To address these, we propose Dual-Priv Pruning, a framework that employs two complementary pruning mechanisms for DP fine-tuning in MLLMs: (i) visual token pruning to reduce input dimensionality by removing redundant visual information, and (ii) gradient-update pruning during the DP optimization process. This second mechanism selectively prunes parameter updates based on the magnitude of noisy gradients, aiming to mitigate noise impact and improve utility. Experiments demonstrate that our approach achieves competitive results with minimal performance degradation. In terms of computational efficiency, our approach consistently utilizes less memory than standard DP-SGD. While requiring only 1.74% more memory than zeroth-order methods which suffer from severe performance issues on A100 GPUs, our method demonstrates leading memory efficiency on H20 GPUs. To the best of our knowledge, we are the first to explore DP fine-tuning in MLLMs. Our code is coming soon.
• Abstract（参考訳）: 微分プライバシ(DP)は広く採用されているテクニックであり、タスク固有のデータセットのプライバシ保護の有効性から評価されており、大きな言語モデルにとって重要なツールである。 しかし、MLLM(Multimodal Large Language Models)における有効性は未だ不明である。 微分プライバシ(DP)の適用は本質的に、大規模なテキストおよび視覚データを処理するMLLMに特に関係のある計算オーバーヘッドをもたらす。 プライバシーとユーティリティのトレードオフは、MLLMのような複雑なアーキテクチャへの差分プライバシー(DP)の適用を複雑にする。 MLLMにおけるDPファインチューニングに2つの補完的プルーニング機構を利用するフレームワークであるDual-Priv Pruningを提案する。 一 余分な視覚情報を取り除き、入力寸法を減少させる視覚的トークンプルーニング (II)DP最適化過程における勾配更新プルーニング この第2のメカニズムは、ノイズの影響を緩和し、実用性を向上させることを目的として、ノイズ勾配のマグニチュードに基づいてパラメータ更新を選択的に引き起こす。 実験により,本手法は性能劣化を最小限に抑え,競争力のある結果が得られることが示された。 計算効率の面では,従来のDP-SGDよりも少ないメモリを一貫して利用している。 A100 GPUの厳しい性能問題に悩まされるゼロオーダー法よりも1.74%多くのメモリを必要とするが、本手法はH20 GPUのメモリ効率をリードすることを示す。 我々の知る限りでは、我々はMLLMにおけるDPファインチューニングを初めて探求している。 私たちのコードはもうすぐ来る。

関連論文リスト

• COSMOS: A Hybrid Adaptive Optimizer for Memory-Efficient Training of LLMs [81.01082659623552]
  大規模言語モデル(LLM)は、様々な領域で顕著な成功を収めている。 それらの最適化は、彼らが居住している複雑で高次元のロスランドスケープのために重要な課題である。
  論文  参考訳（メタデータ） (2025-02-24T18:42:19Z)
• Boosting Private Domain Understanding of Efficient MLLMs: A Tuning-free, Adaptive, Universal Prompt Optimization Framework [60.26747209785186]
  マルチモーダル大言語モデル(EMLLM)は、モデルのサイズと計算コストを削減し、しばしばリソース制約されたデバイスにデプロイされる。 既存のオープンソースLMは、事前トレーニングプロセス中にプライベートドメイン固有のデータにアクセスすることは滅多にない。 我々は,universtextbfunderlineAL textbfunderlinePrompt Optimization Framework, atextbfunderlineDaptivtextbfunderlineE, universtextbfunderlineAL textbfunderlinePrompt Optimization Frameworkを提案する。
  論文  参考訳（メタデータ） (2024-12-27T15:21:17Z)
• MOFHEI: Model Optimizing Framework for Fast and Efficient Homomorphically Encrypted Neural Network Inference [0.8388591755871735]
  ホモモルフィック暗号化(HE)により、暗号化データ上で機械学習タスクを実行できる。 HEに基づくニューラルネットワーク推論を高速かつ効率的にするためのモデルを最適化するフレームワークであるMOFHEIを提案する。 このフレームワークはLeNet上で最大98%のプルーニング比を実現し,PI実行に必要なHE操作の最大93%を排除した。
  論文  参考訳（メタデータ） (2024-12-10T22:44:54Z)
• Efficient and Private: Memorisation under differentially private parameter-efficient fine-tuning in language models [2.3281513013731145]
  特定のタスクのための微調整された大型言語モデル(LLM)は、不注意に記憶し、センシティブなトレーニングデータを漏洩する可能性があるため、プライバシのリスクをもたらす。 差分プライバシー(DP)は、これらのリスクを軽減するソリューションを提供するが、重大な計算とパフォーマンスのトレードオフをもたらす。 PEFT法は,パラメータを少なくし,プライバシリークを著しく低減しつつ,標準的な微調整に匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2024-11-24T13:17:36Z)
• Progressive Mixed-Precision Decoding for Efficient LLM Inference [49.05448842542558]
  我々は,デコーディングのメモリバウンドネスに対処するために,プログレッシブ・ミックス・プレシジョン・デコーディング(PMPD)を導入する。 PMPDはfp16モデルの行列ベクトル乗算において1.4$-$12.2$times$ Speedupを達成する。 我々の手法は、fp16モデルよりも3.8$-$8.0$times$、均一量子化アプローチよりも1.54$times$のスループット向上をもたらす。
  論文  参考訳（メタデータ） (2024-10-17T11:46:33Z)
• DiSK: Differentially Private Optimizer with Simplified Kalman Filter for Noise Reduction [57.83978915843095]
  本稿では,微分プライベート勾配の性能を著しく向上する新しいフレームワークであるDiSKを紹介する。 大規模トレーニングの実用性を確保するため,Kalmanフィルタプロセスを簡素化し,メモリと計算要求を最小化する。
  論文  参考訳（メタデータ） (2024-10-04T19:30:39Z)
• Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
  大規模言語モデルを用いた最適化に基づく構造解析手法を提案する。 我々は,プルーニングモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する。 A100 GPUで13Bモデルに対して約35GBのメモリで2.7時間動作させる。
  論文  参考訳（メタデータ） (2024-06-15T09:31:03Z)
• Differentially Private Zeroth-Order Methods for Scalable Large Language Model Finetuning [0.0]
  プリトレーニング済みLLMのDP微調整は、タスク固有のデータセットのプライバシ保護に広く用いられている。 DP-SGDのスケーラビリティを限界まで押し上げたにもかかわらず、DP-SGDベースの微調整法は残念ながらSGD固有の非効率性によって制限されている。
  論文  参考訳（メタデータ） (2024-02-12T17:24:15Z)
• Private Fine-tuning of Large Language Models with Zeroth-order Optimization [51.19403058739522]
  差分的プライベート勾配降下(DP-SGD)により、モデルはプライバシ保護の方法でトレーニングできる。 DP-ZO(DP-ZO)は,ゼロオーダー最適化手法を民営化することで,大規模言語モデルのためのプライベートな微調整フレームワークである。
  論文  参考訳（メタデータ） (2024-01-09T03:53:59Z)
• DPZero: Private Fine-Tuning of Language Models without Backpropagation [49.365749361283704]
  DPZeroは、ほぼ次元に依存しない新しいゼロオーダーアルゴリズムである。 DPZeroのメモリ効率は、いくつかの下流タスクでプライベートに微調整されたRoBERTaとOPTで実証される。
  論文  参考訳（メタデータ） (2023-10-14T18:42:56Z)
• Multi-Epoch Matrix Factorization Mechanisms for Private Machine Learning [18.55306294638515]
  本稿では,複数のパス(エポック)をデータセット上に配置した計算ベース機械学習(ML)のための新たなDP機構を提案する。 適応ストリームに複数参加するDP機構の問題を形式化し、オンライン行列分解DP機構の非自明な拡張を導入する。
  論文  参考訳（メタデータ） (2022-11-12T00:41:11Z)
• Differentially Private Bias-Term Fine-tuning of Foundation Models [36.55810474925956]
  本研究では,大規模事前学習モデルにおける差分プライベート(DP)微調整の問題について検討する。 本稿では,DPアルゴリズムの最先端精度と標準BiTFiTの効率とを一致させるDP-BiTFiTを提案する。 幅広いタスクにおいて、DP-BiTFiTは230倍高速で、完全な微調整よりも28倍少ないメモリを使用する。
  論文  参考訳（メタデータ） (2022-09-30T18:30:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。