論文の概要: Is Weight Tying Still Beneficial for Decoder-Only LLMs in Private Settings Under DP-SGD?

• arxiv url: http://arxiv.org/abs/2609.40335v1
• Date: Wed, 30 Sep 2026 17:57:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:28.344346
• Title: Is Weight Tying Still Beneficial for Decoder-Only LLMs in Private Settings Under DP-SGD?
• Title（参考訳）: DP-SGD下のプライベートセッティングにおけるデコーダ専用LDMの軽量タイリングは依然として有効か?
• Abstract要約: Differentially Private Gradient Descent (DP-SGD)は、大規模言語モデル(LLM)のプライバシー保護のための主要なアプローチである。 GPT2とDistilGPT2を代表デコーダのみのアーキテクチャとして用いたDP設定における重み付けの役割について検討する。 DP-SGD 下では, アンタイド埋め込みは一貫して重み付けモデルより優れていた。
• 参考スコア（独自算出の注目度）: 4.783156204372466
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Differentially Private Stochastic Gradient Descent (DP-SGD) is a leading approach for privacy-preserving fine-tuning of large language models (LLMs). Many decoder-only LLMs employ weight tying between input and output embeddings, a design choice originally introduced for parameter efficiency and improved language modeling performance in the non-private setting. However, the impact of weight tying under differentially private training remains largely unexplored. In this work, we investigate the role of weight tying in the DP setting using GPT2 and DistilGPT2 as representative decoder-only architectures. Interestingly, we find that untied embeddings consistently outperform weight-tied models under DP-SGD, achieving gains of up to 4.74% points in accuracy on SST-2, QNLI, and QQP. Beyond improved utility, untying embeddings enables the use of memory-efficient ghost clipping for DP-SGD. By contrast, weight tying introduces shared-parameter interactions that complicate standard ghost norm computation and largely negate its computational advantages. As a result, untied models achieve over 60% lower memory usage while preserving the benefits of ghost clipping. Our results indicate that untied embeddings provide a more effective and scalable design for differentially private training of decoder-only LLMs and highlight the need to revisit standard LLM architectural choices in the privacy-preserving setting.
• Abstract（参考訳）: Differentially Private Stochastic Gradient Descent (DP-SGD)は、大規模言語モデル(LLM)のプライバシー保護のための主要なアプローチである。 多くのデコーダのみのLLMでは、入力と出力の埋め込みの間の重み付けが採用されている。 しかし, 個人訓練における重み付けの影響は未解明のままである。 本稿では, GPT2 と DistilGPT2 を代表デコーダのみのアーキテクチャとして用いたDP 設定における重み付けの役割について検討する。 SST-2, QNLI, QQPの精度は最大4.74%向上した。 ユーティリティの改善に加えて、アンタイディングはDP-SGDのメモリ効率の良いゴーストクリッピングを可能にする。 対照的に、ウェイトタイリングは標準ゴーストノルム計算を複雑にし、その計算上の利点をほとんど否定する共有パラメータ相互作用を導入している。 その結果、未処理モデルはゴーストクリッピングの利点を保ちながら、60%以上のメモリ使用量の削減を実現している。 以上の結果から,デコーダのみのLLM学習において,非階層型埋め込みの方がより効率的かつスケーラブルな設計が可能であり,プライバシ保護環境における標準LLMアーキテクチャ選択の再検討の必要性が示唆された。

関連論文リスト

• Dual-Priv Pruning : Efficient Differential Private Fine-Tuning in Multimodal Large Language Models [21.598534853947676]
  MLLMにおける微分プライバシ(DP)微調整のための2つの補完的プルーニング機構を用いたフレームワークを提案する。 我々のアプローチは、標準のDP-SGDよりも少ないメモリを一貫して活用する。 我々の知る限りでは、我々はMLLMにおけるDPファインチューニングを初めて探求している。
  論文  参考訳（メタデータ） (2025-06-08T10:33:01Z)
• DiSK: Differentially Private Optimizer with Simplified Kalman Filter for Noise Reduction [57.83978915843095]
  本稿では,微分プライベート勾配の性能を著しく向上する新しいフレームワークであるDiSKを紹介する。 大規模トレーニングの実用性を確保するため,Kalmanフィルタプロセスを簡素化し,メモリと計算要求を最小化する。
  論文  参考訳（メタデータ） (2024-10-04T19:30:39Z)
• Differentially Private Zeroth-Order Methods for Scalable Large Language Model Finetuning [0.0]
  プリトレーニング済みLLMのDP微調整は、タスク固有のデータセットのプライバシ保護に広く用いられている。 DP-SGDのスケーラビリティを限界まで押し上げたにもかかわらず、DP-SGDベースの微調整法は残念ながらSGD固有の非効率性によって制限されている。
  論文  参考訳（メタデータ） (2024-02-12T17:24:15Z)
• Private Fine-tuning of Large Language Models with Zeroth-order Optimization [51.19403058739522]
  差分的プライベート勾配降下(DP-SGD)により、モデルはプライバシ保護の方法でトレーニングできる。 DP-ZO(DP-ZO)は,ゼロオーダー最適化手法を民営化することで,大規模言語モデルのためのプライベートな微調整フレームワークである。
  論文  参考訳（メタデータ） (2024-01-09T03:53:59Z)
• Sparsity-Preserving Differentially Private Training of Large Embedding Models [67.29926605156788]
  DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。 DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。 我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-14T17:59:51Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Large Language Models Can Be Strong Differentially Private Learners [70.0317718115406]
  Differentially Private(DP)学習は、テキストの大規模なディープラーニングモデルを構築する上で、限られた成功を収めている。 この性能低下は,大規模な事前学習モデルを用いることで緩和可能であることを示す。 本稿では,DP-SGDにおけるクリッピングを,サンプルごとの勾配をインスタンス化せずに実行可能にするメモリ節約手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T01:45:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。