論文の概要: DP-Adam-AC: Privacy-preserving Fine-Tuning of Localizable Language Models Using Adam Optimization with Adaptive Clipping

• arxiv url: http://arxiv.org/abs/2510.05288v1
• Date: Mon, 06 Oct 2025 18:56:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-08 17:57:07.945462
• Title: DP-Adam-AC: Privacy-preserving Fine-Tuning of Localizable Language Models Using Adam Optimization with Adaptive Clipping
• Title（参考訳）: DP-Adam-AC:Adam Optimization with Adaptive Clippingを用いたローカライズ可能な言語モデルのプライバシー保護ファインチューニング
• Authors: Ruoxing Yang,
• Abstract要約: 大規模言語モデル(LLM)は、強力でユビキタスなツールへと進化してきた。 LLMは、一般的なユースケースとタスク固有のユースケースの両方において、優れたユーティリティを提供します。 セキュリティに関する2つの懸念によって制限されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) such as ChatGPT have evolved into powerful and ubiquitous tools. Fine-tuning on small datasets allows LLMs to acquire specialized skills for specific tasks efficiently. Although LLMs provide great utility in both general and task-specific use cases, they are limited by two security-related concerns. First, traditional LLM hardware requirements make them infeasible to run locally on consumer-grade devices. A remote network connection with the LLM provider's server is usually required, making the system vulnerable to network attacks. Second, fine-tuning an LLM for a sensitive task may involve sensitive data. Non-private fine-tuning algorithms produce models vulnerable to training data reproduction attacks. Our work addresses these security concerns by enhancing differentially private optimization algorithms and applying them to fine-tune localizable language models. We introduce adaptable gradient clipping along with other engineering enhancements to the standard DP-Adam optimizer to create DP-Adam-AC. We use our optimizer to fine-tune examples of two localizable LLM designs, small language model (Qwen2.5-0.5B) and 1.58 bit quantization (Bitnet-b1.58-2B). We demonstrate promising improvements in loss through experimentation with two synthetic datasets.
• Abstract（参考訳）: ChatGPTのような大規模言語モデル(LLM)は、強力でユビキタスなツールへと進化してきた。 小さなデータセットの微調整により、LLMは特定のタスクの専門スキルを効率的に取得できる。 LLMは、一般的なユースケースとタスク固有のユースケースの両方において優れたユーティリティを提供するが、セキュリティに関する2つの懸念によって制限されている。 第一に、従来のLCMハードウェア要件により、コンシューマグレードのデバイス上でローカルに動作できない。 LLMプロバイダのサーバとのリモートネットワーク接続は通常必要であり、システムはネットワーク攻撃に対して脆弱である。 第二に、敏感なタスクのためにLLMを微調整するには、敏感なデータが必要になる可能性がある。 プライベートでない微調整アルゴリズムは、データ再生攻撃の訓練に弱いモデルを生成する。 我々の研究は、これらのセキュリティ上の問題に対処し、微分プライベート最適化アルゴリズムを拡張し、それらを微調整でローカライズ可能な言語モデルに適用することによって解決する。 本稿では,DP-Adam-ACを作成するための標準DP-Adamオプティマイザに適応性勾配クリッピングを導入する。 我々は最適化器を用いて2つのローカライズ可能なLLM設計、小型言語モデル(Qwen2.5-0.5B)および1.58ビット量子化(Bitnet-b1.58-2B)の微調整を行う。 2つの合成データセットによる実験により,損失の有望な改善を示す。

関連論文リスト

• Towards On-Device Personalization: Cloud-device Collaborative Data Augmentation for Efficient On-device Language Model [43.13807038270687]
  CDCDA-PLMは、強力なクラウドベースのLLMのサポートにより、デバイス上でパーソナライズされた言語モデルをユーザデバイスにデプロイするためのフレームワークである。 実データと合成データの両方を用いて、パーソナライズされたオンデバイス言語モデル(LM)は、パラメータ効率の細かいチューニング(PEFT)モジュールを介して微調整される。
  論文  参考訳（メタデータ） (2025-08-29T02:33:13Z)
• Mixture of Attentions For Speculative Decoding [17.344416130742232]
  投機的復号法(SD)は、より小さなモデルを利用して将来のトークンを効率的に提案し、それを大規模言語モデルによって並列に検証する。 SDモデルには、トレーニング中のオン・ポリティネスの欠如や部分観測可能性の欠如など、いくつかの制限がある。 SD用ミクチャ・オブ・アテンションの導入により,小型モデルのより基礎的なアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-10-04T10:25:52Z)
• Personalized Wireless Federated Learning for Large Language Models [75.22457544349668]
  大規模言語モデル(LLM)は、無線ネットワークにおいて大きな変革をもたらしている。 無線環境では、LLMのトレーニングはセキュリティとプライバシに関する重大な課題に直面している。 本稿では,無線ネットワークにおけるLLMのトレーニング段階の体系的解析を行い,事前学習,命令チューニング,アライメントチューニングを行う。
  論文  参考訳（メタデータ） (2024-04-20T02:30:21Z)
• Automated Federated Pipeline for Parameter-Efficient Fine-Tuning of Large Language Models [21.864109456867784]
  多くの下流タスクでは、プライベートデータを使用して大きな言語モデル(LLM)を微調整する必要がある。 我々はFedPipeという自動フェデレーションパイプラインを提案し、最小のトレーニングコストでLLMを微調整する。 大規模な実験では、FedPipeがモデルのトレーニングを高速化し、最先端のベンチマークよりも高い精度を達成することが示されている。
  論文  参考訳（メタデータ） (2024-04-09T16:50:30Z)
• Federated Full-Parameter Tuning of Billion-Sized Language Models with Communication Cost under 18 Kilobytes [53.4856038354195]
  事前訓練された大規模言語モデル(LLM)は、自然言語命令に対する応答性を改善するために微調整が必要である。 FedKSeedは、ランダムシードの有限セットによるゼロ階最適化を採用している。 サーバとクライアント間の通信要求を大幅に減らし、ランダムなシードをわずかに減らします。
  論文  参考訳（メタデータ） (2023-12-11T13:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。