論文の概要: zkLoRA: Fine-Tuning Large Language Models with Verifiable Security via Zero-Knowledge Proofs

• arxiv url: http://arxiv.org/abs/2508.21393v2
• Date: Tue, 09 Sep 2025 15:20:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-10 14:38:26.946563
• Title: zkLoRA: Fine-Tuning Large Language Models with Verifiable Security via Zero-Knowledge Proofs
• Title（参考訳）: zkLoRA:ゼロ知識証明による検証可能なセキュリティを備えた大規模言語モデル
• Authors: Guofu Liao, Taotao Wang, Shengli Zhang, Jiqun Zhang, Shi Long, Dacheng Tao,
• Abstract要約: ゼロ知識証明(ZKP)とLoRAファインチューニングを統合する最初のフレームワークであるzkLoRAを紹介する。 zkLoRAは、Transformerベースのアーキテクチャにおいて、算術演算と非算術演算の両方を検証するために高度な暗号技術を採用している。 zkLoRAは、LLaMAのようなオープンソースのLLMで実験的な検証を行い、最大13億のパラメータをスケールすることで、実用性と効率を実証する。
• 参考スコア（独自算出の注目度）: 44.0362091911335
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning large language models (LLMs) is crucial for adapting them to specific tasks, yet it remains computationally demanding and raises concerns about correctness and privacy, particularly in untrusted environments. Although parameter-efficient methods like Low-Rank Adaptation (LoRA) significantly reduce resource requirements, ensuring the security and verifiability of fine-tuning under zero-knowledge constraints remains an unresolved challenge. To address this, we introduce zkLoRA, the first framework to integrate LoRA fine-tuning with zero-knowledge proofs (ZKPs), achieving provable security and correctness. zkLoRA employs advanced cryptographic techniques -- such as lookup arguments, sumcheck protocols, and polynomial commitments -- to verify both arithmetic and non-arithmetic operations in Transformer-based architectures. The framework provides end-to-end verifiability for forward propagation, backward propagation, and parameter updates during LoRA fine-tuning, while safeguarding the privacy of model parameters and training data. Leveraging GPU-based implementations, zkLoRA demonstrates practicality and efficiency through experimental validation on open-source LLMs like LLaMA, scaling up to 13 billion parameters. By combining parameter-efficient fine-tuning with ZKPs, zkLoRA bridges a critical gap, enabling secure and trustworthy deployment of LLMs in sensitive or untrusted environments.
• Abstract（参考訳）: 細調整された大きな言語モデル(LLM)は、特定のタスクに適応するためには不可欠だが、計算的に要求され、特に信頼できない環境では、正確性とプライバシに関する懸念が高まる。 Low-Rank Adaptation (LoRA)のようなパラメータ効率のよい手法はリソースの要求を大幅に削減するが、ゼロ知識制約下での微調整の安全性と妥当性は未解決の課題である。 そこで本研究では,ゼロ知識証明(ZKP)とLoRAファインチューニングを統合した最初のフレームワークであるzkLoRAを紹介する。 zkLoRAは、Transformerベースのアーキテクチャにおける算術演算と非算術演算の両方を検証するために、ルックアップ引数、サムチェックプロトコル、多項式コミットメントなどの高度な暗号技術を採用している。 このフレームワークは、モデルパラメータとトレーニングデータのプライバシを保護しながら、LoRAの微調整中に前方伝播、後方伝播、パラメータ更新のためのエンドツーエンドの検証機能を提供する。 GPUベースの実装を活用することで、zkLoRAはLLaMAのようなオープンソースのLLMの実験的な検証を通じて実用性と効率を実証し、最大13億のパラメータをスケーリングする。 パラメータ効率の良い微調整とZKPを組み合わせることで、zkLoRAは重要なギャップを埋め、機密性や信頼できない環境におけるLLMのセキュアで信頼性の高いデプロイを可能にする。

関連論文リスト

• S3LoRA: Safe Spectral Sharpness-Guided Pruning in Adaptation of Agent Planner [1.6114012813668932]
  LoRAのようなパラメータ効率のよい微調整技術を用いて、LLM(Large Language Models)を適用することで、LLMベースのエージェントで強力な機能を実現している。 既存の安全に配慮した適応手法では、ベースと命令で調整されたモデルチェックポイントの両方にアクセスする必要がある。 本稿では,軽量でデータフリーでモデルに依存しないフレームワークであるS3LoRAを提案する。
  論文  参考訳（メタデータ） (2025-08-20T21:08:29Z)
• LoX: Low-Rank Extrapolation Robustifies LLM Safety Against Fine-tuning [61.594212398272184]
  Low-Rank Extrapolation (LoX)は、良質で悪意のある微調整攻撃に対する堅牢性を改善する。 LoXは攻撃成功率を11%から54%に下げる。
  論文  参考訳（メタデータ） (2025-06-18T16:30:02Z)
• FedShield-LLM: A Secure and Scalable Federated Fine-Tuned Large Language Model [0.48342038441006796]
  Federated Learning (FL)は、LLM(Large Language Models)のトレーニングと微調整のための分散フレームワークを提供する。 FLはプライバシとセキュリティの懸念に対処し、LLMの相当な計算要求に関連する課題をナビゲートする。 ローランド適応 (LoRA) パラメータに対して, 完全同型暗号化 (FHE) を用いたプルーニングを用いた新しいFedShield-LLMを提案する。
  論文  参考訳（メタデータ） (2025-06-06T00:05:05Z)
• SaLoRA: Safety-Alignment Preserved Low-Rank Adaptation [41.91948079316541]
  近年の研究では、LoRAの微調整が大きな言語モデルの安全性を損なう可能性があるという懸念が持ち上がっている。 本稿では,安全性に配慮した低ランク適応(SaLoRA)を提案する。 以前のLoRAメソッドやその派生型とは異なり、SaLoRAは本来のアライメントを中断することなく、LLMへのターゲット変更を可能にする。 実験の結果,SaLoRAは様々な微調整タスクにおいて,様々な評価指標のアダプタベースのアプローチよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2025-01-03T11:34:28Z)
• Safe LoRA: the Silver Lining of Reducing Safety Risks when Fine-tuning Large Language Models [51.20476412037321]
  提案するSafe LoRAは,選択した層からのLoRA重みの投影を安全に整合した部分空間に導入することにより,オリジナルのLoRA実装に対する単純なワンライナーパッチである。 我々の実験は、純粋に悪意のあるデータに対して微調整を行う場合、Safe LoRAは元のアライメントモデルと同様の安全性を保っていることを示した。
  論文  参考訳（メタデータ） (2024-05-27T05:04:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。