論文の概要: ZKLoRA: Efficient Zero-Knowledge Proofs for LoRA Verification

• arxiv url: http://arxiv.org/abs/2501.13965v1
• Date: Tue, 21 Jan 2025 23:20:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-27 14:58:36.458698
• Title: ZKLoRA: Efficient Zero-Knowledge Proofs for LoRA Verification
• Title（参考訳）: ZKLoRA: LoRA検証のための効率的なゼロ知識証明
• Authors: Bidhan Roy, Peter Potash, Marcos Villagra,
• Abstract要約: Low-Rank Adaptation (LoRA)は、大規模言語モデルをカスタマイズするための広く採用されている手法である。 分散型で信頼できないトレーニング環境では、オープンソースのベースモデルユーザは、外部コントリビュータによって生成されたLoRAウェイトを使いたいかもしれません。 ZKLoRAは,簡潔な証明と新しいマルチパーティ推論手法に依存するゼロ知識検証プロトコルである。
• 参考スコア（独自算出の注目度）: 0.20482269513546458
• License:
• Abstract: Low-Rank Adaptation (LoRA) is a widely adopted method for customizing large-scale language models. In distributed, untrusted training environments, an open source base model user may want to use LoRA weights created by an external contributor, leading to two requirements: (1) the base model user must confirm that the LoRA weights are effective when paired with the intended base model, and (2) the LoRA contributor must keep their proprietary weights private until compensation is assured. We present ZKLoRA, a zero-knowledge verification protocol that relies on succinct proofs and our novel Multi-Party Inference procedure to verify LoRA-base model compatibility without exposing LoRA weights. ZKLoRA produces deterministic correctness guarantees and validates each LoRA module in only 1-2 seconds on state-of-the-art large language models. This low-latency approach enables nearly real-time verification and promotes secure collaboration among geographically decentralized teams and contract-based training pipelines. The protocol ensures that the delivered LoRA module works as claimed, safeguarding the contributor's intellectual property while providing the base model user with verification of compatibility and lineage.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA)は、大規模言語モデルをカスタマイズするための広く採用されている手法である。 分散された、信頼できないトレーニング環境では、オープンソースのベースモデル利用者は、外部のコントリビュータが作成したLoRAウェイトを使いたい場合、(1)ベースモデル利用者は、意図したベースモデルと組み合わせて、LoRAウェイトが有効であることを確認し、(2)LoRAコントリビュータは、補償が保証されるまで独自のウェイトをプライベートに保たなければならない。 本稿では,ゼロ知識検証プロトコルであるZKLoRAと,LoRA重みを公開せずにLoRAモデルとの整合性を検証するための新しいマルチパーティ推論手法を提案する。 ZKLoRAは決定論的正当性を保証し、各LoRAモジュールを最先端の大規模言語モデルでわずか1-2秒で検証する。 この低レイテンシアプローチは、ほぼリアルタイムの検証を可能にし、地理的に分散化されたチームとコントラクトベースのトレーニングパイプライン間のセキュアなコラボレーションを促進する。 このプロトコルは、提供されたLoRAモジュールが要求通りに動作し、コントリビュータの知的財産権を保護すると同時に、ベースモデルのユーザに対して互換性と系統の検証を提供する。

関連論文リスト

• LoRA-Guard: Parameter-Efficient Guardrail Adaptation for Content Moderation of Large Language Models [15.900125475191958]
  大規模言語モデル(LLM)のコンテンツモデレーションのための安全アライメントの代替としてガードレールが登場した。 LLMとガードレールモデル間の知識共有に依存するパラメータ効率の高いガードレール適応法であるLoRA-Guardを導入する。 LoRA-Guardは100-1000倍のパラメータオーバヘッドで既存の手法より優れ、精度を保ちながらオンデバイスコンテンツのモデレーションを実現している。
  論文  参考訳（メタデータ） (2024-07-03T10:38:40Z)
• Retrieval-Augmented Mixture of LoRA Experts for Uploadable Machine Learning [57.36978335727009]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整する効率的な方法を提供する。 本稿では,入力プロンプトに基づいて複数のLoRAを適応的に検索・構成するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-24T05:24:41Z)
• Unlocking the Global Synergies in Low-Rank Adapters [20.32980343066711]
  低ランク適応(LoRA)は、大規模言語モデルのためのデファクトパラメータ効率の高い微調整技術である。 本稿では、ゼロコストプロキシを利用して限られたLoRAトレーニングパラメータを割り当てる軽量探索アルゴリズムであるHeteroLoRAを提案する。 実験の結果、HeteroLoRAは同じパラメータのバッジでモデルパフォーマンスを改善することができることがわかった。
  論文  参考訳（メタデータ） (2024-06-21T08:10:03Z)
• Mixture of LoRA Experts [87.50120181861362]
  本稿では,階層的制御と未分散分岐選択を利用する LoRA Experts (MoLE) アプローチを提案する。 MoLEアプローチは直接算術マージよりも優れたLoRA融合性能を実現する。
  論文  参考訳（メタデータ） (2024-04-21T11:59:53Z)
• Continual Forgetting for Pre-trained Vision Models [70.51165239179052]
  現実のシナリオでは、選択的な情報は事前訓練されたモデルから継続的に取り除かれることが期待される。 効率的な削除のためのグループスパースロラ(GS-LoRA)を提案する。 我々は,顔認識,物体検出,画像分類に関する広範な実験を行い,GS-LoRAが他のクラスに最小限の影響で,特定のクラスを忘れることが実証された。
  論文  参考訳（メタデータ） (2024-03-18T07:33:56Z)
• LoRA-as-an-Attack! Piercing LLM Safety Under The Share-and-Play Scenario [61.99243609126672]
  LoRAモジュールにバックドアを注入し,LoRA感染機構を深く掘り下げる方法について検討した。 我々の狙いは、LoRA-as-an-Attackによる潜在的な影響を積極的に防止するため、新興のシェア・アンド・プレイシナリオにおける潜在的なリスクの認識を高めることである。
  論文  参考訳（メタデータ） (2024-02-29T20:25:16Z)
• LoraRetriever: Input-Aware LoRA Retrieval and Composition for Mixed Tasks in the Wild [76.67343971195267]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整するための効率的なソリューションを提供する。 LoraRetrieverは、入力プロンプトに従って複数のLoRAを適応的に検索して構成する検索テーマ構成フレームワークである。 実験結果から、LoraRetrieverは一貫してベースラインを上回っていることが示唆された。
  論文  参考訳（メタデータ） (2024-02-15T15:02:46Z)
• Chain of LoRA: Efficient Fine-tuning of Language Models via Residual Learning [31.036465632204663]
  本稿では,Frank-Wolfeアルゴリズムにインスパイアされた反復最適化フレームワークであるLoRAのChainを紹介する。 計算コストやメモリコストを増大させることなく,COLA が LoRA を一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2024-01-08T14:26:49Z)
• CA-LoRA: Adapting Existing LoRA for Compressed LLMs to Enable Efficient Multi-Tasking on Personal Devices [78.16679232748196]
  本稿では,Large Language Models (LLM) を他のタスクに転送するための圧縮対応 LoRA (CA-LoRA) フレームワークを提案する。 実験の結果,CA-LoRAは圧縮LDMに適用したバニラロラ法よりも優れていた。 CA-LoRAのソースコードはhttps://github.com/thunlp/CA-LoRAで公開されている。
  論文  参考訳（メタデータ） (2023-07-15T04:37:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。