論文の概要: zkLLM: Zero Knowledge Proofs for Large Language Models
- arxiv url: http://arxiv.org/abs/2404.16109v1
- Date: Wed, 24 Apr 2024 18:04:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-26 18:12:20.934549
- Title: zkLLM: Zero Knowledge Proofs for Large Language Models
- Title(参考訳): zkLLM: 大規模言語モデルのためのゼロ知識証明
- Authors: Haochen Sun, Jason Li, Hongyang Zhang,
- Abstract要約: ZkLLMは、大規模言語モデル(LLM)に適した特別なゼロ知識証明である。
モデルパラメータのプライバシを保護し、不注意な情報漏洩を確実にするように設計されている。
- 参考スコア(独自算出の注目度): 6.993329554241878
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The recent surge in artificial intelligence (AI), characterized by the prominence of large language models (LLMs), has ushered in fundamental transformations across the globe. However, alongside these advancements, concerns surrounding the legitimacy of LLMs have grown, posing legal challenges to their extensive applications. Compounding these concerns, the parameters of LLMs are often treated as intellectual property, restricting direct investigations. In this study, we address a fundamental challenge within the realm of AI legislation: the need to establish the authenticity of outputs generated by LLMs. To tackle this issue, we present zkLLM, which stands as the inaugural specialized zero-knowledge proof tailored for LLMs to the best of our knowledge. Addressing the persistent challenge of non-arithmetic operations in deep learning, we introduce tlookup, a parallelized lookup argument designed for non-arithmetic tensor operations in deep learning, offering a solution with no asymptotic overhead. Furthermore, leveraging the foundation of tlookup, we introduce zkAttn, a specialized zero-knowledge proof crafted for the attention mechanism, carefully balancing considerations of running time, memory usage, and accuracy. Empowered by our fully parallelized CUDA implementation, zkLLM emerges as a significant stride towards achieving efficient zero-knowledge verifiable computations over LLMs. Remarkably, for LLMs boasting 13 billion parameters, our approach enables the generation of a correctness proof for the entire inference process in under 15 minutes. The resulting proof, compactly sized at less than 200 kB, is designed to uphold the privacy of the model parameters, ensuring no inadvertent information leakage.
- Abstract(参考訳): 近年の人工知能(AI)の急激な増加は、大言語モデル(LLM)の卓越によって特徴づけられ、世界中に根本的変化をもたらした。
しかし、これらの進歩とともに、LSMの正当性をめぐる懸念が高まり、その広範な応用に法的課題が生じた。
これらの懸念を複雑にし、LSMのパラメータはしばしば知的財産として扱われ、直接の調査が制限される。
本研究では,LLMが生成するアウトプットの信頼性を確立することの必要性という,AI法制の領域における根本的な課題に対処する。
この問題に対処するため、我々は LLM に最適化された初歩的なゼロ知識証明である zkLLM を提案する。
ディープラーニングにおける非算術的操作の永続的課題に対処するため,我々は,非算術的テンソル操作のための並列化されたルックアップ引数であるtlookupを導入し,漸近的オーバーヘッドのないソリューションを提案する。
さらに、tlookupの基礎を生かして、注意機構のための特別なゼロ知識証明であるzkAttnを導入し、実行時間、メモリ使用量、正確性について慎重に検討する。
完全に並列化されたCUDAの実装によって、zkLLMはLLM上で効率的なゼロ知識検証計算を実現するための重要な一歩として現れます。
注目すべきは、LLMが13億のパラメータを持つ場合、我々の手法は推論プロセス全体の正当性証明を15分以内で生成できるということである。
結果として得られた証明は、200kB未満のコンパクトなサイズで、モデルのパラメータのプライバシを保ち、不注意な情報漏洩を確実にするように設計されている。
関連論文リスト
- LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。
本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。
このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文 参考訳(メタデータ) (2024-02-26T07:33:05Z) - How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。
大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。
我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
論文 参考訳(メタデータ) (2024-02-25T20:07:13Z) - Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳(メタデータ) (2023-12-26T07:24:46Z) - Mitigating Large Language Model Hallucinations via Autonomous Knowledge
Graph-based Retrofitting [51.7049140329611]
本稿では,知識グラフに基づくリトロフィッティング(KGR)を提案する。
実験により,実QAベンチマークにおいて,KGRはLLMの性能を大幅に向上できることが示された。
論文 参考訳(メタデータ) (2023-11-22T11:08:38Z) - Assessing the Reliability of Large Language Model Knowledge [78.38870272050106]
大規模言語モデル(LLM)は、知識探索タスクにおける高い性能のため、知識ベースとして扱われてきた。
LLMが実際に正しい答えを連続的に生成する能力をどのように評価するか。
LLMの信頼性を直接測定するための新しい指標であるMOdel kNowledge relIabiliTy score (MONITOR)を提案する。
論文 参考訳(メタデータ) (2023-10-15T12:40:30Z) - TRACE: A Comprehensive Benchmark for Continual Learning in Large
Language Models [52.734140807634624]
調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。
既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。
LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
論文 参考訳(メタデータ) (2023-10-10T16:38:49Z) - Response Length Perception and Sequence Scheduling: An LLM-Empowered LLM
Inference Pipeline [22.08897444328099]
大規模言語モデル(LLM)はAIの分野に革命をもたらし、様々なタスクで前例のない能力を示している。
本稿では,LLMのパワーを利用する効率的なLLM推論パイプラインを提案する。
論文 参考訳(メタデータ) (2023-05-22T15:36:06Z) - Reinforcement Learning for General LTL Objectives Is Intractable [10.69663517250214]
我々は、マルコフ決定プロセス(PACMDP)フレームワークにおいて、おそらく正しい学習の下で問題を定式化する。
この結果から, 強化学習アルゴリズムでは, 学習ポリシーの性能に対するPAC-MDP保証を得ることは不可能であることが示唆された。
論文 参考訳(メタデータ) (2021-11-24T18:26:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。