Fugu-MT 論文翻訳(概要): zkDL: Efficient Zero-Knowledge Proofs of Deep Learning Training

論文の概要: zkDL: Efficient Zero-Knowledge Proofs of Deep Learning Training

arxiv url: http://arxiv.org/abs/2307.16273v1
Date: Sun, 30 Jul 2023 16:41:13 GMT
ステータス: 処理完了
システム内更新日: 2023-08-01 16:37:14.831829
Title: zkDL: Efficient Zero-Knowledge Proofs of Deep Learning Training
Title（参考訳）: zkDL:Deep Learning Trainingの効率的なゼロ知識証明
Authors: Haochen Sun, Hongyang Zhang
Abstract要約: ディープラーニング学習の効率的なゼロ知識証明であるzkDLを提案する。 zkDLの中核は、特別なゼロ知識証明プロトコルであるzkReLUである。我々はニューラルネットワークから算術回路を新たに構築する。
参考スコア（独自算出の注目度）: 7.801186996752192
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The recent advancements in deep learning have brought about significant changes in various aspects of people's lives. Meanwhile, these rapid developments have raised concerns about the legitimacy of the training process of deep networks. However, to protect the intellectual properties of untrusted AI developers, directly examining the training process by accessing the model parameters and training data by verifiers is often prohibited. In response to this challenge, we present zkDL, an efficient zero-knowledge proof of deep learning training. At the core of zkDL is zkReLU, a specialized zero-knowledge proof protocol with optimized proving time and proof size for the ReLU activation function, a major obstacle in verifiable training due to its non-arithmetic nature. To integrate zkReLU into the proof system for the entire training process, we devise a novel construction of an arithmetic circuit from neural networks. By leveraging the abundant parallel computation resources, this construction reduces proving time and proof sizes by a factor of the network depth. As a result, zkDL enables the generation of complete and sound proofs, taking less than a minute with a size of less than 20 kB per training step, for a 16-layer neural network with 200M parameters, while ensuring the privacy of data and model parameters.
Abstract（参考訳）: 近年のディープラーニングの進歩は、人々の生活の様々な側面に大きな変化をもたらした。一方、これらの急速な発展は、ディープネットワークのトレーニングプロセスの正当性に関する懸念を引き起こしている。しかし、信頼できないAI開発者の知的特性を保護するため、モデルパラメータと検証者によるトレーニングデータにアクセスしてトレーニングプロセスを直接検査することがしばしば禁止される。この課題に対して,ディープラーニング学習の効率的なゼロ知識証明であるzkDLを提案する。 zkDLのコアとなるzkReLUは、ReLUアクティベーション関数の証明時間と証明サイズを最適化した特別なゼロ知識証明プロトコルである。学習過程全体の証明システムにzkreluを統合するために,ニューラルネットワークから演算回路を新規に構築する手法を提案する。並列計算資源を豊富に活用することにより、ネットワーク深さの係数による証明時間と証明サイズを削減できる。結果として、zkDLは2億のパラメータを持つ16層ニューラルネットワークに対して、トレーニングステップあたり20kB未満のサイズの1分未満で、データとモデルパラメータのプライバシを確保しながら、完全かつ健全な証明を生成することができる。

関連論文リスト

DeepOSets: Non-Autoregressive In-Context Learning of Supervised Learning Operators [11.913853433712855]
コンテキスト内演算子学習により、トレーニングされた機械学習モデルは、さらなるトレーニングをすることなく、ユーザのプロンプトから学習することができる。 DeepOSetsはDeepSetsアーキテクチャと組み合わせることで、Deep Operator Networks(DeepONets)にコンテキスト内学習機能を追加する。コンテキスト内演算子学習のための最初の非自動回帰モデルとして、DeepOSetsはユーザのプロンプトを並列に処理できるようにする。
論文参考訳（メタデータ） (2024-10-11T23:07:19Z)
Towards Certified Unlearning for Deep Neural Networks [50.816473152067104]
認定されていない未学習は、凸機械学習モデルで広く研究されている。認定アンラーニングとディープニューラルネットワーク(DNN)のギャップを埋める手法をいくつか提案する。
論文参考訳（メタデータ） (2024-08-01T21:22:10Z)
SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
論文参考訳（メタデータ） (2023-02-01T04:22:59Z)
Quantization-aware Interval Bound Propagation for Training Certifiably Robust Quantized Neural Networks [58.195261590442406]
我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
論文参考訳（メタデータ） (2022-11-29T13:32:38Z)
Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文参考訳（メタデータ） (2022-11-19T15:44:08Z)
Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
論文参考訳（メタデータ） (2022-10-10T10:05:00Z)
Testing Feedforward Neural Networks Training Programs [13.249453757295083]
ディープニューラルネットワークの動作の不整合を露呈するテストケースを生成するために、複数のテスト技術が提案されている。これらのテクニックは、トレーニングプログラムがバグフリーで適切に設定されていることを暗黙的に仮定する。本稿では,DNNトレーニングプログラムのエンドツーエンドなプロパティベースのデバッグ手法であるTheDeepCheckerを提案する。
論文参考訳（メタデータ） (2022-04-01T20:49:14Z)
Improved architectures and training algorithms for deep operator networks [0.0]
演算子学習技術は無限次元バナッハ空間間の写像を学習するための強力なツールとして登場した。我々は,ニューラルタンジェントカーネル(NTK)理論のレンズを用いて,ディープオペレータネットワーク(DeepONets)のトレーニングダイナミクスを解析した。
論文参考訳（メタデータ） (2021-10-04T18:34:41Z)
Improving the Accuracy of Early Exits in Multi-Exit Architectures via Curriculum Learning [88.17413955380262]
マルチエクイットアーキテクチャにより、ディープニューラルネットワークは、正確なコストで厳密な期限に従うために、実行を早期に終了することができる。カリキュラム学習を活用したマルチエクジットカリキュラム学習という新しい手法を紹介します。本手法は, 標準訓練手法と比較して, 早期終了の精度を一貫して向上させる。
論文参考訳（メタデータ） (2021-04-21T11:12:35Z)
Training Deep Neural Networks with Constrained Learning Parameters [4.917317902787792]
ディープラーニングタスクのかなりの部分はエッジコンピューティングシステムで実行される。我々は, Combinatorial Neural Network Training Algorithm (CNNTrA)を提案する。 CoNNTrAは、MNIST、Iris、ImageNetデータセット上で、第三次学習パラメータでディープラーニングモデルをトレーニングする。以上の結果から,CNNTrAモデルはメモリを32倍に削減し,バックプロパゲーションモデルと同程度の誤差を有することがわかった。
論文参考訳（メタデータ） (2020-09-01T16:20:11Z)
Deep Transfer Learning with Ridge Regression [7.843067454030999]
大量のデータで訓練されたディープモデルは、関連するドメインから見えないデータに対して有望な一般化能力を示す。我々は、深層ニューラルネットワーク(DNN)から生成された学習特徴ベクトルの低ランク性と、カーネルリッジ回帰(KRR)で提供されるクローズドフォームソリューションを活用することで、この問題に対処する。本手法は、教師あり半教師ありのトランスファー学習タスクにおいて成功している。
論文参考訳（メタデータ） (2020-06-11T20:21:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。