論文の概要: zkDL: Efficient Zero-Knowledge Proofs of Deep Learning Training
- arxiv url: http://arxiv.org/abs/2307.16273v2
- Date: Tue, 5 Dec 2023 19:42:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-07 18:40:11.827313
- Title: zkDL: Efficient Zero-Knowledge Proofs of Deep Learning Training
- Title（参考訳）: zkDL:Deep Learning Trainingの効率的なゼロ知識証明
- Authors: Haochen Sun, Tonghe Bai, Jason Li, Hongyang Zhang
- Abstract要約: ZkDLは、ディープラーニングトレーニングのための効率的なゼロ知識証明である。
zkReLUは、ReLU活性化とそのバックプロパゲーションの特別な証明である。
FAC4DNNはニューラルネットワークをモデル化する特殊な演算回路設計である。
- 参考スコア（独自算出の注目度）: 6.993329554241878
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The recent advancements in deep learning have brought about significant
changes in various aspects of people's lives. Meanwhile, these rapid
developments have raised concerns about the legitimacy of the training process
of deep neural networks. To protect the intellectual properties of AI
developers, directly examining the training process by accessing the model
parameters and training data is often prohibited for verifiers.
In response to this challenge, we present zero-knowledge deep learning
(zkDL), an efficient zero-knowledge proof for deep learning training. To
address the long-standing challenge of verifiable computations of
non-linearities in deep learning training, we introduce zkReLU, a specialized
proof for the ReLU activation and its backpropagation. zkReLU turns the
disadvantage of non-arithmetic relations into an advantage, leading to the
creation of FAC4DNN, our specialized arithmetic circuit design for modelling
neural networks. This design aggregates the proofs over different layers and
training steps, without being constrained by their sequential order in the
training process.
With our new CUDA implementation that achieves full compatibility with the
tensor structures and the aggregated proof design, zkDL enables the generation
of complete and sound proofs in less than a second per batch update for an
8-layer neural network with 10M parameters and a batch size of 64, while
provably ensuring the privacy of data and model parameters. To our best
knowledge, we are not aware of any existing work on zero-knowledge proof of
deep learning training that is scalable to million-size networks.
- Abstract（参考訳）: 近年のディープラーニングの進歩は、人々の生活の様々な側面に大きな変化をもたらした。
一方、これらの急速な発展は、ディープニューラルネットワークのトレーニングプロセスの正当性に関する懸念を引き起こしている。
AI開発者の知的特性を保護するため、モデルパラメータとトレーニングデータにアクセスしてトレーニングプロセスを直接検査することは、検証者にとってしばしば禁止される。
この課題に対して,ディープラーニング学習のための効率的なゼロ知識証明であるゼロ知識ディープラーニング(zkDL)を提案する。
深層学習における非線形性の検証可能な計算の長期的課題に対処するために,relu活性化とそのバックプロパゲーションの特殊な証明であるzkreluを紹介する。
zkReLUは非算術的関係の欠点を有利にし、ニューラルネットワークをモデル化するための特別な演算回路設計であるFAC4DNNを作成する。
この設計は、トレーニングプロセスで順番に制約されることなく、異なるレイヤとトレーニングステップ上で証明を集約する。
テンソル構造と集約された証明設計との完全な互換性を実現する新しいCUDA実装により、zkDLは、データとモデルパラメータのプライバシを確実に保証しつつ、10Mパラメータと64のバッチサイズを持つ8層ニューラルネットワークに対して、バッチ更新1秒未満で完全かつ健全な証明を生成することができる。
最善の知識として、私たちは、100万規模のネットワークにスケーラブルなディープラーニングトレーニングのゼロ知識証明に関する既存の作業には気づいていません。
関連論文リスト
- DeepOSets: Non-Autoregressive In-Context Learning of Supervised Learning Operators [11.913853433712855]
コンテキスト内演算子学習により、トレーニングされた機械学習モデルは、さらなるトレーニングをすることなく、ユーザのプロンプトから学習することができる。
DeepOSetsはDeepSetsアーキテクチャと組み合わせることで、Deep Operator Networks(DeepONets)にコンテキスト内学習機能を追加する。
コンテキスト内演算子学習のための最初の非自動回帰モデルとして、DeepOSetsはユーザのプロンプトを並列に処理できるようにする。
論文 参考訳（メタデータ） (2024-10-11T23:07:19Z) - Towards Certified Unlearning for Deep Neural Networks [50.816473152067104]
認定されていない未学習は、凸機械学習モデルで広く研究されている。
認定アンラーニングとディープニューラルネットワーク(DNN)のギャップを埋める手法をいくつか提案する。
論文 参考訳（メタデータ） (2024-08-01T21:22:10Z) - SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural
Networks [56.35403810762512]
イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。
本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
論文 参考訳（メタデータ） (2023-02-01T04:22:59Z) - Quantization-aware Interval Bound Propagation for Training Certifiably
Robust Quantized Neural Networks [58.195261590442406]
我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。
近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。
本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
論文 参考訳（メタデータ） (2022-11-29T13:32:38Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。
本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。
CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
論文 参考訳（メタデータ） (2022-10-10T10:05:00Z) - Testing Feedforward Neural Networks Training Programs [13.249453757295083]
ディープニューラルネットワークの動作の不整合を露呈するテストケースを生成するために、複数のテスト技術が提案されている。
これらのテクニックは、トレーニングプログラムがバグフリーで適切に設定されていることを暗黙的に仮定する。
本稿では,DNNトレーニングプログラムのエンドツーエンドなプロパティベースのデバッグ手法であるTheDeepCheckerを提案する。
論文 参考訳（メタデータ） (2022-04-01T20:49:14Z) - Improved architectures and training algorithms for deep operator
networks [0.0]
演算子学習技術は無限次元バナッハ空間間の写像を学習するための強力なツールとして登場した。
我々は,ニューラルタンジェントカーネル(NTK)理論のレンズを用いて,ディープオペレータネットワーク(DeepONets)のトレーニングダイナミクスを解析した。
論文 参考訳（メタデータ） (2021-10-04T18:34:41Z) - Improving the Accuracy of Early Exits in Multi-Exit Architectures via
Curriculum Learning [88.17413955380262]
マルチエクイットアーキテクチャにより、ディープニューラルネットワークは、正確なコストで厳密な期限に従うために、実行を早期に終了することができる。
カリキュラム学習を活用したマルチエクジットカリキュラム学習という新しい手法を紹介します。
本手法は, 標準訓練手法と比較して, 早期終了の精度を一貫して向上させる。
論文 参考訳（メタデータ） (2021-04-21T11:12:35Z) - Training Deep Neural Networks with Constrained Learning Parameters [4.917317902787792]
ディープラーニングタスクのかなりの部分はエッジコンピューティングシステムで実行される。
我々は, Combinatorial Neural Network Training Algorithm (CNNTrA)を提案する。
CoNNTrAは、MNIST、Iris、ImageNetデータセット上で、第三次学習パラメータでディープラーニングモデルをトレーニングする。
以上の結果から,CNNTrAモデルはメモリを32倍に削減し,バックプロパゲーションモデルと同程度の誤差を有することがわかった。
論文 参考訳（メタデータ） (2020-09-01T16:20:11Z) - Deep Transfer Learning with Ridge Regression [7.843067454030999]
大量のデータで訓練されたディープモデルは、関連するドメインから見えないデータに対して有望な一般化能力を示す。
我々は、深層ニューラルネットワーク(DNN)から生成された学習特徴ベクトルの低ランク性と、カーネルリッジ回帰(KRR)で提供されるクローズドフォームソリューションを活用することで、この問題に対処する。
本手法は、教師あり半教師ありのトランスファー学習タスクにおいて成功している。
論文 参考訳（メタデータ） (2020-06-11T20:21:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。