論文の概要: Optimistic Verifiable Training by Controlling Hardware Nondeterminism
- arxiv url: http://arxiv.org/abs/2403.09603v3
- Date: Mon, 25 Nov 2024 09:13:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-26 14:17:18.366513
- Title: Optimistic Verifiable Training by Controlling Hardware Nondeterminism
- Title（参考訳）: ハードウェア非決定性制御による最適検証訓練
- Authors: Megha Srivastava, Simran Arora, Dan Boneh,
- Abstract要約: トレーニング中のGPUタイプ間の非決定性は、トレーニングプロセスの正確な複製を防ぐ。
本稿では,目標よりも高精度なトレーニング,中間計算後のラウンドリング,適応的しきい値決定に基づくラウンドリング決定の共有を併用する手法を提案する。
検証可能なトレーニング手法は,証明ベースシステムと比較して,ストレージと時間コストを著しく削減する。
- 参考スコア（独自算出の注目度）: 22.85808027490485
- License:
- Abstract: The increasing compute demands of AI systems have led to the emergence of services that train models on behalf of clients lacking necessary resources. However, ensuring correctness of training and guarding against potential training-time attacks, such as data poisoning and backdoors, poses challenges. Existing works on verifiable training largely fall into two classes: proof-based systems, which are difficult to scale, and ``optimistic'' methods that consider a third-party auditor who can replicate the training process and contest the trainer. A key challenge with the latter is that nondeterminism between GPU types during training prevents exact replication of the training process, resulting in schemes that are non-robust. We propose a method that combines training in a higher precision than the target, rounding after intermediate computations, and sharing rounding decisions based on an adaptive thresholding procedure, to successfully control for nondeterminism. Across three different NVIDIA GPUs (A40, Titan XP, RTX 2080 Ti), we achieve exact training replication at FP32 precision for both full-training and fine-tuning of ResNet-50 (23M) and GPT-2 (117M) models. Our verifiable training scheme significantly decreases the storage and time costs compared to proof-based systems, and is publicly released at https://github.com/meghabyte/verifiable-training.
- Abstract（参考訳）: AIシステムの計算要求の増加は、必要なリソースが不足しているクライアントのためにモデルをトレーニングするサービスの出現につながった。
しかし、トレーニングの正確性を確保し、データ中毒やバックドアといった潜在的なトレーニングタイムアタックに対する防御が課題となる。
検証可能なトレーニングに関する既存の研究は、スケールが難しい証明ベースシステムと、トレーニングプロセスを再現し、トレーナーと競合できる第三者監査官を考慮に入れた '最適化' メソッドの2つのクラスに大別される。
後者の重要な課題は、トレーニング中のGPUタイプ間の非決定性は、トレーニングプロセスの正確な複製を防ぎ、結果として非破壊的なスキームが生じることだ。
そこで本稿では,非決定性制御を成功させるために,目標よりも高精度なトレーニング,中間計算後のラウンドリング,適応的しきい値決定法に基づくラウンドリング決定の共有を併用する手法を提案する。
3種類のNVIDIA GPU(A40, Titan XP, RTX 2080 Ti)にわたって、我々は、ResNet-50(23M)モデルとGPT-2(117M)モデルのフルトレーニングと微調整の両方において、FP32精度で正確なトレーニングレプリケーションを実現する。
検証可能なトレーニングスキームは,証明ベースシステムと比較してストレージと時間コストを著しく削減し,https://github.com/meghabyte/verifiable-training.で公開している。
関連論文リスト
- Always-Sparse Training by Growing Connections with Guided Stochastic
Exploration [46.4179239171213]
本研究では,より大規模かつスペーサーなモデルへのスケーリングに優れる,効率的な常時スパーストレーニングアルゴリズムを提案する。
我々は,VGGモデルとVTモデルを用いて,CIFAR-10/100 と ImageNet の手法を評価し,様々なスペーサー化手法と比較した。
論文 参考訳（メタデータ） (2024-01-12T21:32:04Z) - Fast Machine Unlearning Without Retraining Through Selective Synaptic
Dampening [51.34904967046097]
Selective Synaptic Dampening (SSD)は高速で、訓練データの長期保存を必要としない。
高速で性能が高く,トレーニングデータの長期保存を必要としない,新しい2段階のポストホック,リトレーニングフリーなマシンアンラーニング手法を提案する。
論文 参考訳（メタデータ） (2023-08-15T11:30:45Z) - No Train No Gain: Revisiting Efficient Training Algorithms For
Transformer-based Language Models [31.080446886440757]
本稿では、動的アーキテクチャ(レイヤの積み重ね、ドロップ)、バッチ選択(選択的バックプロップ、ROH損失)、効率的なレイヤ(Lion, Sophia)の3つのカテゴリを再検討する。
トレーニング,検証,ダウンストリームのゲインが,完全に遅延した学習率のベースラインに比べて消失していることが分かりました。
我々は、全ての計算時間を参照システム時間と呼ぶ参照マシンにマッピングすることで、任意の計算でマシンを実行できる評価プロトコルを定義した。
論文 参考訳（メタデータ） (2023-07-12T20:10:14Z) - GAT: Guided Adversarial Training with Pareto-optimal Auxiliary Tasks [73.88590165742721]
本稿では,限られた訓練データの下で補助的なタスクを活用する新しい対人訓練手法を提案する。
本手法は, 対戦学習の最小値最適化において, シングルタスクモデルをマルチタスクモデルに拡張する。
我々は、ガイド付きマルチタスク学習が、モデルロバスト性の境界をさらに推し進めるために、実践的で有望な方法であることを実証する。
論文 参考訳（メタデータ） (2023-02-06T16:23:24Z) - Adversarial Coreset Selection for Efficient Robust Training [11.510009152620666]
トレーニングデータの小さなサブセットを選択することは、堅牢なトレーニングの時間的複雑さを軽減するための原則的なアプローチを提供する方法を示す。
本手法が敵の訓練を2～3回高速化することを示すため,広範囲な実験を行った。
論文 参考訳（メタデータ） (2022-09-13T07:37:53Z) - Distributed Adversarial Training to Robustify Deep Neural Networks at
Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。
このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。
複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-13T15:39:43Z) - Self-Progressing Robust Training [146.8337017922058]
敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。
我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。
その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
論文 参考訳（メタデータ） (2020-12-22T00:45:24Z) - Once-for-All Adversarial Training: In-Situ Tradeoff between Robustness
and Accuracy for Free [115.81899803240758]
敵の訓練とその多くの変種は、ネットワークの堅牢性を大幅に改善するが、標準精度を妥協するコストがかかる。
本稿では,訓練されたモデルをその場で迅速に校正する方法を問うとともに,その標準と堅牢な精度のトレードオフについて検討する。
提案するフレームワークであるOne-for-all Adversarial Training (OAT)は,革新的なモデル条件トレーニングフレームワーク上に構築されている。
論文 参考訳（メタデータ） (2020-10-22T16:06:34Z) - Predicting Training Time Without Training [120.92623395389255]
我々は、事前訓練された深層ネットワークが損失関数の所定の値に収束する必要がある最適化ステップの数を予測する問題に取り組む。
我々は、微調整中の深部ネットワークのトレーニングダイナミクスが線形化モデルによってよく近似されているという事実を活用する。
トレーニングをする必要なく、特定の損失にモデルを微調整するのに要する時間を予測できます。
論文 参考訳（メタデータ） (2020-08-28T04:29:54Z) - Multi-Precision Policy Enforced Training (MuPPET): A precision-switching
strategy for quantised fixed-point training of CNNs [13.83645579871775]
大規模な畳み込みニューラルネットワーク(CNN)は、数時間から数週間にわたる非常に長いトレーニング時間に悩まされる。
この研究は、複数の精度を利用するマルチレベルアプローチを採用することで、定量化トレーニングの境界を押し上げる。
MuPPETは、トレーニング時のスピードアップを最大1.84$times$、ネットワーク全体の平均スピードアップを1.58$times$とすることで、通常の完全精度トレーニングと同じ精度を達成する。
論文 参考訳（メタデータ） (2020-06-16T10:14:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。