Fugu-MT 論文翻訳(概要): Optimistic Verifiable Training by Controlling Hardware Nondeterminism

論文の概要: Optimistic Verifiable Training by Controlling Hardware Nondeterminism

arxiv url: http://arxiv.org/abs/2403.09603v2
Date: Sat, 16 Mar 2024 08:51:56 GMT
ステータス: 処理完了
システム内更新日: 2024-03-19 11:35:28.431622
Title: Optimistic Verifiable Training by Controlling Hardware Nondeterminism
Title（参考訳）: ハードウェア非決定性制御による最適検証訓練
Authors: Megha Srivastava, Simran Arora, Dan Boneh,
Abstract要約: 本研究では,対象モデルよりも高精度なトレーニング,中間ステップ後のラウンドリング,ラウンドニング決定の格納を併用する手法を提案する。我々は、ResNet-50 (23M) モデルと GPT-2 (117M) モデルのフルトレーニングと微調整の両方において、FP32の精度で正確なトレーニングレプリケーションを実現する。
参考スコア（独自算出の注目度）: 22.85808027490485
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The increasing compute demands of AI systems has led to the emergence of services that train models on behalf of clients lacking necessary resources. However, ensuring correctness of training and guarding against potential training-time attacks, such as data poisoning, poses challenges. Existing works on verifiable training largely fall into two classes: proof-based systems, which struggle to scale due to requiring cryptographic techniques, and "optimistic" methods that consider a trusted third-party auditor who replicates the training process. A key challenge with the latter is that hardware nondeterminism between GPU types during training prevents an auditor from replicating the training process exactly, and such schemes are therefore non-robust. We propose a method that combines training in a higher precision than the target model, rounding after intermediate computation steps, and storing rounding decisions based on an adaptive thresholding procedure, to successfully control for nondeterminism. Across three different NVIDIA GPUs (A40, Titan XP, RTX 2080 Ti), we achieve exact training replication at FP32 precision for both full-training and fine-tuning of ResNet-50 (23M) and GPT-2 (117M) models. Our verifiable training scheme significantly decreases the storage and time costs compared to proof-based systems.
Abstract（参考訳）: AIシステムの計算要求の増加は、必要なリソースが不足しているクライアントのためにモデルをトレーニングするサービスの出現につながった。しかし、トレーニングの正確性を確保し、データ中毒などの潜在的なトレーニングタイムアタックに対する防御が課題となる。検証可能なトレーニングに関する既存の研究は、暗号技術を必要とするためスケールに苦しむ証明ベースシステムと、トレーニングプロセスを再現する信頼できる第三者監査者を考える「最適化」方法の2つのクラスに大別される。後者の主な課題は、トレーニング中のGPUタイプ間のハードウェア非決定性により、監査人がトレーニングプロセスを正確に複製できないため、そのようなスキームは非破壊的である。本研究では,対象モデルよりも高精度なトレーニング,中間計算ステップ後のラウンドリング,適応的しきい値決定法に基づくラウンドリング決定を組み合わせ,非決定性をうまく制御する手法を提案する。 3種類のNVIDIA GPU(A40, Titan XP, RTX 2080 Ti)にわたって、我々は、ResNet-50(23M)モデルとGPT-2(117M)モデルのフルトレーニングと微調整の両方において、FP32精度で正確なトレーニングレプリケーションを実現する。検証可能なトレーニング手法は,証明ベースシステムと比較して,ストレージと時間コストを著しく削減する。

関連論文リスト

Always-Sparse Training by Growing Connections with Guided Stochastic Exploration [46.4179239171213]
本研究では,より大規模かつスペーサーなモデルへのスケーリングに優れる,効率的な常時スパーストレーニングアルゴリズムを提案する。我々は,VGGモデルとVTモデルを用いて,CIFAR-10/100 と ImageNet の手法を評価し,様々なスペーサー化手法と比較した。
論文参考訳（メタデータ） (2024-01-12T21:32:04Z)
Fast Machine Unlearning Without Retraining Through Selective Synaptic Dampening [51.34904967046097]
Selective Synaptic Dampening (SSD)は高速で、訓練データの長期保存を必要としない。高速で性能が高く,トレーニングデータの長期保存を必要としない,新しい2段階のポストホック,リトレーニングフリーなマシンアンラーニング手法を提案する。
論文参考訳（メタデータ） (2023-08-15T11:30:45Z)
No Train No Gain: Revisiting Efficient Training Algorithms For Transformer-based Language Models [31.080446886440757]
本稿では、動的アーキテクチャ(レイヤの積み重ね、ドロップ)、バッチ選択(選択的バックプロップ、ROH損失)、効率的なレイヤ(Lion, Sophia)の3つのカテゴリを再検討する。トレーニング,検証,ダウンストリームのゲインが,完全に遅延した学習率のベースラインに比べて消失していることが分かりました。我々は、全ての計算時間を参照システム時間と呼ぶ参照マシンにマッピングすることで、任意の計算でマシンを実行できる評価プロトコルを定義した。
論文参考訳（メタデータ） (2023-07-12T20:10:14Z)
GAT: Guided Adversarial Training with Pareto-optimal Auxiliary Tasks [73.88590165742721]
本稿では,限られた訓練データの下で補助的なタスクを活用する新しい対人訓練手法を提案する。本手法は, 対戦学習の最小値最適化において, シングルタスクモデルをマルチタスクモデルに拡張する。我々は、ガイド付きマルチタスク学習が、モデルロバスト性の境界をさらに推し進めるために、実践的で有望な方法であることを実証する。
論文参考訳（メタデータ） (2023-02-06T16:23:24Z)
Adversarial Coreset Selection for Efficient Robust Training [11.510009152620666]
トレーニングデータの小さなサブセットを選択することは、堅牢なトレーニングの時間的複雑さを軽減するための原則的なアプローチを提供する方法を示す。本手法が敵の訓練を2～3回高速化することを示すため,広範囲な実験を行った。
論文参考訳（メタデータ） (2022-09-13T07:37:53Z)
Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文参考訳（メタデータ） (2022-06-13T15:39:43Z)
Self-Progressing Robust Training [146.8337017922058]
敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
論文参考訳（メタデータ） (2020-12-22T00:45:24Z)
Once-for-All Adversarial Training: In-Situ Tradeoff between Robustness and Accuracy for Free [115.81899803240758]
敵の訓練とその多くの変種は、ネットワークの堅牢性を大幅に改善するが、標準精度を妥協するコストがかかる。本稿では,訓練されたモデルをその場で迅速に校正する方法を問うとともに,その標準と堅牢な精度のトレードオフについて検討する。提案するフレームワークであるOne-for-all Adversarial Training (OAT)は,革新的なモデル条件トレーニングフレームワーク上に構築されている。
論文参考訳（メタデータ） (2020-10-22T16:06:34Z)
Predicting Training Time Without Training [120.92623395389255]
我々は、事前訓練された深層ネットワークが損失関数の所定の値に収束する必要がある最適化ステップの数を予測する問題に取り組む。我々は、微調整中の深部ネットワークのトレーニングダイナミクスが線形化モデルによってよく近似されているという事実を活用する。トレーニングをする必要なく、特定の損失にモデルを微調整するのに要する時間を予測できます。
論文参考訳（メタデータ） (2020-08-28T04:29:54Z)
Multi-Precision Policy Enforced Training (MuPPET): A precision-switching strategy for quantised fixed-point training of CNNs [13.83645579871775]
大規模な畳み込みニューラルネットワーク(CNN)は、数時間から数週間にわたる非常に長いトレーニング時間に悩まされる。この研究は、複数の精度を利用するマルチレベルアプローチを採用することで、定量化トレーニングの境界を押し上げる。 MuPPETは、トレーニング時のスピードアップを最大1.84$times$、ネットワーク全体の平均スピードアップを1.58$times$とすることで、通常の完全精度トレーニングと同じ精度を達成する。
論文参考訳（メタデータ） (2020-06-16T10:14:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。