論文の概要: Proof-of-Learning: Definitions and Practice
- arxiv url: http://arxiv.org/abs/2103.05633v1
- Date: Tue, 9 Mar 2021 18:59:54 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-10 15:11:59.074292
- Title: Proof-of-Learning: Definitions and Practice
- Title(参考訳): 学習の実証:定義と実践
- Authors: Hengrui Jia, Mohammad Yaghini, Christopher A. Choquette-Choo, Natalie
Dullerud, Anvith Thudi, Varun Chandrasekaran, Nicolas Papernot
- Abstract要約: トレーニングマシンラーニング(ML)モデルは通常、高価な反復最適化を伴う。
現在、これらのパラメータが実際にこの最適化手順の結果であることを証明するためにモデルを訓練したエンティティのメカニズムはありません。
本稿では,MLにおける学習の証明という概念を紹介する。
- 参考スコア(独自算出の注目度): 15.585184189361486
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training machine learning (ML) models typically involves expensive iterative
optimization. Once the model's final parameters are released, there is
currently no mechanism for the entity which trained the model to prove that
these parameters were indeed the result of this optimization procedure. Such a
mechanism would support security of ML applications in several ways. For
instance, it would simplify ownership resolution when multiple parties contest
ownership of a specific model. It would also facilitate the distributed
training across untrusted workers where Byzantine workers might otherwise mount
a denial-of-service by returning incorrect model updates.
In this paper, we remediate this problem by introducing the concept of
proof-of-learning in ML. Inspired by research on both proof-of-work and
verified computations, we observe how a seminal training algorithm, stochastic
gradient descent, accumulates secret information due to its stochasticity. This
produces a natural construction for a proof-of-learning which demonstrates that
a party has expended the compute require to obtain a set of model parameters
correctly. In particular, our analyses and experiments show that an adversary
seeking to illegitimately manufacture a proof-of-learning needs to perform *at
least* as much work than is needed for gradient descent itself.
We also instantiate a concrete proof-of-learning mechanism in both of the
scenarios described above. In model ownership resolution, it protects the
intellectual property of models released publicly. In distributed training, it
preserves availability of the training procedure. Our empirical evaluation
validates that our proof-of-learning mechanism is robust to variance induced by
the hardware (ML accelerators) and software stacks.
- Abstract(参考訳): トレーニングマシンラーニング(ML)モデルは通常、高価な反復最適化を伴う。
モデルの最終的なパラメータがリリースされると、モデルにこれらのパラメータが実際にこの最適化手順の結果であることを示すためにトレーニングされたエンティティのメカニズムは存在しない。
このようなメカニズムは、いくつかの方法でMLアプリケーションのセキュリティをサポートする。
たとえば、複数の当事者が特定のモデルの所有権を争う場合、所有権の解決を簡素化します。
また、Byzantineの労働者が間違ったモデル更新を返すことによってサービスの拒否をマウントする可能性がある、信頼できない労働者に分散トレーニングを容易にする。
本稿では,MLにおける学習の証明という概念を導入することで,この問題を再考する。
作業証明と検証計算の両方の研究から着想を得て,その確率性から秘密情報を蓄積する基礎的学習アルゴリズム,確率勾配降下を観察する。
これは、計算が正しいモデルパラメータの集合を得る必要があることを証明した、学習の証明のための自然な構成を生成する。
特に我々の分析と実験は、学習の証明を誤って作成しようとする敵が、勾配降下自体に必要な作業よりも、[少なくとも]多くの作業を行う必要があることを示している。
また、上記の両方のシナリオで具体的な学習証明メカニズムをインスタンス化します。
モデルオーナシップの解決では、公開されたモデルの知的財産を保護する。
分散トレーニングでは、トレーニング手順の可用性を維持する。
ハードウェア(MLアクセラレータ)とソフトウェアスタックによって引き起こされる分散に対して,我々の実証学習機構が堅牢であることを示す実験的検討を行った。
関連論文リスト
- AI Model Disgorgement: Methods and Choices [127.54319351058167]
本稿では,現代の機械学習システムに適用可能な分類法を紹介する。
学習モデルにおけるデータ「効果の除去」の意味を,スクラッチからリトレーニングする必要のない方法で検討する。
論文 参考訳(メタデータ) (2023-04-07T08:50:18Z) - Predictable MDP Abstraction for Unsupervised Model-Based RL [93.91375268580806]
予測可能なMDP抽象化(PMA)を提案する。
元のMDPで予測モデルを訓練する代わりに、学習されたアクション空間を持つ変換MDPでモデルを訓練する。
我々はPMAを理論的に解析し、PMAが以前の教師なしモデルベースRLアプローチよりも大幅に改善することを示す。
論文 参考訳(メタデータ) (2023-02-08T07:37:51Z) - Learning non-stationary and discontinuous functions using clustering,
classification and Gaussian process modelling [0.0]
非滑らかな関数の近似に対する3段階のアプローチを提案する。
この考え方は、システムの局所的な振る舞いや体制に従って空間を分割し、局所的なサロゲートを構築することである。
本手法は, 引張膜構造の2つの解析関数と有限要素モデルを用いて検証し, 検証した。
論文 参考訳(メタデータ) (2022-11-30T11:11:56Z) - Training Discrete Deep Generative Models via Gapped Straight-Through
Estimator [72.71398034617607]
再サンプリングのオーバーヘッドを伴わずに分散を低減するため, GST (Gapped Straight-Through) 推定器を提案する。
この推定子は、Straight-Through Gumbel-Softmaxの本質的な性質に着想を得たものである。
実験により,提案したGST推定器は,2つの離散的な深部生成モデリングタスクの強いベースラインと比較して,優れた性能を享受できることが示された。
論文 参考訳(メタデータ) (2022-06-15T01:46:05Z) - MACE: An Efficient Model-Agnostic Framework for Counterfactual
Explanation [132.77005365032468]
MACE(Model-Agnostic Counterfactual Explanation)の新たな枠組みを提案する。
MACE法では, 優れた反実例を見つけるための新しいRL法と, 近接性向上のための勾配のない降下法を提案する。
公開データセットの実験は、有効性、空間性、近接性を向上して検証する。
論文 参考訳(メタデータ) (2022-05-31T04:57:06Z) - Scanflow: A multi-graph framework for Machine Learning workflow
management, supervision, and debugging [0.0]
本稿では,エンドツーエンドの機械学習ワークフロー管理を支援するコンテナ化指向グラフフレームワークを提案する。
このフレームワークは、コンテナ内でMLを定義してデプロイし、メタデータを追跡し、本番環境での振る舞いを確認し、学習された知識と人為的な知識を使用してモデルを改善する。
論文 参考訳(メタデータ) (2021-11-04T17:01:12Z) - On the Necessity of Auditable Algorithmic Definitions for Machine
Unlearning [13.149070833843133]
機械学習、すなわち、トレーニングデータのいくつかを忘れるモデルを持つことは、プライバシー法が忘れられる権利の変種を促進するにつれ、ますます重要になっている。
まず、ほぼ未学習のモデルが正確に訓練されたモデルに近いことを証明しようとする、近似的未学習の定義は、異なるデータセットを用いて同じモデルを得ることができるため、正しくないことを示す。
そして、正確なアンラーニングアプローチに目を向け、アンラーニングのクレームの検証方法を尋ねます。
論文 参考訳(メタデータ) (2021-10-22T16:16:56Z) - Machine Unlearning of Features and Labels [72.81914952849334]
機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。
提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
論文 参考訳(メタデータ) (2021-08-26T04:42:24Z) - Certifiable Machine Unlearning for Linear Models [1.484852576248587]
機械学習は、トレーニングされたトレーニングデータのサブセットが削除された後、機械学習(ML)モデルを更新するタスクである。
本稿では,線形モデルに対する3つの非学習手法について実験的に検討する。
論文 参考訳(メタデータ) (2021-06-29T05:05:58Z) - A Note on High-Probability versus In-Expectation Guarantees of
Generalization Bounds in Machine Learning [95.48744259567837]
統計的機械学習理論は、しばしば機械学習モデルの一般化を保証するよう試みる。
機械学習モデルのパフォーマンスに関する声明は、サンプリングプロセスを考慮する必要がある。
1つのステートメントを別のステートメントに変換する方法を示します。
論文 参考訳(メタデータ) (2020-10-06T09:41:35Z) - PrIU: A Provenance-Based Approach for Incrementally Updating Regression
Models [9.496524884855559]
本稿では,予測精度を犠牲にすることなく,モデルパラメータを漸進的に更新する手法PrIUを提案する。
漸進的に更新されたモデルパラメータの正しさと収束性を証明し、実験的に検証する。
実験結果から, PrIU-optはスクラッチからモデルを再トレーニングするのに対して, 非常に類似したモデルを得るよりも, 最大2桁のスピードアップを達成できることがわかった。
論文 参考訳(メタデータ) (2020-02-26T21:04:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。