論文の概要: What does it take to catch a Chinchilla? Verifying Rules on Large-Scale
Neural Network Training via Compute Monitoring
- arxiv url: http://arxiv.org/abs/2303.11341v1
- Date: Mon, 20 Mar 2023 13:50:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-22 17:54:51.206428
- Title: What does it take to catch a Chinchilla? Verifying Rules on Large-Scale
Neural Network Training via Compute Monitoring
- Title(参考訳): チンチラを捕まえるのに何が必要ですか。
計算モニタリングによる大規模ニューラルネットワークトレーニングのルール検証
- Authors: Yonadav Shavit
- Abstract要約: この研究は、大規模NNトレーニングに使用されるコンピューティングハードウェアを監視することによって、これを実現するための1つのメカニズムを分析する。
このフレームワークの主な目標は、合意されたルールに違反したトレーニングを実行するために、アクターが大量の特殊なMLチップを使用していないことを、政府に高い信頼を提供することである。
- 参考スコア(独自算出の注目度): 2.0305676256390934
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As advanced machine learning systems' capabilities begin to play a
significant role in geopolitics and societal order, it may become imperative
that (1) governments be able to enforce rules on the development of advanced ML
systems within their borders, and (2) countries be able to verify each other's
compliance with potential future international agreements on advanced ML
development. This work analyzes one mechanism to achieve this, by monitoring
the computing hardware used for large-scale NN training. The framework's
primary goal is to provide governments high confidence that no actor uses large
quantities of specialized ML chips to execute a training run in violation of
agreed rules. At the same time, the system does not curtail the use of consumer
computing devices, and maintains the privacy and confidentiality of ML
practitioners' models, data, and hyperparameters. The system consists of
interventions at three stages: (1) using on-chip firmware to occasionally save
snapshots of the the neural network weights stored in device memory, in a form
that an inspector could later retrieve; (2) saving sufficient information about
each training run to prove to inspectors the details of the training run that
had resulted in the snapshotted weights; and (3) monitoring the chip supply
chain to ensure that no actor can avoid discovery by amassing a large quantity
of un-tracked chips. The proposed design decomposes the ML training rule
verification problem into a series of narrow technical challenges, including a
new variant of the Proof-of-Learning problem [Jia et al. '21].
- Abstract(参考訳): 先進的な機械学習システムの能力が地政学・社会秩序において重要な役割を担い始めるにつれ、(1)政府は国境内における先進的なMLシステムの開発に関する規則を執行でき、(2)先進的なML開発に関する将来の国際協定に対する各国のコンプライアンスを検証できることが重要になる。
この研究は、大規模NNトレーニングに使用されるコンピューティングハードウェアを監視することによって、これを実現するための1つのメカニズムを分析する。
このフレームワークの主な目標は、合意されたルールに違反したトレーニングを実行するために、アクターが大量の特殊なMLチップを使用していないことを、政府に高い信頼を提供することである。
同時に、システムはコンシューマコンピューティングデバイスの使用を制限せず、ML実践者のモデル、データ、ハイパーパラメータのプライバシと機密性を維持する。
The system consists of interventions at three stages: (1) using on-chip firmware to occasionally save snapshots of the the neural network weights stored in device memory, in a form that an inspector could later retrieve; (2) saving sufficient information about each training run to prove to inspectors the details of the training run that had resulted in the snapshotted weights; and (3) monitoring the chip supply chain to ensure that no actor can avoid discovery by amassing a large quantity of un-tracked chips.
提案した設計は、MLトレーニングルール検証問題を、Proof-of-Learning問題[Jia et al. '21]の新しい変種を含む、一連の狭い技術的課題に分解する。
関連論文リスト
- On-device Self-supervised Learning of Visual Perception Tasks aboard
Hardware-limited Nano-quadrotors [53.59319391812798]
SI50グラム以下のナノドロンは、学術と産業の両方で勢いを増している。
彼らの最も魅力的なアプリケーションは、知覚のためのディープラーニングモデルに依存している。
未知の環境にデプロイする場合、これらのモデルはドメインシフトによってパフォーマンスが低下することが多い。
本研究では,ナノドローンを用いたデバイス上での学習を初めて提案する。
論文 参考訳(メタデータ) (2024-03-06T22:04:14Z) - XFedHunter: An Explainable Federated Learning Framework for Advanced
Persistent Threat Detection in SDN [0.0]
この研究は、Software-Defined Networking (SDN)におけるAPT検出のための説明可能なフェデレート学習フレームワークであるXFedHunterを提案する。
XFedHunterでは、悪意のある事象を効果的に明らかにするために、グラフニューラルネットワーク(GNN)とディープラーニングモデルが使用される。
NF-ToN-IoTとDARPA TCE3データセットの実験結果は、我々のフレームワークがMLベースのシステムの信頼性と説明責任を高めることを示唆している。
論文 参考訳(メタデータ) (2023-09-15T15:44:09Z) - Privacy Side Channels in Machine Learning Systems [82.85919161427604]
プライバシサイドチャネルは、システムレベルのコンポーネントを利用してプライベート情報を抽出する攻撃である。
機械学習ライフサイクル全体にわたるサイドチャネルの4つのカテゴリを提案する。
我々の結果は、全体的なエンドツーエンドのプライバシー分析の必要性を示しています。
論文 参考訳(メタデータ) (2023-09-11T16:49:05Z) - ShadowNet for Data-Centric Quantum System Learning [188.683909185536]
本稿では,ニューラルネットワークプロトコルと古典的シャドウの強みを組み合わせたデータ中心学習パラダイムを提案する。
ニューラルネットワークの一般化力に基づいて、このパラダイムはオフラインでトレーニングされ、これまで目に見えないシステムを予測できる。
量子状態トモグラフィーおよび直接忠実度推定タスクにおいて、我々のパラダイムのインスタンス化を示し、60量子ビットまでの数値解析を行う。
論文 参考訳(メタデータ) (2023-08-22T09:11:53Z) - Assurance Monitoring of Learning Enabled Cyber-Physical Systems Using
Inductive Conformal Prediction based on Distance Learning [2.66512000865131]
本稿では,学習可能なサイバー物理システムの保証監視手法を提案する。
リアルタイムの保証監視を可能にするため,高次元入力を低次元埋め込み表現に変換するために距離学習を用いる。
壁面認識,話者認識,交通信号認識の3つの移動ロボットを用いて,そのアプローチを実証する。
論文 参考訳(メタデータ) (2021-10-07T00:21:45Z) - PWG-IDS: An Intrusion Detection Model for Solving Class Imbalance in
IIoT Networks Using Generative Adversarial Networks [13.552023164115138]
本稿では,WWG-IDS(PWG-IDS)の予測手法を提案する。
We use LightGBM as the classification algorithm to detect attack traffic in IIoT network。
提案したPWG-IDSは、F1スコアが99%、F1スコアが89%の他のモデルよりも優れている。
論文 参考訳(メタデータ) (2021-10-06T02:34:50Z) - Inspect, Understand, Overcome: A Survey of Practical Methods for AI
Safety [54.478842696269304]
安全クリティカルなアプリケーションにディープニューラルネットワーク(DNN)を使用することは、多数のモデル固有の欠点のために困難です。
近年,これらの安全対策を目的とした最先端技術動物園が出現している。
本稿は、機械学習の専門家と安全エンジニアの両方に対処する。
論文 参考訳(メタデータ) (2021-04-29T09:54:54Z) - Controlling nonlinear dynamical systems into arbitrary states using
machine learning [77.34726150561087]
機械学習(ML)を活用した,新しい完全データ駆動制御方式を提案する。
最近開発されたMLに基づく複雑なシステムの予測機能により、非線形系は任意の初期状態から来る任意の動的対象状態に留まることが証明された。
必要なデータ量が少なく,柔軟性の高いコントロールスキームを備えることで,工学から医学まで幅広い応用の可能性について簡単に議論する。
論文 参考訳(メタデータ) (2021-02-23T16:58:26Z) - Robust Machine Learning Systems: Challenges, Current Trends,
Perspectives, and the Road Ahead [24.60052335548398]
機械学習(ML)技術は、スマートサイバーフィジカルシステム(CPS)とIoT(Internet-of-Things)によって急速に採用されています。
ハードウェアとソフトウェアの両方のレベルで、さまざまなセキュリティと信頼性の脅威に脆弱であり、その正確性を損ないます。
本稿では、現代のMLシステムの顕著な脆弱性を要約し、これらの脆弱性に対する防御と緩和技術の成功を強調する。
論文 参考訳(メタデータ) (2021-01-04T20:06:56Z) - Dos and Don'ts of Machine Learning in Computer Security [74.1816306998445]
大きな可能性にもかかわらず、セキュリティにおける機械学習は、パフォーマンスを損なう微妙な落とし穴を引き起こす傾向がある。
我々は,学習ベースのセキュリティシステムの設計,実装,評価において共通の落とし穴を特定する。
我々は,落とし穴の回避や軽減を支援するために,研究者を支援するための実用的な勧告を提案する。
論文 参考訳(メタデータ) (2020-10-19T13:09:31Z) - Assurance Monitoring of Cyber-Physical Systems with Machine Learning
Components [2.1320960069210484]
我々は,サイバー物理システムの保証監視にコンフォメーション予測フレームワークを使用する方法について検討する。
リアルタイムに高次元入力を処理するために,学習モデルの埋め込み表現を用いて非整合性スコアを計算する。
整合性予測を活用することで、この手法は十分に校正された信頼性を提供し、限定された小さなエラー率を保証する監視を可能にする。
論文 参考訳(メタデータ) (2020-01-14T19:34:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。