論文の概要: What does it take to catch a Chinchilla? Verifying Rules on Large-Scale Neural Network Training via Compute Monitoring

• arxiv url: http://arxiv.org/abs/2303.11341v2
• Date: Tue, 30 May 2023 22:17:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-02 02:51:29.588316
• Title: What does it take to catch a Chinchilla? Verifying Rules on Large-Scale Neural Network Training via Compute Monitoring
• Title（参考訳）: チンチラを捕まえるのに何が必要ですか。 計算モニタリングによる大規模ニューラルネットワークトレーニングのルール検証
• Authors: Yonadav Shavit
• Abstract要約: この研究は、大規模NNトレーニングに使用されるコンピューティングハードウェアを監視することによって、これを実現するための1つのメカニズムを分析する。 このフレームワークの主な目標は、合意されたルールに違反したトレーニングを実行するために、アクターが大量の特殊なMLチップを使用していないことを、政府に高い信頼を提供することである。
• 参考スコア（独自算出の注目度）: 2.0305676256390934
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As advanced machine learning systems' capabilities begin to play a significant role in geopolitics and societal order, it may become imperative that (1) governments be able to enforce rules on the development of advanced ML systems within their borders, and (2) countries be able to verify each other's compliance with potential future international agreements on advanced ML development. This work analyzes one mechanism to achieve this, by monitoring the computing hardware used for large-scale NN training. The framework's primary goal is to provide governments high confidence that no actor uses large quantities of specialized ML chips to execute a training run in violation of agreed rules. At the same time, the system does not curtail the use of consumer computing devices, and maintains the privacy and confidentiality of ML practitioners' models, data, and hyperparameters. The system consists of interventions at three stages: (1) using on-chip firmware to occasionally save snapshots of the the neural network weights stored in device memory, in a form that an inspector could later retrieve; (2) saving sufficient information about each training run to prove to inspectors the details of the training run that had resulted in the snapshotted weights; and (3) monitoring the chip supply chain to ensure that no actor can avoid discovery by amassing a large quantity of un-tracked chips. The proposed design decomposes the ML training rule verification problem into a series of narrow technical challenges, including a new variant of the Proof-of-Learning problem [Jia et al. '21].
• Abstract（参考訳）: 先進的な機械学習システムの能力が地政学・社会秩序において重要な役割を担い始めるにつれ、(1)政府は国境内における先進的なMLシステムの開発に関する規則を執行でき、(2)先進的なML開発に関する将来の国際協定に対する各国のコンプライアンスを検証できることが重要になる。 この研究は、大規模NNトレーニングに使用されるコンピューティングハードウェアを監視することによって、これを実現するための1つのメカニズムを分析する。 このフレームワークの主な目標は、合意されたルールに違反したトレーニングを実行するために、アクターが大量の特殊なMLチップを使用していないことを、政府に高い信頼を提供することである。 同時に、システムはコンシューマコンピューティングデバイスの使用を制限せず、ML実践者のモデル、データ、ハイパーパラメータのプライバシと機密性を維持する。 The system consists of interventions at three stages: (1) using on-chip firmware to occasionally save snapshots of the the neural network weights stored in device memory, in a form that an inspector could later retrieve; (2) saving sufficient information about each training run to prove to inspectors the details of the training run that had resulted in the snapshotted weights; and (3) monitoring the chip supply chain to ensure that no actor can avoid discovery by amassing a large quantity of un-tracked chips. 提案した設計は、MLトレーニングルール検証問題を、Proof-of-Learning問題[Jia et al. '21]の新しい変種を含む、一連の狭い技術的課題に分解する。

関連論文リスト

• On-device Self-supervised Learning of Visual Perception Tasks aboard Hardware-limited Nano-quadrotors [53.59319391812798]
  SI50グラム以下のナノドロンは、学術と産業の両方で勢いを増している。 彼らの最も魅力的なアプリケーションは、知覚のためのディープラーニングモデルに依存している。 未知の環境にデプロイする場合、これらのモデルはドメインシフトによってパフォーマンスが低下することが多い。 本研究では,ナノドローンを用いたデバイス上での学習を初めて提案する。
  論文  参考訳（メタデータ） (2024-03-06T22:04:14Z)
• XFedHunter: An Explainable Federated Learning Framework for Advanced Persistent Threat Detection in SDN [0.0]
  この研究は、Software-Defined Networking (SDN)におけるAPT検出のための説明可能なフェデレート学習フレームワークであるXFedHunterを提案する。 XFedHunterでは、悪意のある事象を効果的に明らかにするために、グラフニューラルネットワーク(GNN)とディープラーニングモデルが使用される。 NF-ToN-IoTとDARPA TCE3データセットの実験結果は、我々のフレームワークがMLベースのシステムの信頼性と説明責任を高めることを示唆している。
  論文  参考訳（メタデータ） (2023-09-15T15:44:09Z)
• ShadowNet for Data-Centric Quantum System Learning [188.683909185536]
  本稿では,ニューラルネットワークプロトコルと古典的シャドウの強みを組み合わせたデータ中心学習パラダイムを提案する。 ニューラルネットワークの一般化力に基づいて、このパラダイムはオフラインでトレーニングされ、これまで目に見えないシステムを予測できる。 量子状態トモグラフィーおよび直接忠実度推定タスクにおいて、我々のパラダイムのインスタンス化を示し、60量子ビットまでの数値解析を行う。
  論文  参考訳（メタデータ） (2023-08-22T09:11:53Z)
• Harnessing the Speed and Accuracy of Machine Learning to Advance Cybersecurity [0.0]
  従来のシグネチャベースのマルウェア検出方法は、複雑な脅威を検出するのに制限がある。 近年、機械学習はマルウェアを効果的に検出する有望なソリューションとして出現している。 MLアルゴリズムは、大規模なデータセットを分析し、人間が識別するのが困難なパターンを特定することができる。
  論文  参考訳（メタデータ） (2023-02-24T02:42:38Z)
• Assurance Monitoring of Learning Enabled Cyber-Physical Systems Using Inductive Conformal Prediction based on Distance Learning [2.66512000865131]
  本稿では,学習可能なサイバー物理システムの保証監視手法を提案する。 リアルタイムの保証監視を可能にするため,高次元入力を低次元埋め込み表現に変換するために距離学習を用いる。 壁面認識,話者認識,交通信号認識の3つの移動ロボットを用いて,そのアプローチを実証する。
  論文  参考訳（メタデータ） (2021-10-07T00:21:45Z)
• PWG-IDS: An Intrusion Detection Model for Solving Class Imbalance in IIoT Networks Using Generative Adversarial Networks [13.552023164115138]
  本稿では,WWG-IDS(PWG-IDS)の予測手法を提案する。 We use LightGBM as the classification algorithm to detect attack traffic in IIoT network。 提案したPWG-IDSは、F1スコアが99%、F1スコアが89%の他のモデルよりも優れている。
  論文  参考訳（メタデータ） (2021-10-06T02:34:50Z)
• Inspect, Understand, Overcome: A Survey of Practical Methods for AI Safety [54.478842696269304]
  安全クリティカルなアプリケーションにディープニューラルネットワーク(DNN)を使用することは、多数のモデル固有の欠点のために困難です。 近年,これらの安全対策を目的とした最先端技術動物園が出現している。 本稿は、機械学習の専門家と安全エンジニアの両方に対処する。
  論文  参考訳（メタデータ） (2021-04-29T09:54:54Z)
• Machine Learning for Massive Industrial Internet of Things [69.52379407906017]
  モノのインターネット(IIoT)は、モノのインターネット技術を産業環境に統合することで、将来の製造施設に革命をもたらします。 大規模なIIoTデバイスのデプロイでは、無線ネットワークがさまざまなQoS(Quality-of-Service)要件でユビキタス接続をサポートすることは困難である。 まず、一般的な非クリティカルかつクリティカルなIIoTユースケースの要件を要約します。 次に、大規模なIIoTシナリオと対応する機械学習ソリューションのユニークな特性を、その制限と潜在的な研究方向で識別します。
  論文  参考訳（メタデータ） (2021-03-10T20:10:53Z)
• Controlling nonlinear dynamical systems into arbitrary states using machine learning [77.34726150561087]
  機械学習(ML)を活用した,新しい完全データ駆動制御方式を提案する。 最近開発されたMLに基づく複雑なシステムの予測機能により、非線形系は任意の初期状態から来る任意の動的対象状態に留まることが証明された。 必要なデータ量が少なく,柔軟性の高いコントロールスキームを備えることで,工学から医学まで幅広い応用の可能性について簡単に議論する。
  論文  参考訳（メタデータ） (2021-02-23T16:58:26Z)
• Dos and Don'ts of Machine Learning in Computer Security [74.1816306998445]
  大きな可能性にもかかわらず、セキュリティにおける機械学習は、パフォーマンスを損なう微妙な落とし穴を引き起こす傾向がある。 我々は,学習ベースのセキュリティシステムの設計,実装,評価において共通の落とし穴を特定する。 我々は,落とし穴の回避や軽減を支援するために,研究者を支援するための実用的な勧告を提案する。
  論文  参考訳（メタデータ） (2020-10-19T13:09:31Z)
• Assurance Monitoring of Cyber-Physical Systems with Machine Learning Components [2.1320960069210484]
  我々は,サイバー物理システムの保証監視にコンフォメーション予測フレームワークを使用する方法について検討する。 リアルタイムに高次元入力を処理するために,学習モデルの埋め込み表現を用いて非整合性スコアを計算する。 整合性予測を活用することで、この手法は十分に校正された信頼性を提供し、限定された小さなエラー率を保証する監視を可能にする。
  論文  参考訳（メタデータ） (2020-01-14T19:34:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。