論文の概要: An Exact Poly-Time Membership-Queries Algorithm for Extraction a three-Layer ReLU Network

• arxiv url: http://arxiv.org/abs/2105.09673v1
• Date: Thu, 20 May 2021 11:24:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-21 17:10:59.636833
• Title: An Exact Poly-Time Membership-Queries Algorithm for Extraction a three-Layer ReLU Network
• Title（参考訳）: 3層reluネットワーク抽出のための高精度多時間メンバシップキューアルゴリズム
• Authors: Amit Daniely and Elad Granot
• Abstract要約: 機械学習が日々の生活でますます普及するにつれて、多くの組織がブラックボックスとしてニューラルネットベースのサービスを提供している。 学習モデルを隠す理由は、例えば、その行動のコピーを阻止したり、相手がそのメカニズムをリバースエンジニアリングするのを防ぐなど、様々である。 本研究では,ReLUアクティベーションを用いた3層ネットワークの動作を正確に模倣するために,多数のクエリを用いたニューラルネットワークアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 38.91075212630913
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As machine learning increasingly becomes more prevalent in our everyday life, many organizations offer neural-networks based services as a black-box. The reasons for hiding a learning model may vary: e.g., preventing copying of its behavior or keeping back an adversarial from reverse-engineering its mechanism and revealing sensitive information about its training data. However, even as a black-box, some information can still be discovered by specific queries. In this work, we show a polynomial-time algorithm that uses a polynomial number of queries to mimic precisely the behavior of a three-layer neural network that uses ReLU activation.
• Abstract（参考訳）: 機械学習が日々の生活でますます普及するにつれて、多くの組織がブラックボックスとしてニューラルネットベースのサービスを提供している。 学習モデルを隠す理由は、例えば、行動のコピーを防止したり、敵がメカニズムのリバースエンジニアリングを防ぎ、トレーニングデータに関する機密情報を明らかにするなど、さまざまである。 しかし、ブラックボックスとしても、いくつかの情報は特定のクエリによっても発見できる。 本研究では,ReLUアクティベーションを用いた3層ニューラルネットワークの動作を正確に模倣するために,多項式数を用いた多項式時間アルゴリズムを提案する。

関連論文リスト

• A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
  Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
  論文  参考訳（メタデータ） (2024-09-18T14:57:13Z)
• The Clock and the Pizza: Two Stories in Mechanistic Explanation of Neural Networks [59.26515696183751]
  ニューラルネットワークにおけるアルゴリズム発見は、時としてより複雑であることを示す。 単純な学習問題でさえ、驚くほど多様なソリューションを許容できることが示されています。
  論文  参考訳（メタデータ） (2023-06-30T17:59:13Z)
• Measures of Information Reflect Memorization Patterns [53.71420125627608]
  異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。 重要なことは、情報組織が記憶の2つの形態を指していることである。
  論文  参考訳（メタデータ） (2022-10-17T20:15:24Z)
• Long Short-term Cognitive Networks [2.2748974006378933]
  本稿では,短期認知ネットワーク(STCN)モデルの一般化として,Long Short-term Cognitive Networks (LSTCNs) と名づけられたリカレントニューラルネットワークを提案する。 我々のニューラルネットワークは、最先端のリカレントモデルよりも数千倍高速であるながら、小さな予測エラーを報告します。
  論文  参考訳（メタデータ） (2021-06-30T17:42:09Z)
• On the Post-hoc Explainability of Deep Echo State Networks for Time Series Forecasting, Image and Video Classification [63.716247731036745]
  エコー状態ネットワークは、主に学習アルゴリズムの単純さと計算効率のために、時間を通じて多くのスターを惹きつけてきた。 本研究では,時間系列,画像,映像データを用いた学習タスクに適用した場合のエコー状態ネットワークの説明可能性について検討した。 本研究では,これらの反復モデルが把握した知識に関する理解可能な情報を抽出する3つの手法を提案する。
  論文  参考訳（メタデータ） (2021-02-17T08:56:33Z)
• Exploring Flip Flop memories and beyond: training recurrent neural networks with key insights [0.0]
  本研究では,時間処理タスク,特に3ビットフリップフロップメモリの実装について検討する。 得られたネットワークは、可視化および分析ツールの配列によって支援され、ダイナミックスを解明するために慎重に分析される。
  論文  参考訳（メタデータ） (2020-10-15T16:25:29Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。