論文の概要: Reverse Engineering Deep ReLU Networks An Optimization-based Algorithm

• arxiv url: http://arxiv.org/abs/2312.04675v1
• Date: Thu, 7 Dec 2023 20:15:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-11 17:09:35.558984
• Title: Reverse Engineering Deep ReLU Networks An Optimization-based Algorithm
• Title（参考訳）: Reverse Engineering Deep ReLU Networks : 最適化に基づくアルゴリズム
• Authors: Mehrab Hamidi
• Abstract要約: 本稿では,凸最適化手法とサンプリングに基づくアプローチを利用して,深部ReLUネットワークを再構築する手法を提案する。 我々の研究は、リバースエンジニアリングの深いReLUネットワークへの取り組みに寄与し、ニューラルネットワークの解釈可能性とセキュリティの新たな進歩の道を開く。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reverse engineering deep ReLU networks is a critical problem in understanding the complex behavior and interpretability of neural networks. In this research, we present a novel method for reconstructing deep ReLU networks by leveraging convex optimization techniques and a sampling-based approach. Our method begins by sampling points in the input space and querying the black box model to obtain the corresponding hyperplanes. We then define a convex optimization problem with carefully chosen constraints and conditions to guarantee its convexity. The objective function is designed to minimize the discrepancy between the reconstructed networks output and the target models output, subject to the constraints. We employ gradient descent to optimize the objective function, incorporating L1 or L2 regularization as needed to encourage sparse or smooth solutions. Our research contributes to the growing body of work on reverse engineering deep ReLU networks and paves the way for new advancements in neural network interpretability and security.
• Abstract（参考訳）: ディープリルーネットワークのリバースエンジニアリングは、ニューラルネットワークの複雑な振る舞いと解釈可能性を理解する上で重要な問題である。 本研究では,凸最適化手法とサンプリングに基づくアプローチを利用して,深部ReLUネットワークを再構築する手法を提案する。 本手法は,入力空間内の点をサンプリングし,ブラックボックスモデルに照会して対応する超平面を得る。 次に、その凸性を保証するために、慎重に選択された制約と条件で凸最適化問題を定義する。 目的関数は、再構成されたネットワーク出力とターゲットモデル出力との差を最小限に抑えるように設計されている。 目的関数を最適化するために勾配降下法を用い、スパースあるいは滑らかな解を促進するためにL1またはL2正則化を必要に応じて取り入れる。 我々の研究は、リバースエンジニアリングの深いReLUネットワークへの取り組みに寄与し、ニューラルネットワークの解釈可能性とセキュリティの新たな進歩の道を開く。

関連論文リスト

• Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
  学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。 この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
  論文  参考訳（メタデータ） (2023-09-26T17:42:52Z)
• Large-scale global optimization of ultra-high dimensional non-convex landscapes based on generative neural networks [0.0]
  超高次元最適化を行うアルゴリズムを提案する。 ディープ・ジェネレーティブ・ネットワークをベースとしています 提案手法は, 最先端のアルゴリズムと比較して, 機能評価が少なく, 性能がよいことを示す。
  論文  参考訳（メタデータ） (2023-07-09T00:05:59Z)
• Optimal Sets and Solution Paths of ReLU Networks [56.40911684005949]
  最適なReLUネットワークの集合を特徴付ける分析フレームワークを開発した。 我々は、ReLUネットワークのニューラル化を継続する条件を確立し、ReLUネットワークに対する感度結果を開発する。
  論文  参考訳（メタデータ） (2023-05-31T18:48:16Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Fast Convex Optimization for Two-Layer ReLU Networks: Equivalent Model Classes and Cone Decompositions [41.337814204665364]
  ReLUアクティベーション機能を持つ2層ニューラルネットワークの凸最適化アルゴリズムを開発した。 凸ゲート型ReLUモデルでは,ReLUトレーニング問題に対するデータ依存の近似バウンダリが得られることを示す。
  論文  参考訳（メタデータ） (2022-02-02T23:50:53Z)
• Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for sparse recover [87.28082715343896]
  我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。 我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。 提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
  論文  参考訳（メタデータ） (2021-10-20T06:15:45Z)
• Path Regularization: A Convexity and Sparsity Inducing Regularization for Parallel ReLU Networks [75.33431791218302]
  本稿では,ディープニューラルネットワークのトレーニング問題について検討し,最適化環境に隠された凸性を明らかにするための解析的アプローチを提案する。 我々は、標準のディープ・ネットワークとResNetを特別なケースとして含む、ディープ・パラレルなReLUネットワークアーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2021-10-18T18:00:36Z)
• The Hidden Convex Optimization Landscape of Two-Layer ReLU Neural Networks: an Exact Characterization of the Optimal Solutions [51.60996023961886]
  コーン制約のある凸最適化プログラムを解くことにより,グローバルな2層ReLUニューラルネットワークの探索が可能であることを示す。 我々の分析は新しく、全ての最適解を特徴づけ、最近、ニューラルネットワークのトレーニングを凸空間に持ち上げるために使われた双対性に基づく分析を活用できない。
  論文  参考訳（メタデータ） (2020-06-10T15:38:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。