論文の概要: Sequencing the Neurome: Towards Scalable Exact Parameter Reconstruction of Black-Box Neural Networks

• arxiv url: http://arxiv.org/abs/2409.19138v1
• Date: Fri, 27 Sep 2024 21:02:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 04:21:02.500235
• Title: Sequencing the Neurome: Towards Scalable Exact Parameter Reconstruction of Black-Box Neural Networks
• Title（参考訳）: ニューロンのシークエンシング:ブラックボックスニューラルネットワークのスケーラブルなパラメータ再構成を目指して
• Authors: Judah Goldfeder, Quinten Roets, Gabe Guo, John Wright, Hod Lipson,
• Abstract要約: クエリアクセスのみでニューラルネットワークの正確なパラメータを推測することはNP-Hardの問題である。 本稿では,最大情報化サンプルを生成し,非線形関係を効率的に解き放つ新しいクエリ生成アルゴリズムを提案する。 本稿では,150万以上のパラメータを含む隠れネットワークを再構築し,最大パラメータ差が0.0001未満の7層のうち,最大かつ最も深い再構成を行った。
• 参考スコア（独自算出の注目度）: 7.0710630443004705
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inferring the exact parameters of a neural network with only query access is an NP-Hard problem, with few practical existing algorithms. Solutions would have major implications for security, verification, interpretability, and understanding biological networks. The key challenges are the massive parameter space, and complex non-linear relationships between neurons. We resolve these challenges using two insights. First, we observe that almost all networks used in practice are produced by random initialization and first order optimization, an inductive bias that drastically reduces the practical parameter space. Second, we present a novel query generation algorithm that produces maximally informative samples, letting us untangle the non-linear relationships efficiently. We demonstrate reconstruction of a hidden network containing over 1.5 million parameters, and of one 7 layers deep, the largest and deepest reconstructions to date, with max parameter difference less than 0.0001, and illustrate robustness and scalability across a variety of architectures, datasets, and training procedures.
• Abstract（参考訳）: クエリアクセスのみでニューラルネットワークの正確なパラメータを推測することは、NP-Hardの問題であり、実践的なアルゴリズムはほとんど存在しない。 解決策は、セキュリティ、検証、解釈可能性、生物学的ネットワークの理解に大きな影響を及ぼすだろう。 主要な課題は、巨大なパラメータ空間とニューロン間の複雑な非線形関係である。 私たちは2つの洞察を使ってこれらの課題を解決します。 まず、ランダム初期化と1次最適化により、実際に使用されるネットワークのほとんどすべてが生成されることを観察し、実用的なパラメータ空間を劇的に減少させる帰納的バイアスを観測する。 第2に、最大情報化サンプルを生成し、非線形関係を効率的に解き放つ新しいクエリ生成アルゴリズムを提案する。 我々は,150万以上のパラメータを含む隠れネットワークの再構築を実演し,最大パラメータ差0.0001未満で,最大7層,最大7層,最大7層,最大7層,最大7層,最大7層を再現し,さまざまなアーキテクチャ,データセット,トレーニング手順における堅牢性とスケーラビリティを示す。

関連論文リスト

• Principled Architecture-aware Scaling of Hyperparameters [69.98414153320894]
  高品質のディープニューラルネットワークをトレーニングするには、非自明で高価なプロセスである適切なハイパーパラメータを選択する必要がある。 本研究では,ネットワークアーキテクチャにおける初期化と最大学習率の依存性を正確に評価する。 ネットワークランキングは、ベンチマークのトレーニングネットワークにより容易に変更可能であることを実証する。
  論文  参考訳（メタデータ） (2024-02-27T11:52:49Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• Acceleration techniques for optimization over trained neural network ensembles [1.0323063834827415]
  本研究では, 線形単位活性化の補正されたフィードフォワードニューラルネットワークを用いて, 目的関数をモデル化する最適化問題について検討する。 本稿では,1つのニューラルネットワークを最適化するために,既存のBig-M$の定式化をベースとした混合整数線形プログラムを提案する。
  論文  参考訳（メタデータ） (2021-12-13T20:50:54Z)
• Training Integrable Parameterizations of Deep Neural Networks in the Infinite-Width Limit [0.0]
  大きな幅のダイナミクスは実世界のディープネットワークに関する実践的な洞察を導いてきた。 2層ニューラルネットワークでは、トレーニングされたモデルの性質が初期ランダムウェイトの大きさによって根本的に変化することが理解されている。 この自明な振る舞いを避けるための様々な手法を提案し、その結果のダイナミクスを詳細に分析する。
  論文  参考訳（メタデータ） (2021-10-29T07:53:35Z)
• IQNAS: Interpretable Integer Quadratic Programming Neural Architecture Search [40.77061519007659]
  適合ネットワークを見つけるための一般的なアプローチは、制約付きニューラルネットワークサーチ(NAS)である。 従来はネットワークの精度に複雑な予測器を使用していた。 IQNAS (Interpretable Quadratic Programming Neural Architecture Search) を導入する。
  論文  参考訳（メタデータ） (2021-10-24T09:45:00Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• 1-Dimensional polynomial neural networks for audio signal related problems [3.867363075280544]
  提案モデルでは,1DCNNよりも少ない時間と少ないメモリで,より関連性の高い情報を抽出できることを示す。 この非線形性により、音声信号に関する様々な分類や回帰問題において、通常の1DCNNよりも計算量や空間的複雑さの少ないモデルが得られることを示す。
  論文  参考訳（メタデータ） (2020-09-09T02:29:53Z)
• Efficient and Sparse Neural Networks by Pruning Weights in a Multiobjective Learning Approach [0.0]
  本稿では、予測精度とネットワーク複雑性を2つの個別目的関数として扱うことにより、ニューラルネットワークのトレーニングに関する多目的視点を提案する。 模範的畳み込みニューラルネットワークの予備的な数値結果から、ニューラルネットワークの複雑性の大幅な低減と精度の低下が可能であることが確認された。
  論文  参考訳（メタデータ） (2020-08-31T13:28:03Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Binary Neural Networks: A Survey [126.67799882857656]
  バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。 バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。 本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
  論文  参考訳（メタデータ） (2020-03-31T16:47:20Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。