論文の概要: Verified Neural Compressed Sensing
- arxiv url: http://arxiv.org/abs/2405.04260v1
- Date: Tue, 7 May 2024 12:20:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-08 14:10:19.066468
- Title: Verified Neural Compressed Sensing
- Title（参考訳）: ニューラル圧縮センシングの検証
- Authors: Rudy Bunel, Krishnamurthy, Dvijotham, M. Pawan Kumar, Alessandro De Palma, Robert Stanforth,
- Abstract要約: 精度の高い計算タスクのために、初めて(私たちの知識を最大限に活用するために)証明可能なニューラルネットワークを開発します。
極小問題次元(最大50)では、線形および双項線形測定からスパースベクトルを確実に回復するニューラルネットワークを訓練できることを示す。
ネットワークの複雑さは問題の難易度に適応できることを示し、従来の圧縮センシング手法が証明不可能な問題を解く。
- 参考スコア（独自算出の注目度）: 50.17248385162761
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We develop the first (to the best of our knowledge) provably correct neural networks for a precise computational task, with the proof of correctness generated by an automated verification algorithm without any human input. Prior work on neural network verification has focused on partial specifications that, even when satisfied, are not sufficient to ensure that a neural network never makes errors. We focus on applying neural network verification to computational tasks with a precise notion of correctness, where a verifiably correct neural network provably solves the task at hand with no caveats. In particular, we develop an approach to train and verify the first provably correct neural networks for compressed sensing, i.e., recovering sparse vectors from a number of measurements smaller than the dimension of the vector. We show that for modest problem dimensions (up to 50), we can train neural networks that provably recover a sparse vector from linear and binarized linear measurements. Furthermore, we show that the complexity of the network (number of neurons/layers) can be adapted to the problem difficulty and solve problems where traditional compressed sensing methods are not known to provably work.
- Abstract（参考訳）: 人間の入力を使わずに自動検証アルゴリズムが生成した正しさの証明を用いて、ニューラルネットワークを精度の高い計算タスクのために証明可能な最初の(私たちの知る限り)修正する。
ニューラルネットワーク検証の以前の研究は、たとえ満足しても、ニューラルネットワークが決してエラーを発生しないことを保証するのに十分ではない部分的な仕様に重点を置いていた。
我々は,ニューラルネットワークの精度を正確に定義した計算タスクにニューラルネットワークの検証を適用することに注力する。
特に,圧縮センシングのための最初の確証可能なニューラルネットワーク,すなわちベクトルの次元よりも小さい多数の測定値からスパースベクトルを復元する手法を開発し,検証する。
極小問題次元(最大50)では、線形および双項線形測定からスパースベクトルを確実に回復するニューラルネットワークを訓練できることを示す。
さらに、ネットワークの複雑さ(ニューロン/層数)が問題に適応できることを示し、従来の圧縮センシング手法が有効に機能していない問題を解決する。
関連論文リスト
- Efficient and Flexible Method for Reducing Moderate-size Deep Neural Networks with Condensation [36.41451383422967]
科学的応用において、ニューラルネットワークのスケールは概して中規模であり、主に推論の速度を保証する。
既存の研究によると、ニューラルネットワークの強力な能力は、主に非線形性に起因する。
本稿では,本手法の有効性を検証するための凝縮低減アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-05-02T06:53:40Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳（メタデータ） (2023-07-20T13:34:11Z) - Correlation between entropy and generalizability in a neural network [9.223853439465582]
We use Wang-Landau Mote Carlo algorithm to compute the entropy at a specified test accuracy。
この結果から,エントロピック力は一般化に有効であることが示唆された。
論文 参考訳（メタデータ） (2022-07-05T12:28:13Z) - Consistency of Neural Networks with Regularization [0.0]
本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。
双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
論文 参考訳（メタデータ） (2022-06-22T23:33:39Z) - Reachability In Simple Neural Networks [2.7195102129095003]
NP-hardnessは、単純な仕様とニューラルネットワークの制限されたクラスをすでに保持していることを示す。
我々は、ニューラルネットワーク検証研究のこの方向の展開の可能性について、徹底的な議論と展望を行う。
論文 参考訳（メタデータ） (2022-03-15T14:25:44Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳（メタデータ） (2021-10-12T01:11:07Z) - The mathematics of adversarial attacks in AI -- Why deep learning is
unstable despite the existence of stable neural networks [69.33657875725747]
固定アーキテクチャを用いた分類問題に対するニューラルネットワークのトレーニングに基づくトレーニング手順が,不正確あるいは不安定なニューラルネットワーク(正確であれば)を生み出すことを証明している。
鍵となるのは、安定かつ正確なニューラルネットワークは入力に依存する可変次元を持つ必要があり、特に、可変次元は安定性に必要な条件である。
我々の結果は、正確で安定したニューラルネットワークが存在するというパラドックスを示しているが、現代のアルゴリズムはそれらを計算していない。
論文 参考訳（メタデータ） (2021-09-13T16:19:25Z) - A biologically plausible neural network for local supervision in
cortical microcircuits [17.00937011213428]
我々は、明示的なエラーやバックプロパゲーションを避けるニューラルネットワークを訓練するためのアルゴリズムを導出する。
我々のアルゴリズムは、大脳皮質の接続構造や学習規則に顕著な類似性を持つニューラルネットワークにマップする。
論文 参考訳（メタデータ） (2020-11-30T17:35:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。