論文の概要: Semantic-Based Neural Network Repair
- arxiv url: http://arxiv.org/abs/2306.07995v1
- Date: Mon, 12 Jun 2023 16:18:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-16 23:41:33.824242
- Title: Semantic-Based Neural Network Repair
- Title（参考訳）: 意味に基づくニューラルネットワークの修復
- Authors: Richard Schumi, Jun Sun
- Abstract要約: 本稿では,ニューラルネットワークの自動修復手法を提案する。
私たちのアプローチは、ディープラーニングレイヤの実行可能なセマンティクスに基づいています。
私たちは、自動生成されたニューラルネットワークと、一般的なモデルバグに苦しむ手書きのものを修復する、という2つのユースケースに対するアプローチを評価します。
- 参考スコア（独自算出の注目度）: 4.092001692194709
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Recently, neural networks have spread into numerous fields including many
safety-critical systems. Neural networks are built (and trained) by programming
in frameworks such as TensorFlow and PyTorch. Developers apply a rich set of
pre-defined layers to manually program neural networks or to automatically
generate them (e.g., through AutoML). Composing neural networks with different
layers is error-prone due to the non-trivial constraints that must be satisfied
in order to use those layers. In this work, we propose an approach to
automatically repair erroneous neural networks. The challenge is in identifying
a minimal modification to the network so that it becomes valid. Modifying a
layer might have cascading effects on subsequent layers and thus our approach
must search recursively to identify a "globally" minimal modification. Our
approach is based on an executable semantics of deep learning layers and
focuses on four kinds of errors which are common in practice. We evaluate our
approach for two usage scenarios, i.e., repairing automatically generated
neural networks and manually written ones suffering from common model bugs. The
results show that we are able to repair 100% of a set of randomly generated
neural networks (which are produced with an existing AI framework testing
approach) effectively and efficiently (with an average repair time of 21.08s)
and 93.75% of a collection of real neural network bugs (with an average time of
3min 40s).
- Abstract（参考訳）: 近年、ニューラルネットワークは多くの安全クリティカルシステムを含む多くの分野に普及している。
ニューラルネットワークはTensorFlowやPyTorchといったフレームワークでプログラミングすることで構築(およびトレーニング)される。
開発者は、ニューラルネットワークを手動でプログラムしたり、自動生成する(AutoMLなど)ために、定義済みの豊富なレイヤを適用する。
異なるレイヤを持つニューラルネットワークを構成することは、これらのレイヤを使用するために満たさなければならない非自明な制約のためにエラーを起こしやすい。
本研究では,誤ったニューラルネットワークを自動的に修復する手法を提案する。
課題は、ネットワークが有効になるように最小限の変更を特定することである。
層の変更は、その後の層にカスケード効果をもたらす可能性があるので、我々のアプローチは「グローバルに」最小限の修正を特定するために再帰的に探索する必要がある。
提案手法は,ディープラーニングレイヤの実行可能なセマンティクスに基づいており,実際に一般的な4種類のエラーに焦点を当てている。
我々は,2つの利用シナリオ,すなわち,自動生成されたニューラルネットワークと,一般的なモデルバグに苦しむ手作業によるニューラルネットワークの修復について評価した。
その結果、ランダムに生成されたニューラルネットワーク群(既存のaiフレームワークテストアプローチで生成された)の100%を効果的かつ効率的に(平均修理時間は21.08秒)、93.75%の実際のニューラルネットワークバグ群(平均3min 40秒)の修復が可能となった。
関連論文リスト
- Verified Neural Compressed Sensing [58.98637799432153]
精度の高い計算タスクのために、初めて(私たちの知識を最大限に活用するために)証明可能なニューラルネットワークを開発します。
極小問題次元(最大50)では、線形および双項線形測定からスパースベクトルを確実に回復するニューラルネットワークを訓練できることを示す。
ネットワークの複雑さは問題の難易度に適応できることを示し、従来の圧縮センシング手法が証明不可能な問題を解く。
論文 参考訳（メタデータ） (2024-05-07T12:20:12Z) - Message Passing Variational Autoregressive Network for Solving Intractable Ising Models [6.261096199903392]
自己回帰型ニューラルネットワーク、畳み込み型ニューラルネットワーク、リカレントニューラルネットワーク、グラフニューラルネットワークなど、多くのディープニューラルネットワークがIsingモデルの解決に使用されている。
本稿では、スピン変数間の相互作用を効果的に活用できるメッセージパッシング機構を備えた変分自己回帰アーキテクチャを提案する。
新しいネットワークは、アニーリングフレームワークの下で訓練され、いくつかの原型スピンハミルトニアンの解法、特に低温での大きなスピン系において、既存の方法よりも優れている。
論文 参考訳（メタデータ） (2024-04-09T11:27:07Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。
緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
論文 参考訳（メタデータ） (2023-03-07T18:59:38Z) - Multi-Grade Deep Learning [3.0069322256338906]
現在のディープラーニングモデルは、シングルグレードのニューラルネットワークである。
本稿では,より効率的かつ効率的に深層ニューラルネットワークを学習できるマルチグレード学習モデルを提案する。
論文 参考訳（メタデータ） (2023-02-01T00:09:56Z) - Improving the Trainability of Deep Neural Networks through Layerwise
Batch-Entropy Regularization [1.3999481573773072]
ニューラルネットワークの各層を通しての情報の流れを定量化するバッチエントロピーを導入,評価する。
損失関数にバッチエントロピー正規化項を追加するだけで、500層からなる「バニラ」完全連結ネットワークと畳み込みニューラルネットワークをトレーニングできることが示される。
論文 参考訳（メタデータ） (2022-08-01T20:31:58Z) - Neural networks with linear threshold activations: structure and
algorithms [1.795561427808824]
クラス内で表現可能な関数を表現するのに、2つの隠れたレイヤが必要であることを示す。
また、クラス内の任意の関数を表すのに必要なニューラルネットワークのサイズについて、正確な境界を与える。
我々は,線形しきい値ネットワークと呼ばれるニューラルネットワークの新たなクラスを提案する。
論文 参考訳（メタデータ） (2021-11-15T22:33:52Z) - Incremental Deep Neural Network Learning using Classification Confidence
Thresholding [4.061135251278187]
分類のための現代のニューラルネットワークのほとんどは、未知の概念を考慮していない。
本稿では,逐次学習のための素数ニューラルネットワークに対する分類信頼度閾値アプローチを提案する。
論文 参考訳（メタデータ） (2021-06-21T22:46:28Z) - Firefly Neural Architecture Descent: a General Approach for Growing
Neural Networks [50.684661759340145]
firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。
ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。
特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
論文 参考訳（メタデータ） (2021-02-17T04:47:18Z) - Local Critic Training for Model-Parallel Learning of Deep Neural
Networks [94.69202357137452]
そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。
提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。
また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
論文 参考訳（メタデータ） (2021-02-03T09:30:45Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2020-04-06T15:51:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。