論文の概要: Artificial Neural Network Pruning to Extract Knowledge

• arxiv url: http://arxiv.org/abs/2005.06284v2
• Date: Tue, 3 Aug 2021 11:55:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-03 09:58:32.156030
• Title: Artificial Neural Network Pruning to Extract Knowledge
• Title（参考訳）: 知識抽出のためのニューラルネットワークpruning
• Authors: Evgeny M Mirkes
• Abstract要約: 本稿では,これらの問題を解決するための基本的NN単純化問題と制御プルーニング手順を列挙する。 提案手法は,各タスクに対するNNの最適構造を確認し,各入力信号とNNパラメータの影響を測定し,NNのアルゴリズムとスキルの詳細な記述を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Artificial Neural Networks (NN) are widely used for solving complex problems from medical diagnostics to face recognition. Despite notable successes, the main disadvantages of NN are also well known: the risk of overfitting, lack of explainability (inability to extract algorithms from trained NN), and high consumption of computing resources. Determining the appropriate specific NN structure for each problem can help overcome these difficulties: Too poor NN cannot be successfully trained, but too rich NN gives unexplainable results and may have a high chance of overfitting. Reducing precision of NN parameters simplifies the implementation of these NN, saves computing resources, and makes the NN skills more transparent. This paper lists the basic NN simplification problems and controlled pruning procedures to solve these problems. All the described pruning procedures can be implemented in one framework. The developed procedures, in particular, find the optimal structure of NN for each task, measure the influence of each input signal and NN parameter, and provide a detailed verbal description of the algorithms and skills of NN. The described methods are illustrated by a simple example: the generation of explicit algorithms for predicting the results of the US presidential election.
• Abstract（参考訳）: 人工ニューラルネットワーク(NN)は、医学診断から顔認識まで、複雑な問題を解決するために広く使われている。 NNの主な欠点は、過度な適合のリスク、説明可能性の欠如(訓練されたNNからアルゴリズムを抽出できない)、コンピューティングリソースの高消費である。 各問題に対して適切なNN構造を決定することは、これらの困難を克服するのに役立ちます。 NNパラメータの精度の低下は、これらのNNの実装を単純化し、コンピューティングリソースを節約し、NNスキルをより透明にする。 本稿では,これらの問題を解決するための基本的NN単純化問題と制御プルーニング手順を列挙する。 記述されたプルーニング手順はすべて、1つのフレームワークで実装できる。 開発した手法は,特に,各タスクに対するNNの最適構造を見つけ,各入力信号とNNパラメータの影響を測定し,NNのアルゴリズムとスキルの詳細な記述を提供する。 説明された手法は、単純な例で示される: アメリカ合衆国大統領選挙の結果を予測する明示的なアルゴリズムの生成。

関連論文リスト

• NN-Steiner: A Mixed Neural-algorithmic Approach for the Rectilinear Steiner Minimum Tree Problem [5.107107601277712]
  ICレイアウト設計において重要となるリチ線形スタイナー最小木(RSMT)問題に着目する。 提案するNN-Steinerは,RSMTを演算するための新しいニューラル・アルゴリズムフレームワークである。 特にNN-Steinerは、アルゴリズムフレームワーク内で繰り返し呼び出される4つのニューラルネットワーク(NN)コンポーネントのみを必要とする。
  論文  参考訳（メタデータ） (2023-12-17T02:42:11Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Recurrent Convolutional Neural Networks Learn Succinct Learning Algorithms [25.1675203905385]
  一定サイズの学習アルゴリズムで記述可能な任意の効率的な学習アルゴリズムと同様に、学習するNNアーキテクチャを示す。 私たちのアーキテクチャは、レイヤ間の繰り返しの重み付けと畳み込みの重み付けの両方を組み合わせて、パラメータの数を一定に減らします。 実際には、我々の分析の定数は、直接的に意味を持つには大きすぎるが、我々の研究は、RecurrentとConvolutional NNの相乗効果が、どちらよりも強力である可能性を示唆している。
  論文  参考訳（メタデータ） (2022-09-01T21:55:22Z)
• Automated Repair of Neural Networks [0.26651200086513094]
  安全でないNNの安全仕様を修復するためのフレームワークを提案する。 提案手法では,重み値のいくつかを修正して,新しい安全なNN表現を探索することができる。 我々は,提案するフレームワークが安全なNNを実現する能力を示す広範な実験を行った。
  論文  参考訳（メタデータ） (2022-07-17T12:42:24Z)
• Reachability In Simple Neural Networks [2.7195102129095003]
  NP-hardnessは、単純な仕様とニューラルネットワークの制限されたクラスをすでに保持していることを示す。 我々は、ニューラルネットワーク検証研究のこの方向の展開の可能性について、徹底的な議論と展望を行う。
  論文  参考訳（メタデータ） (2022-03-15T14:25:44Z)
• Learning to Detect Critical Nodes in Sparse Graphs via Feature Importance Awareness [53.351863569314794]
  クリティカルノード問題(CNP)は、削除が残余ネットワークのペア接続性を最大に低下させるネットワークから臨界ノードの集合を見つけることを目的としている。 本研究は,ノード表現のための特徴重要度対応グラフアテンションネットワークを提案する。 ダブルディープQネットワークと組み合わせて、初めてCNPを解くエンドツーエンドのアルゴリズムを作成する。
  論文  参考訳（メタデータ） (2021-12-03T14:23:05Z)
• The mathematics of adversarial attacks in AI -- Why deep learning is unstable despite the existence of stable neural networks [69.33657875725747]
  固定アーキテクチャを用いた分類問題に対するニューラルネットワークのトレーニングに基づくトレーニング手順が,不正確あるいは不安定なニューラルネットワーク(正確であれば)を生み出すことを証明している。 鍵となるのは、安定かつ正確なニューラルネットワークは入力に依存する可変次元を持つ必要があり、特に、可変次元は安定性に必要な条件である。 我々の結果は、正確で安定したニューラルネットワークが存在するというパラドックスを示しているが、現代のアルゴリズムはそれらを計算していない。
  論文  参考訳（メタデータ） (2021-09-13T16:19:25Z)
• Characterizing possible failure modes in physics-informed neural networks [55.83255669840384]
  科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。 既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。 これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
  論文  参考訳（メタデータ） (2021-09-02T16:06:45Z)
• Bounding the Complexity of Formally Verifying Neural Networks: A Geometric Approach [1.9493449206135296]
  ReLUニューラルネットワーク(NN)の複雑さを正式に検証することを検討する。 本稿では,2つの異なるNNに対して,検証問題は2種類の制約を満たすことを示す。 両方のアルゴリズムは、NNパラメータをハイパープレーンを用いてNNアーキテクチャの効果に効率的に変換する。
  論文  参考訳（メタデータ） (2020-12-22T00:29:54Z)
• Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
  ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。 DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。 コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
  論文  参考訳（メタデータ） (2020-06-30T14:56:05Z)
• Robust Pruning at Initialization [61.30574156442608]
  計算リソースが限られているデバイス上で、機械学習アプリケーションを使用するための、より小さく、エネルギー効率のよいニューラルネットワークの必要性が高まっている。 ディープNNにとって、このような手順はトレーニングが困難であり、例えば、ひとつの層が完全に切断されるのを防ぐことができないため、満足できないままである。
  論文  参考訳（メタデータ） (2020-02-19T17:09:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。