論文の概要: Fixed-Point Code Synthesis For Neural Networks
- arxiv url: http://arxiv.org/abs/2202.02095v1
- Date: Fri, 4 Feb 2022 12:02:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-07 21:38:44.034353
- Title: Fixed-Point Code Synthesis For Neural Networks
- Title（参考訳）: ニューラルネットワークのための固定点符号合成
- Authors: Hanane Benmaghnia, Matthieu Martel and Yassamine Seladji
- Abstract要約: 固定点算術を用いて、すでに訓練済みのニューラルネットワークのフォーマット(精度)を調整するための新しい手法が導入された。
新たな最適化されたニューラルネットワークは、ユーザによって固定されたしきい値まで精度を変更することなく、その出力を固定点数で計算する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Over the last few years, neural networks have started penetrating safety
critical systems to take decisions in robots, rockets, autonomous driving car,
etc. A problem is that these critical systems often have limited computing
resources. Often, they use the fixed-point arithmetic for its many advantages
(rapidity, compatibility with small memory devices.) In this article, a new
technique is introduced to tune the formats (precision) of already trained
neural networks using fixed-point arithmetic, which can be implemented using
integer operations only. The new optimized neural network computes the output
with fixed-point numbers without modifying the accuracy up to a threshold fixed
by the user. A fixed-point code is synthesized for the new optimized neural
network ensuring the respect of the threshold for any input vector belonging
the range [xmin, xmax] determined during the analysis. From a technical point
of view, we do a preliminary analysis of our floating neural network to
determine the worst cases, then we generate a system of linear constraints
among integer variables that we can solve by linear programming. The solution
of this system is the new fixed-point format of each neuron. The experimental
results obtained show the efficiency of our method which can ensure that the
new fixed-point neural network has the same behavior as the initial
floating-point neural network.
- Abstract（参考訳）: ここ数年、ニューラルネットワークは、ロボット、ロケット、自律走行車などの決定を下すために、安全クリティカルシステムを浸透させ始めている。
問題は、これらの重要なシステムがしばしば限られた計算資源を持っていることである。
多くの場合、彼らは多くの利点(適応性、小さなメモリデバイスとの互換性)のために固定点演算を使用します。この記事では、整数演算のみを使用して実装可能な固定点演算を使用して、すでにトレーニング済みのニューラルネットワークのフォーマット(精度)を調整する新しい技術を紹介します。
新しい最適化ニューラルネットワークは、ユーザが固定したしきい値まで精度を変更せずに、不動点数で出力を計算する。
解析中に決定された範囲[xmin,xmax]に属する入力ベクトルのしきい値の尊重を確実にする新しい最適化ニューラルネットワークに対して、固定点符号を合成する。
技術的な見地からすると、我々は浮動小数点ニューラルネットワークの予備分析を行い、最悪の場合を判定し、線形計画によって解決できる整数変数間の線形制約のシステムを生成する。
このシステムの解決策は、各ニューロンの新しい固定点形式である。
実験の結果,新しい固定点ニューラルネットワークが初期浮動小数点ニューラルネットワークと同一の振舞いを持つことを保証するため,本手法の有効性が示された。
関連論文リスト
- RelChaNet: Neural Network Feature Selection using Relative Change Scores [0.0]
本稿では、ニューラルネットワークの入力層にニューロンのプルーニングと再成長を利用する、新しくて軽量な特徴選択アルゴリズムであるRelChaNetを紹介する。
我々の手法は一般に現在の最先端手法よりも優れており、特にMNISTデータセットの平均精度を2%向上させる。
論文 参考訳（メタデータ） (2024-10-03T09:56:39Z) - GradINN: Gradient Informed Neural Network [2.287415292857564]
物理情報ニューラルネットワーク(PINN)にヒントを得た手法を提案する。
GradINNは、システムの勾配に関する事前の信念を利用して、予測関数の勾配を全ての入力次元にわたって制限する。
非時間依存システムにまたがる多様な問題に対するGradINNの利点を実証する。
論文 参考訳（メタデータ） (2024-09-03T14:03:29Z) - LinSATNet: The Positive Linear Satisfiability Neural Networks [116.65291739666303]
本稿では,ニューラルネットワークに人気の高い正の線形満足度を導入する方法について検討する。
本稿では,古典的なシンクホーンアルゴリズムを拡張し,複数の辺分布の集合を共同で符号化する,最初の微分可能満足層を提案する。
論文 参考訳（メタデータ） (2024-07-18T22:05:21Z) - Verified Neural Compressed Sensing [58.98637799432153]
精度の高い計算タスクのために、初めて(私たちの知識を最大限に活用するために)証明可能なニューラルネットワークを開発します。
極小問題次元(最大50)では、線形および双項線形測定からスパースベクトルを確実に回復するニューラルネットワークを訓練できることを示す。
ネットワークの複雑さは問題の難易度に適応できることを示し、従来の圧縮センシング手法が証明不可能な問題を解く。
論文 参考訳（メタデータ） (2024-05-07T12:20:12Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Adaptive neural domain refinement for solving time-dependent
differential equations [0.0]
ニューラルネットワークを用いた微分方程式の古典的な解法は、解領域の離散化を伴う微分方程式を用いるニューラルネットワーク形式に基づいている。
このような重要かつ成功した戦略を、ニューラルネットワークベースのソリューションの分野に移行することが望ましい。
本稿では,時間依存問題の解決を目的とした新しい適応型ニューラルアプローチを提案する。
論文 参考訳（メタデータ） (2021-12-23T13:19:07Z) - Acceleration techniques for optimization over trained neural network
ensembles [1.0323063834827415]
本研究では, 線形単位活性化の補正されたフィードフォワードニューラルネットワークを用いて, 目的関数をモデル化する最適化問題について検討する。
本稿では,1つのニューラルネットワークを最適化するために,既存のBig-M$の定式化をベースとした混合整数線形プログラムを提案する。
論文 参考訳（メタデータ） (2021-12-13T20:50:54Z) - Neural networks with linear threshold activations: structure and
algorithms [1.795561427808824]
クラス内で表現可能な関数を表現するのに、2つの隠れたレイヤが必要であることを示す。
また、クラス内の任意の関数を表すのに必要なニューラルネットワークのサイズについて、正確な境界を与える。
我々は,線形しきい値ネットワークと呼ばれるニューラルネットワークの新たなクラスを提案する。
論文 参考訳（メタデータ） (2021-11-15T22:33:52Z) - The mathematics of adversarial attacks in AI -- Why deep learning is
unstable despite the existence of stable neural networks [69.33657875725747]
固定アーキテクチャを用いた分類問題に対するニューラルネットワークのトレーニングに基づくトレーニング手順が,不正確あるいは不安定なニューラルネットワーク(正確であれば)を生み出すことを証明している。
鍵となるのは、安定かつ正確なニューラルネットワークは入力に依存する可変次元を持つ必要があり、特に、可変次元は安定性に必要な条件である。
我々の結果は、正確で安定したニューラルネットワークが存在するというパラドックスを示しているが、現代のアルゴリズムはそれらを計算していない。
論文 参考訳（メタデータ） (2021-09-13T16:19:25Z) - Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。
破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-02-07T14:19:07Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。