論文の概要: Numerical Stability of DeepGOPlus Inference
- arxiv url: http://arxiv.org/abs/2212.06361v2
- Date: Mon, 1 May 2023 21:47:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-03 17:37:11.261068
- Title: Numerical Stability of DeepGOPlus Inference
- Title（参考訳）: deepgoplus推論の数値安定性
- Authors: In\'es Gonzalez Pepe, Yohan Chatelain, Gregory Kiar, Tristan Glatard
- Abstract要約: 本稿では,DeepGOPlusの推論段階における浮動小数点演算の不確かさを定量化する。
また、DeepGOPlus推論に精度の低い浮動小数点フォーマットを使用することで、メモリ消費とレイテンシを低減する可能性についても検討した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Convolutional neural networks (CNNs) are currently among the most widely-used
neural networks available and achieve state-of-the-art performance for many
problems. While originally applied to computer vision tasks, CNNs work well
with any data with a spatial relationship, besides images, and have been
applied to different fields. However, recent works have highlighted how CNNs,
like other deep learning models, are sensitive to noise injection which can
jeopardise their performance. This paper quantifies the numerical uncertainty
of the floating point arithmetic inaccuracies of the inference stage of
DeepGOPlus, a CNN that predicts protein function, in order to determine its
numerical stability. In addition, this paper investigates the possibility to
use reduced-precision floating point formats for DeepGOPlus inference to reduce
memory consumption and latency. This is achieved with Monte Carlo Arithmetic, a
technique that experimentally quantifies floating point operation errors and
VPREC, a tool that emulates results with customizable floating point precision
formats. Focus is placed on the inference stage as it is the main deliverable
of the DeepGOPlus model that will be used across environments and therefore
most likely be subjected to the most amount of noise. Furthermore, studies have
shown that the inference stage is the part of the model which is most disposed
to being scaled down in terms of reduced precision. All in all, it has been
found that the numerical uncertainty of the DeepGOPlus CNN is very low at its
current numerical precision format, but the model cannot currently be reduced
to a lower precision that might render it more lightweight.
- Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は現在、最も広く使用されているニューラルネットワークのひとつであり、多くの問題に対して最先端のパフォーマンスを実現している。
元々はコンピュータビジョンのタスクに当てはまるが、CNNは画像以外の空間的関係のあるデータでもうまく機能し、様々な分野に適用されてきた。
しかし、最近の研究は、他のディープラーニングモデルと同様に、cnnがノイズ注入に敏感であり、パフォーマンスを損なうことを強調している。
本稿では、その数値安定性を決定するために、タンパク質機能を予測するCNNであるDeepGOPlusの推論段階の浮動小数点演算の不正確さを定量化する。
さらに,DeepGOPlus推論に精度の低い浮動小数点形式を用いることで,メモリ消費と遅延を低減できる可能性を検討した。
これは、浮動小数点演算誤差を実験的に定量化するMonte Carlo Arithmeticと、カスタマイズ可能な浮動小数点演算精度フォーマットで結果をエミュレートするVPRECによって実現されている。
deepgoplusのモデルが環境にまたがって使用されるため、最も多くのノイズにさらされる可能性があるため、推論の段階で焦点が当てられる。
さらに, 推定段階がモデルの一部であり, 精度の低下によるスケールダウンに最も適していることが研究で示されている。
全体として、DeepGOPlus CNNの数値的不確実性は、現在の数値精度フォーマットでは極めて低いが、現在のモデルではより軽量になるような低い精度に還元することはできない。
関連論文リスト
- ZOBNN: Zero-Overhead Dependable Design of Binary Neural Networks with Deliberately Quantized Parameters [0.0]
本稿では,低精度ニューラルネットワークの3番目の利点として,耐故障性の改善について紹介する。
本稿では,メモリ障害がBNN(State-of-the-art binary neural network)に与える影響を包括的解析により検討する。
本稿では,新しい均一量子化手法により,フロートパラメータの範囲を制限することにより,BNNの信頼性を向上させる手法を提案する。
論文 参考訳（メタデータ） (2024-07-06T05:31:11Z) - Efficient Privacy-Preserving Convolutional Spiking Neural Networks with
FHE [1.437446768735628]
ホモモルフィック暗号化(FHE)は、プライバシ保護計算の鍵となる技術である。
FHEは連続非ポリノミカル関数の処理に制限がある。
準同型SNNのためのFHE-DiCSNNというフレームワークを提案する。
FHE-DiCSNNの精度は97.94%で、元のネットワークの精度98.47%に比べて0.53%しか失われていない。
論文 参考訳（メタデータ） (2023-09-16T15:37:18Z) - EIGNN: Efficient Infinite-Depth Graph Neural Networks [51.97361378423152]
グラフニューラルネットワーク(GNN)は多くのアプリケーションでグラフ構造化データのモデリングに広く利用されている。
この制限により、無限深度GNNモデルを提案し、これをEIGNN(Efficient Infinite-Depth Graph Neural Networks)と呼ぶ。
EIGNNは、最近のベースラインよりも長距離依存関係をキャプチャする能力が優れており、常に最先端のパフォーマンスを実現していることを示す。
論文 参考訳（メタデータ） (2022-02-22T08:16:58Z) - Blurs Make Results Clearer: Spatial Smoothings to Improve Accuracy,
Uncertainty, and Robustness [0.0]
ベイズニューラルネットワーク(BNN)は不確実性推定とロバストネスの分野で成功している。
本稿では,CNNの近傍特徴写像点をアンサンブルする空間平滑化手法を提案する。
モデルにいくつかのぼやけた層を追加することで、空間的滑らか化がBNNの正確性、不確実性、堅牢性を改善することを実証的に示す。
論文 参考訳（メタデータ） (2021-05-26T15:58:11Z) - Physics-aware deep neural networks for surrogate modeling of turbulent
natural convection [0.0]
Rayleigh-B'enard乱流流に対するPINNのサーロゲートモデルの使用を検討する。
標準ピンの精度が低いゾーンであるトレーニング境界に近い正規化として、どのように機能するかを示す。
50億のDNS座標全体のサロゲートの予測精度は、相対的なL2ノルムで[0.3% -- 4%]の範囲のすべてのフロー変数のエラーをもたらします。
論文 参考訳（メタデータ） (2021-03-05T09:48:57Z) - Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。
破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-02-07T14:19:07Z) - AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。
我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
論文 参考訳（メタデータ） (2020-07-14T09:07:29Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z) - Learnable Bernoulli Dropout for Bayesian Deep Learning [53.79615543862426]
Learnable Bernoulli Dropout (LBD) は、他のモデルパラメータと共に最適化されたパラメータとしてドロップアウト率を考慮する新しいモデルに依存しないドロップアウトスキームである。
LBDは画像分類とセマンティックセグメンテーションにおける精度と不確実性の推定を改善する。
論文 参考訳（メタデータ） (2020-02-12T18:57:14Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳（メタデータ） (2020-02-03T04:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。