論文の概要: Numerical Stability of DeepGOPlus Inference

• arxiv url: http://arxiv.org/abs/2212.06361v4
• Date: Wed, 28 Feb 2024 18:38:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-29 19:20:22.815332
• Title: Numerical Stability of DeepGOPlus Inference
• Title（参考訳）: deepgoplus推論の数値安定性
• Authors: In\'es Gonzalez Pepe, Yohan Chatelain, Gregory Kiar, Tristan Glatard
• Abstract要約: 畳み込みニューラルネットワーク(CNN)は現在、最も広く使われているディープニューラルネットワーク(DNN)アーキテクチャの1つである。 最近の研究は、DNNにおける数値安定性の課題を強調しており、ノイズ注入に対する既知の感度にも関係している。 本稿では,タンパク質機能を予測するCNNであるDeepGOPlusについて検討する。
• 参考スコア（独自算出の注目度）: 1.5361702135159845
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Convolutional neural networks (CNNs) are currently among the most widely-used deep neural network (DNN) architectures available and achieve state-of-the-art performance for many problems. Originally applied to computer vision tasks, CNNs work well with any data with a spatial relationship, besides images, and have been applied to different fields. However, recent works have highlighted numerical stability challenges in DNNs, which also relates to their known sensitivity to noise injection. These challenges can jeopardise their performance and reliability. This paper investigates DeepGOPlus, a CNN that predicts protein function. DeepGOPlus has achieved state-of-the-art performance and can successfully take advantage and annotate the abounding protein sequences emerging in proteomics. We determine the numerical stability of the model's inference stage by quantifying the numerical uncertainty resulting from perturbations of the underlying floating-point data. In addition, we explore the opportunity to use reduced-precision floating point formats for DeepGOPlus inference, to reduce memory consumption and latency. This is achieved by instrumenting DeepGOPlus' execution using Monte Carlo Arithmetic, a technique that experimentally quantifies floating point operation errors and VPREC, a tool that emulates results with customizable floating point precision formats. Focus is placed on the inference stage as it is the primary deliverable of the DeepGOPlus model, widely applicable across different environments. All in all, our results show that although the DeepGOPlus CNN is very stable numerically, it can only be selectively implemented with lower-precision floating-point formats. We conclude that predictions obtained from the pre-trained DeepGOPlus model are very reliable numerically, and use existing floating-point formats efficiently.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は現在、利用可能な最も広く使用されているディープニューラルネットワーク(DNN)アーキテクチャの1つであり、多くの問題に対して最先端のパフォーマンスを実現している。 元々はコンピュータビジョンのタスクに応用され、CNNは画像以外の空間的関係のあるデータでもうまく機能し、様々な分野に適用されてきた。 しかし、近年の研究では、DNNにおける数値安定性の課題が強調されている。 これらの課題は、パフォーマンスと信頼性を損なう可能性がある。 本稿では,タンパク質機能を予測するCNNであるDeepGOPlusについて検討する。 DeepGOPlusは最先端のパフォーマンスを達成し、プロテオミクスで出現するタンパク質配列をうまく利用し、注釈を付けることができる。 本研究では,浮動小数点データの摂動による不確かさを定量化し,モデル推定段階の数値安定性を決定する。 さらに,DeepGOPlus推論に精度の低い浮動小数点フォーマットを用いることで,メモリ消費とレイテンシを低減する機会を探究する。 これは、浮動小数点演算エラーを実験的に定量化するMonte Carlo Arithmeticと、カスタマイズ可能な浮動小数点演算精度フォーマットで結果をエミュレートするVPRECを使用してDeepGOPlusの実行を計測することで実現されている。 deepgoplusモデルの主要な成果物であり、異なる環境にまたがって広く適用できるため、推論の段階に焦点が当てられる。 以上の結果から,DeepGOPlus CNNは数値的に非常に安定しているが,より精度の低い浮動小数点型でしか実装できないことがわかった。 事前学習したdeepgoplusモデルから得られた予測は非常に信頼性が高く,既存の浮動小数点形式を効率的に利用することができる。

関連論文リスト

• ZOBNN: Zero-Overhead Dependable Design of Binary Neural Networks with Deliberately Quantized Parameters [0.0]
  本稿では,低精度ニューラルネットワークの3番目の利点として,耐故障性の改善について紹介する。 本稿では,メモリ障害がBNN(State-of-the-art binary neural network)に与える影響を包括的解析により検討する。 本稿では,新しい均一量子化手法により,フロートパラメータの範囲を制限することにより,BNNの信頼性を向上させる手法を提案する。
  論文  参考訳（メタデータ） (2024-07-06T05:31:11Z)
• Efficient Privacy-Preserving Convolutional Spiking Neural Networks with FHE [1.437446768735628]
  ホモモルフィック暗号化(FHE)は、プライバシ保護計算の鍵となる技術である。 FHEは連続非ポリノミカル関数の処理に制限がある。 準同型SNNのためのFHE-DiCSNNというフレームワークを提案する。 FHE-DiCSNNの精度は97.94%で、元のネットワークの精度98.47%に比べて0.53%しか失われていない。
  論文  参考訳（メタデータ） (2023-09-16T15:37:18Z)
• EIGNN: Efficient Infinite-Depth Graph Neural Networks [51.97361378423152]
  グラフニューラルネットワーク(GNN)は多くのアプリケーションでグラフ構造化データのモデリングに広く利用されている。 この制限により、無限深度GNNモデルを提案し、これをEIGNN(Efficient Infinite-Depth Graph Neural Networks)と呼ぶ。 EIGNNは、最近のベースラインよりも長距離依存関係をキャプチャする能力が優れており、常に最先端のパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2022-02-22T08:16:58Z)
• Blurs Make Results Clearer: Spatial Smoothings to Improve Accuracy, Uncertainty, and Robustness [0.0]
  ベイズニューラルネットワーク(BNN)は不確実性推定とロバストネスの分野で成功している。 本稿では,CNNの近傍特徴写像点をアンサンブルする空間平滑化手法を提案する。 モデルにいくつかのぼやけた層を追加することで、空間的滑らか化がBNNの正確性、不確実性、堅牢性を改善することを実証的に示す。
  論文  参考訳（メタデータ） (2021-05-26T15:58:11Z)
• Physics-aware deep neural networks for surrogate modeling of turbulent natural convection [0.0]
  Rayleigh-B'enard乱流流に対するPINNのサーロゲートモデルの使用を検討する。 標準ピンの精度が低いゾーンであるトレーニング境界に近い正規化として、どのように機能するかを示す。 50億のDNS座標全体のサロゲートの予測精度は、相対的なL2ノルムで[0.3% -- 4%]の範囲のすべてのフロー変数のエラーをもたらします。
  論文  参考訳（メタデータ） (2021-03-05T09:48:57Z)
• Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
  本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。 破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-07T14:19:07Z)
• AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
  本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。 我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
  論文  参考訳（メタデータ） (2020-07-14T09:07:29Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)
• Learnable Bernoulli Dropout for Bayesian Deep Learning [53.79615543862426]
  Learnable Bernoulli Dropout (LBD) は、他のモデルパラメータと共に最適化されたパラメータとしてドロップアウト率を考慮する新しいモデルに依存しないドロップアウトスキームである。 LBDは画像分類とセマンティックセグメンテーションにおける精度と不確実性の推定を改善する。
  論文  参考訳（メタデータ） (2020-02-12T18:57:14Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。