Fugu-MT 論文翻訳(概要): Scalable and Efficient Methods for Uncertainty Estimation and Reduction in Deep Learning

論文の概要: Scalable and Efficient Methods for Uncertainty Estimation and Reduction in Deep Learning

arxiv url: http://arxiv.org/abs/2401.07145v1
Date: Sat, 13 Jan 2024 19:30:34 GMT
ステータス: 処理完了
システム内更新日: 2024-01-17 19:31:52.149050
Title: Scalable and Efficient Methods for Uncertainty Estimation and Reduction in Deep Learning
Title（参考訳）: 深層学習における不確かさ推定と削減のためのスケーラブルで効率的な手法
Authors: Soyed Tuhin Ahmed
Abstract要約: 本稿では,ディープラーニングにおける不確実性推定と削減のためのスケーラブルで効率的な手法について検討する。アウト・オブ・ディストリビューション・インプットとハードウェアの非理想性に起因する不確実性に対処する。提案手法は,問題認識学習アルゴリズム,新しいNNトポロジ,ハードウェア共同設計ソリューションを含む。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Neural networks (NNs) can achieved high performance in various fields such as computer vision, and natural language processing. However, deploying NNs in resource-constrained safety-critical systems has challenges due to uncertainty in the prediction caused by out-of-distribution data, and hardware non-idealities. To address the challenges of deploying NNs in resource-constrained safety-critical systems, this paper summarizes the (4th year) PhD thesis work that explores scalable and efficient methods for uncertainty estimation and reduction in deep learning, with a focus on Computation-in-Memory (CIM) using emerging resistive non-volatile memories. We tackle the inherent uncertainties arising from out-of-distribution inputs and hardware non-idealities, crucial in maintaining functional safety in automated decision-making systems. Our approach encompasses problem-aware training algorithms, novel NN topologies, and hardware co-design solutions, including dropout-based \emph{binary} Bayesian Neural Networks leveraging spintronic devices and variational inference techniques. These innovations significantly enhance OOD data detection, inference accuracy, and energy efficiency, thereby contributing to the reliability and robustness of NN implementations.
Abstract（参考訳）: ニューラルネットワーク(NN)は、コンピュータビジョンや自然言語処理といった様々な分野で高いパフォーマンスを達成することができる。しかしながら、資源に制約のある安全クリティカルなシステムへのnnのデプロイは、アウトオブディストリビューションデータによる予測の不確実性や、ハードウェアの非理想性によって困難である。本稿では,資源拘束型安全クリティカルシステムにおけるnns導入の課題を解決するため,不確実性推定と深層学習の削減のためのスケーラブルで効率的な手法を検討する4年目の博士論文を,新たに出現する抵抗性不揮発性メモリを用いた計算・イン・メモリ(cim)に着目して要約する。我々は,自動意思決定システムにおける機能的安全性の維持に不可欠である,分配外入力とハードウェア非理想から生じる本質的不確実性に取り組む。我々のアプローチは、スピントロニクスデバイスと変分推論技術を活用したドロップアウトベース \emph{binary} Bayesian Neural Networks を含む、問題認識トレーニングアルゴリズム、新しいNNトポロジ、ハードウェア共同設計ソリューションを含む。これらのイノベーションはOODデータの検出、推測精度、エネルギー効率を大幅に向上させ、NN実装の信頼性と堅牢性に寄与する。

関連論文リスト

Scaling #DNN-Verification Tools with Efficient Bound Propagation and Parallel Computing [57.49021927832259]
ディープニューラルネットワーク(DNN)は多くのシナリオで異常な結果を示した強力なツールです。しかし、それらの複雑な設計と透明性の欠如は、現実世界のアプリケーションに適用する際の安全性上の懸念を提起する。 DNNの形式的検証(FV)は、安全面の証明可能な保証を提供する貴重なソリューションとして登場した。
論文参考訳（メタデータ） (2023-12-10T13:51:25Z)
Scale-Dropout: Estimating Uncertainty in Deep Neural Networks Using Stochastic Scale [0.7025445595542577]
ニューラルネットワーク(NN)の不確実性推定は、特に安全クリティカルなアプリケーションにおいて、予測の信頼性と信頼性を向上させる上で不可欠である。 Dropoutを近似とするBayNNは、不確実性に対する体系的なアプローチを提供するが、本質的には、電力、メモリ、定量化の点で高いハードウェアオーバーヘッドに悩まされている。提案するBayNNに対して,スピントロニクスメモリベースのCIMアーキテクチャを導入し,最先端技術と比較して100倍以上の省エネを実現した。
論文参考訳（メタデータ） (2023-11-27T13:41:20Z)
Efficient Uncertainty Quantification and Reduction for Over-Parameterized Neural Networks [23.7125322065694]
不確実性定量化(UQ)は、機械学習モデルの信頼性評価と強化に重要である。統計学的に保証されたスキームを作成し、主に、過剰パラメータ化ニューラルネットワークの不確実性である、エンフェラクタライズし、エンフェレモーブする。特に,PNC予測器(Procedural-noise-correcting, Procedural-noise-correcting, PNC)に基づくアプローチでは,適切なラベル付きデータセットでトレーニングされたEmphone補助ネットワークのみを用いることで,手続き的不確実性を取り除く。
論文参考訳（メタデータ） (2023-06-09T05:15:53Z)
APPRAISER: DNN Fault Resilience Analysis Employing Approximation Errors [1.1091582432763736]
安全クリティカルなアプリケーションにおけるディープニューラルネットワーク(DNN)は、新たな信頼性の懸念を引き起こす。エミュレーションによる断層注入の最先端手法は, 時間, 設計, 制御・複雑度の問題を引き起こす。 APPRAISERは、非伝統的な目的に関数近似を適用し、近似計算誤差を用いる。
論文参考訳（メタデータ） (2023-05-31T10:53:46Z)
Physics-Informed Neural Networks for Time-Domain Simulations: Accuracy, Computational Cost, and Flexibility [0.0]
物理インフォームドニューラルネットワーク(PINN)は,非線形力学系の計算を劇的に高速化するための,有望なソリューションである。本研究では,負荷変動に対する動的応答に着目し,これらの手法の適用性について検討する。そこで本研究では,損失関数に勾配に基づく項を導入することにより,ニューラルネットワーク(NN)トレーニングの新たな正規化を提案する。
論文参考訳（メタデータ） (2023-03-15T23:53:32Z)
On Robust Numerical Solver for ODE via Self-Attention Mechanism [82.95493796476767]
我々は,内在性雑音障害を緩和し,AIによって強化された数値解法を,データサイズを小さくする訓練について検討する。まず,教師付き学習における雑音を制御するための自己認識機構の能力を解析し,さらに微分方程式の数値解に付加的な自己認識機構を導入し,簡便かつ有効な数値解法であるAttrを提案する。
論文参考訳（メタデータ） (2023-02-05T01:39:21Z)
Backward Reachability Analysis of Neural Feedback Loops: Techniques for Linear and Nonlinear Systems [59.57462129637796]
本稿では,ニューラルネットワークを用いた閉ループシステムの安全性検証のための後方到達性アプローチを提案する。フィードバックループにおけるNNの存在は、その活性化関数の非線形性や、NNモデルは一般に可逆的ではないため、ユニークな問題セットを示す。フィードフォワードNNで表される制御ポリシを持つ線形系と非線形系のBP過近似を計算するためのフレームワークを提案する。
論文参考訳（メタデータ） (2022-09-28T13:17:28Z)
The Unreasonable Effectiveness of Deep Evidential Regression [72.30888739450343]
不確実性を考慮した回帰ベースニューラルネットワーク(NN)による新しいアプローチは、従来の決定論的手法や典型的なベイズ的NNよりも有望であることを示している。我々は、理論的欠点を詳述し、合成および実世界のデータセットのパフォーマンスを分析し、Deep Evidential Regressionが正確な不確実性ではなく定量化であることを示す。
論文参考訳（メタデータ） (2022-05-20T10:10:32Z)
Towards Energy-Efficient and Secure Edge AI: A Cross-Layer Framework [13.573645522781712]
ディープニューラルネットワーク(DNN)とスパイクニューラルネットワーク(SNN)は、リソース制約されたエッジデバイスに対して最先端の結果を提供する。これらのシステムは、様々なセキュリティと信頼性の脅威の下で、正しい機能を維持する必要がある。本稿では、まず、異なるシステム層におけるエネルギー効率、信頼性、セキュリティ問題に対処するための既存のアプローチについて論じる。
論文参考訳（メタデータ） (2021-09-20T20:22:56Z)
Learning to Solve the AC-OPF using Sensitivity-Informed Deep Neural Networks [52.32646357164739]
最適な電力フロー(ACOPF)のソリューションを解決するために、ディープニューラルネットワーク(DNN)を提案します。提案されたSIDNNは、幅広いOPFスキームと互換性がある。他のLearning-to-OPFスキームとシームレスに統合できる。
論文参考訳（メタデータ） (2021-03-27T00:45:23Z)
Increasing the Confidence of Deep Neural Networks by Coverage Analysis [71.57324258813674]
本稿では、異なる安全でない入力に対してモデルを強化するために、カバレッジパラダイムに基づく軽量な監視アーキテクチャを提案する。実験結果から,提案手法は強力な対向例とアウト・オブ・ディストリビューション・インプットの両方を検出するのに有効であることが示唆された。
論文参考訳（メタデータ） (2021-01-28T16:38:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。