論文の概要: BayesFT: Bayesian Optimization for Fault Tolerant Neural Network Architecture

• arxiv url: http://arxiv.org/abs/2210.01795v1
• Date: Fri, 30 Sep 2022 20:13:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 17:03:17.592063
• Title: BayesFT: Bayesian Optimization for Fault Tolerant Neural Network Architecture
• Title（参考訳）: BayesFT: フォールトトレラントニューラルネットワークアーキテクチャのためのベイズ最適化
• Authors: Nanyang Ye, Jingbiao Mei, Zhicheng Fang, Yuwen Zhang, Ziqing Zhang, Huaying Wu, Xiaoyao Liang
• Abstract要約: フォールトトレラントニューラルネットワークアーキテクチャ(BayesFT)のための新しいベイズ最適化手法を提案する。 我々のフレームワークは,画像分類や物体検出など,様々なタスクにおいて,最先端の手法を最大10倍に向上させてきた。
• 参考スコア（独自算出の注目度）: 8.005491953251541
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To deploy deep learning algorithms on resource-limited scenarios, an emerging device-resistive random access memory (ReRAM) has been regarded as promising via analog computing. However, the practicability of ReRAM is primarily limited due to the weight drifting of ReRAM neural networks due to multi-factor reasons, including manufacturing, thermal noises, and etc. In this paper, we propose a novel Bayesian optimization method for fault tolerant neural network architecture (BayesFT). For neural architecture search space design, instead of conducting neural architecture search on the whole feasible neural architecture search space, we first systematically explore the weight drifting tolerance of different neural network components, such as dropout, normalization, number of layers, and activation functions in which dropout is found to be able to improve the neural network robustness to weight drifting. Based on our analysis, we propose an efficient search space by only searching for dropout rates for each layer. Then, we use Bayesian optimization to search for the optimal neural architecture robust to weight drifting. Empirical experiments demonstrate that our algorithmic framework has outperformed the state-of-the-art methods by up to 10 times on various tasks, such as image classification and object detection.
• Abstract（参考訳）: リソース制限されたシナリオにディープラーニングアルゴリズムをデプロイするために、新たなデバイス抵抗ランダムアクセスメモリ(ReRAM)がアナログコンピューティングを通じて有望であると見なされている。 しかし、ReRAMの実用性は主に、製造や熱騒音など多要素的な理由から、ReRAMニューラルネットワークの重みのドリフトによって制限されている。 本稿では,フォールトトレラントニューラルネットワークアーキテクチャ(BayesFT)のための新しいベイズ最適化手法を提案する。 ニューラルアーキテクチャの探索空間設計のために,ニューラルネットワークの検索空間全体を探索する代わりに,まず,ドロップアウト,正規化,レイヤ数,およびドロップアウトがニューラルネットワークの重みドリフトに対するロバスト性を改善することができるアクティベーション関数といった,異なるニューラルネットワークコンポーネントの重みドリフト耐性を体系的に検討する。 そこで本研究では,各層に対するドロップアウト率のみを探索し,効率的な探索空間を提案する。 次に,重みドリフトにロバストな最適なニューラルネットワークを探索するためにベイズ最適化を用いる。 実証実験により,画像分類や物体検出などの様々なタスクにおいて,アルゴリズムフレームワークが最先端の手法を最大10倍に上回ったことを実証した。

関連論文リスト

• Simultaneous Weight and Architecture Optimization for Neural Networks [6.2241272327831485]
  アーキテクチャとパラメータを勾配降下と同時に学習することで、プロセスを変換する新しいニューラルネットワークトレーニングフレームワークを導入する。 このアプローチの中心はマルチスケールエンコーダデコーダで、エンコーダは互いに近くにある同様の機能を持つニューラルネットワークのペアを埋め込む。 実験により、我々のフレームワークは、高性能を維持しているスパースでコンパクトなニューラルネットワークを発見できることを示した。
  論文  参考訳（メタデータ） (2024-10-10T19:57:36Z)
• Neural Networks for Vehicle Routing Problem [0.0]
  ルート最適化はニューラルネットワークの新たな課題と見なすことができる。 機械学習の最近の進歩は、複雑な問題に対処するための新しいツールセットを提供する。 ニューラルネットワークを応用する主な領域は、分類と回帰の領域である。
  論文  参考訳（メタデータ） (2024-09-17T15:45:30Z)
• NeuralStagger: Accelerating Physics-constrained Neural PDE Solver with Spatial-temporal Decomposition [67.46012350241969]
  本稿では,NeuralStaggerと呼ばれる一般化手法を提案する。 元の学習タスクをいくつかの粗い解像度のサブタスクに分解する。 本稿では,2次元および3次元流体力学シミュレーションにおけるNeuralStaggerの適用例を示す。
  論文  参考訳（メタデータ） (2023-02-20T19:36:52Z)
• Towards Theoretically Inspired Neural Initialization Optimization [66.04735385415427]
  我々は,ニューラルネットワークの初期状態を評価するための理論的知見を備えた,GradCosineという微分可能な量を提案する。 標準制約下でGradCosineを最大化することにより、ネットワークのトレーニングとテストの両方の性能を向上させることができることを示す。 サンプル分析から実際のバッチ設定に一般化されたNIOは、無視可能なコストで、より優れた初期化を自動で探すことができる。
  論文  参考訳（メタデータ） (2022-10-12T06:49:16Z)
• D-DARTS: Distributed Differentiable Architecture Search [75.12821786565318]
  微分可能なArchiTecture Search(DARTS)は、最も流行しているニューラルネットワークサーチ(NAS)の1つである。 セルレベルで複数のニューラルネットワークをネストすることでこの問題に対処する新しいソリューションD-DARTSを提案する。
  論文  参考訳（メタデータ） (2021-08-20T09:07:01Z)
• Differentiable Neural Architecture Learning for Efficient Neural Network Design [31.23038136038325]
  スケールド・シグモイド関数に基づく新しいemphアーキテクチャのパラメータ化を提案する。 そこで本論文では,候補ニューラルネットワークを評価することなく,ニューラルネットワークを最適化するための汎用的エファイブルニューラルネットワーク学習(DNAL)手法を提案する。
  論文  参考訳（メタデータ） (2021-03-03T02:03:08Z)
• NAS-Navigator: Visual Steering for Explainable One-Shot Deep Neural Network Synthesis [53.106414896248246]
  本稿では,分析者がドメイン知識を注入することで,解のサブグラフ空間を効果的に構築し,ネットワーク探索をガイドするフレームワークを提案する。 このテクニックを反復的に適用することで、アナリストは、与えられたアプリケーションに対して最高のパフォーマンスのニューラルネットワークアーキテクチャに収束することができる。
  論文  参考訳（メタデータ） (2020-09-28T01:48:45Z)
• NAS-DIP: Learning Deep Image Prior with Neural Architecture Search [65.79109790446257]
  近年の研究では、深部畳み込みニューラルネットワークの構造が、以前に構造化された画像として利用できることが示されている。 我々は,より強い画像の先行を捉えるニューラルネットワークの探索を提案する。 既存のニューラルネットワーク探索アルゴリズムを利用して,改良されたネットワークを探索する。
  論文  参考訳（メタデータ） (2020-08-26T17:59:36Z)
• VINNAS: Variational Inference-based Neural Network Architecture Search [2.685668802278155]
  スパース畳み込みニューラルネットワークを探索するための可変変分推論に基づくNAS法を提案する。 提案手法は,非ゼロパラメータの約2倍の精度で最先端の精度を示しながら,多様なネットワークセルを探索する。
  論文  参考訳（メタデータ） (2020-07-12T21:47:35Z)
• Multi-fidelity Neural Architecture Search with Knowledge Distillation [69.09782590880367]
  ニューラルアーキテクチャ探索のためのベイズ的多重忠実度法 MF-KD を提案する。 知識蒸留は損失関数に追加され、ネットワークが教師ネットワークを模倣することを強制する用語となる。 このような変化した損失関数を持ついくつかのエポックに対するトレーニングは、ロジスティックな損失を持ついくつかのエポックに対するトレーニングよりも、より優れたニューラルアーキテクチャの選択につながることを示す。
  論文  参考訳（メタデータ） (2020-06-15T12:32:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。