論文の概要: Comparison of Update and Genetic Training Algorithms in a Memristor Crossbar Perceptron

• arxiv url: http://arxiv.org/abs/2012.06027v2
• Date: Fri, 18 Feb 2022 17:06:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-21 05:26:04.089803
• Title: Comparison of Update and Genetic Training Algorithms in a Memristor Crossbar Perceptron
• Title（参考訳）: memristorクロスバーパーセプトロンにおける更新アルゴリズムと遺伝的訓練アルゴリズムの比較
• Authors: Kyle N. Edwards and Xiao Shen
• Abstract要約: 特定のトレーニングアルゴリズムが、特定のハードウェア障害モードに対してより耐性があるかどうかを検討する。 2つのトレーニングアルゴリズム – ローカル更新スキームと遺伝的アルゴリズム – を,シミュレートされたmemristorクロスバーに実装する。 トレーニング失敗率のいくつかの尺度において,2つのアルゴリズムの間に明確な違いがあることを実証する。
• 参考スコア（独自算出の注目度）: 4.649999862713524
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Memristor-based computer architectures are becoming more attractive as a possible choice of hardware for the implementation of neural networks. However, at present, memristor technologies are susceptible to a variety of failure modes, a serious concern in any application where regular access to the hardware may not be expected or even possible. In this study, we investigate whether certain training algorithms may be more resilient to particular hardware failure modes, and therefore more suitable for use in those applications. We implement two training algorithms -- a local update scheme and a genetic algorithm -- in a simulated memristor crossbar, and compare their ability to train for a simple image classification task as an increasing number of memristors fail to adjust their conductance. We demonstrate that there is a clear distinction between the two algorithms in several measures of the rate of failure to train.
• Abstract（参考訳）: memristorベースのコンピュータアーキテクチャは、ニューラルネットワークの実装のためのハードウェアの選択として魅力的になりつつある。 しかしながら、現時点では、memristor技術はさまざまな障害モードに影響を受けやすく、ハードウェアへの定期的なアクセスが期待できない、あるいは不可能であるアプリケーションでは深刻な懸念がある。 本研究では,特定の学習アルゴリズムが特定のハードウェア障害モードに対してより弾力性があり,それゆえ,それらのアプリケーションでの使用に適しているかを検討する。 シミュレーションされたmemristorクロスバーに局所更新スキームと遺伝的アルゴリズムという2つのトレーニングアルゴリズムを実装し、memristorがコンダクタンスを調整できないため、単純な画像分類タスクでトレーニングする能力を比較した。 トレーニング失敗率のいくつかの尺度において,2つのアルゴリズムの間に明確な違いがあることを実証する。

関連論文リスト

• Newton Losses: Using Curvature Information for Learning with Differentiable Algorithms [80.37846867546517]
  カスタム目的の8つの異なるニューラルネットワークのトレーニング方法を示す。 我々はその2次情報を経験的フィッシャー行列を通して活用する。 ロスロスロスシブルアルゴリズムを用いて、少ない微分可能アルゴリズムに対する大幅な改善を実現する。
  論文  参考訳（メタデータ） (2024-10-24T18:02:11Z)
• Training Neural Networks with Internal State, Unconstrained Connectivity, and Discrete Activations [66.53734987585244]
  真のインテリジェンスには、内部状態を管理するマシンラーニングモデルが必要だ。 このようなモデルのトレーニングに最も効果的なアルゴリズムは,まだ発見されていない。 このようなトレーニングアルゴリズムを2進アクティベーションと1つの重みの行列のみを持つアーキテクチャに適用する試みについて述べる。
  論文  参考訳（メタデータ） (2023-12-22T01:19:08Z)
• Benchmarking Neural Network Training Algorithms [46.39165332979669]
  トレーニングアルゴリズムは、ディープラーニングパイプラインに不可欠な部分です。 コミュニティとして、トレーニングアルゴリズムの改善を確実に特定することはできない。 固定ハードウェア上で実行される複数のワークロードを使用した,新たな,競争力のある,時間と時間のベンチマークを導入する。
  論文  参考訳（メタデータ） (2023-06-12T15:21:02Z)
• Transformers as Statisticians: Provable In-Context Learning with In-Context Algorithm Selection [88.23337313766353]
  この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。 コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。 エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
  論文  参考訳（メタデータ） (2023-06-07T17:59:31Z)
• Binary stochasticity enabled highly efficient neuromorphic deep learning achieves better-than-software accuracy [17.11946381948498]
  ディープラーニングには、フォワーディング信号の高精度処理、バックプロパゲーションエラー、ウェイトのアップデートが必要だ。 ノイズの多いアナログ・メムリスタを人工シナプスとして使用するハードウェアシステムでディープラーニングを実装することは困難である。 本稿では,全ての基本的ニューラルネットワーク操作を修飾する二進学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-25T14:38:36Z)
• Low-rank lottery tickets: finding efficient low-rank neural networks via matrix differential equations [2.3488056916440856]
  効率的なローランクワークを見つけるための新しいアルゴリズムを提案する。 これらの作業は、トレーニングフェーズですでに決定され、適応されています。 本手法は,所望の近似精度を達成するために,訓練中のランクを自動的に動的に適応させる。
  論文  参考訳（メタデータ） (2022-05-26T18:18:12Z)
• Real-Time GPU-Accelerated Machine Learning Based Multiuser Detection for 5G and Beyond [70.81551587109833]
  非線形ビームフォーミングフィルタは、大規模な接続を伴う定常シナリオにおいて、線形アプローチを著しく上回る。 主な課題の1つは、これらのアルゴリズムのリアルタイム実装である。 本稿では,大規模並列化によるAPSMに基づくアルゴリズムの高速化について検討する。
  論文  参考訳（メタデータ） (2022-01-13T15:20:45Z)
• Gradients are Not All You Need [28.29420710601308]
  さまざまな異なる状況に現れる共通のカオスベースの障害モードについて議論する。 我々は、この失敗を研究中のシステムのヤコビアンスペクトルに遡り、この失敗が微分に基づく最適化アルゴリズムを損なうことを実践者がいつ期待するかの基準を提供する。
  論文  参考訳（メタデータ） (2021-11-10T16:51:04Z)
• Training Generative Adversarial Networks in One Stage [58.983325666852856]
  本稿では,1段階のみに効率よくGANを訓練できる汎用的なトレーニング手法を提案する。 提案手法は,データフリーな知識蒸留など,他の逆学習シナリオにも容易に適用可能であることを示す。
  論文  参考訳（メタデータ） (2021-02-28T09:03:39Z)
• Evolving Reinforcement Learning Algorithms [186.62294652057062]
  メタラーニング強化学習アルゴリズムの手法を提案する。 学習アルゴリズムはドメインに依存しないため、トレーニング中に見えない新しい環境に一般化することができる。 従来の制御タスク、gridworld型タスク、atariゲームよりも優れた一般化性能を得る2つの学習アルゴリズムに注目した。
  論文  参考訳（メタデータ） (2021-01-08T18:55:07Z)
• Memristor Hardware-Friendly Reinforcement Learning [14.853739554366351]
  そこで我々は,強化学習におけるアクター・クリティック・アルゴリズムのための経験的ニューロモルフィック・ハードウェアの実装を提案する。 RLと制御理論の両方において古典的な問題である逆振り子のバランスをとることを考える。 本研究は,メムリスタをベースとしたハードウェアニューラルネットワークを用いて複雑なタスクをその場での強化学習によって処理する可能性を示唆している。
  論文  参考訳（メタデータ） (2020-01-20T01:08:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。