論文の概要: Gradient-based Bit Encoding Optimization for Noise-Robust Binary Memristive Crossbar

• arxiv url: http://arxiv.org/abs/2201.01479v1
• Date: Wed, 5 Jan 2022 06:49:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-02 05:51:15.817250
• Title: Gradient-based Bit Encoding Optimization for Noise-Robust Binary Memristive Crossbar
• Title（参考訳）: 雑音-ロバスト二元メmristive crossbarの勾配に基づくビット符号化最適化
• Authors: Youngeun Kim, Hyunsoo Kim, Seijoon Kim, Sang Joon Kim, Priyadarshini Panda
• Abstract要約: エネルギー効率のよいディープラーニングハードウェアアクセラレーターとして、バイナリ・メムリシブ・クロスバーが注目されている。 以前の作業では、クロスバーから取得したノイズデータで重みパラメータを訓練していた。 本稿では,入力バイナリビット符号化の操作によるクロスバーノイズ低減の新しい視点について検討する。
• 参考スコア（独自算出の注目度）: 7.144750011626086
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Binary memristive crossbars have gained huge attention as an energy-efficient deep learning hardware accelerator. Nonetheless, they suffer from various noises due to the analog nature of the crossbars. To overcome such limitations, most previous works train weight parameters with noise data obtained from a crossbar. These methods are, however, ineffective because it is difficult to collect noise data in large-volume manufacturing environment where each crossbar has a large device/circuit level variation. Moreover, we argue that there is still room for improvement even though these methods somewhat improve accuracy. This paper explores a new perspective on mitigating crossbar noise in a more generalized way by manipulating input binary bit encoding rather than training the weight of networks with respect to noise data. We first mathematically show that the noise decreases as the number of binary bit encoding pulses increases when representing the same amount of information. In addition, we propose Gradient-based Bit Encoding Optimization (GBO) which optimizes a different number of pulses at each layer, based on our in-depth analysis that each layer has a different level of noise sensitivity. The proposed heterogeneous layer-wise bit encoding scheme achieves high noise robustness with low computational cost. Our experimental results on public benchmark datasets show that GBO improves the classification accuracy by ~5-40% in severe noise scenarios.
• Abstract（参考訳）: binary memristive crossbarsは、エネルギー効率のよいディープラーニングハードウェアアクセラレータとして大きな注目を集めている。 にもかかわらず、彼らはクロスバーの類似性のために様々なノイズに悩まされている。 このような制限を克服するため、従来のほとんどの作業はクロスバーから得られたノイズデータを用いて重量パラメータを訓練する。 しかし、各クロスバーがデバイス/回路レベルのばらつきが大きい大量製造環境ではノイズデータ収集が難しいため、これらの手法は有効ではない。 さらに,これらの手法は精度を幾分向上させるが,まだ改善の余地があることを論じる。 本稿では,ノイズデータに対するネットワークの重み付けを訓練するのではなく,入力バイナリビット符号化を演算することで,クロスバーノイズの緩和に関する新たな視点をより一般化した方法で検討する。 まず,同じ情報量を表す場合,二進ビット符号化パルスの数が増加するにつれて雑音が減少することを示す。 さらに,各層がノイズ感度のレベルが異なることの詳細な分析に基づいて,各層で異なる数のパルスを最適化するグラディエントベースビット符号化最適化(GBO)を提案する。 提案手法は,計算コストの低い高雑音ロバスト性を実現する。 評価実験の結果,GBOの分類精度は,重騒音のケースでは5～40%向上した。

関連論文リスト

• Pivotal Auto-Encoder via Self-Normalizing ReLU [20.76999663290342]
  トランスフォーメーション学習問題として,単一の隠蔽層スパースオートエンコーダを定式化する。 本稿では,テスト時の騒音レベルに不変な予測モデルを実現する最適化問題を提案する。 実験結果から, 各種ノイズに対する安定性が向上することが示唆された。
  論文  参考訳（メタデータ） (2024-06-23T09:06:52Z)
• Optimized Noise Suppression for Quantum Circuits [0.40964539027092917]
  クロストークノイズは、例えば、クロス共鳴ベースの超伝導量子プロセッサにおける深刻なエラー源である。 Intrepidプログラミングアルゴリズムは、スワップ挿入によって最適化されたキュービットルーティングに関する以前の作業を拡張する。 最大127キュービットの2つのチップのクロストークノイズを特徴付けることで,提案手法の評価を行った。
  論文  参考訳（メタデータ） (2024-01-12T07:34:59Z)
• Negative Pre-aware for Noisy Cross-modal Matching [46.5591267410225]
  雑音対応は認識と修正が難しいため,クロスモーダルノイズロバスト学習は難しい課題である。 本稿では,雑音の多い下流タスクに対する大規模視覚言語モデルファインタニングのための,否定的事前認識型クロスモーダルマッチングソリューションを提案する。
  論文  参考訳（メタデータ） (2023-12-10T05:52:36Z)
• Accurate and Honest Approximation of Correlated Qubit Noise [39.58317527488534]
  提案手法は, 量子ビット相関度の高い雑音成分を組み込むことにより, 精度を向上することのできる, 近似雑音チャネルの効率的な構成法である。 固定周波数超伝導量子ビットに典型的な現実的な雑音強度では、2量子ビット相関を超える相関ノイズがコードシミュレーションの精度に大きく影響することを発見した。
  論文  参考訳（メタデータ） (2023-11-15T19:00:34Z)
• Latent Class-Conditional Noise Model [54.56899309997246]
  本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。 次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。 提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
  論文  参考訳（メタデータ） (2023-02-19T15:24:37Z)
• Identifying Hard Noise in Long-Tailed Sample Distribution [76.16113794808001]
  NLT(Noisy Long-Tailed Classification)を紹介する。 ほとんどのノイズ除去法は、ハードノイズを特定するのに失敗する。 我々はH2E(Hard-to-Easy)と呼ばれる反復的な雑音学習フレームワークを設計する。
  論文  参考訳（メタデータ） (2022-07-27T09:03:03Z)
• Robust Meta-learning with Sampling Noise and Label Noise via Eigen-Reptile [78.1212767880785]
  Meta-learnerは、利用可能なサンプルがわずかしかないため、過度に適合する傾向がある。 ノイズの多いラベルでデータを扱う場合、メタラーナーはラベルノイズに対して非常に敏感になる可能性がある。 本稿では,タスク固有のパラメータの主要な方向でメタパラメータを更新するEigen-Reptile(ER)を提案する。
  論文  参考訳（メタデータ） (2022-06-04T08:48:02Z)
• Training Classifiers that are Universally Robust to All Label Noise Levels [91.13870793906968]
  ディープニューラルネットワークは、ラベルノイズの存在下で過度に適合する傾向がある。 ポジティヴ・アンラベルラーニングの新たなサブカテゴリを取り入れた蒸留ベースのフレームワークを提案する。 我々の枠組みは概して中～高騒音レベルにおいて優れています。
  論文  参考訳（メタデータ） (2021-05-27T13:49:31Z)
• Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
  フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。 いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
  論文  参考訳（メタデータ） (2021-03-01T08:25:26Z)
• Using deep learning to understand and mitigate the qubit noise environment [0.0]
  本稿では,量子ビット上の時間力学測定から正確な雑音スペクトルを抽出する手法を提案する。 任意の浴槽に囲まれた任意のキュービットに付随する雑音スペクトルを抽出するニューラルネットワークに基づく手法を実証する。 この結果は、様々なキュービットプラットフォームに適用でき、キュービット性能を改善するためのフレームワークを提供する。
  論文  参考訳（メタデータ） (2020-05-03T17:13:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。