論文の概要: HadamRNN: Binary and Sparse Ternary Orthogonal RNNs

• arxiv url: http://arxiv.org/abs/2502.00047v3
• Date: Thu, 27 Feb 2025 10:26:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 14:54:37.084102
• Title: HadamRNN: Binary and Sparse Ternary Orthogonal RNNs
• Title（参考訳）: HadamRNN: バイナリとスパース3次直交RNN
• Authors: Armand Foucault, Franck Mamalet, François Malgouyres,
• Abstract要約: ニューラルネットワークにおけるバイナリおよびスパース3次重みは、より高速な計算とより軽い表現を可能にする。 バニラRNNは、反復重みの変化に非常に敏感であり、これらの重みの双対化と三元化は本質的に困難である。 本稿では,アダマール行列の特性を利用して二進行列および三進行列のサブセットをパラメータ化する手法を提案する。
• 参考スコア（独自算出の注目度）: 6.524758376347808
• License:
• Abstract: Binary and sparse ternary weights in neural networks enable faster computations and lighter representations, facilitating their use on edge devices with limited computational power. Meanwhile, vanilla RNNs are highly sensitive to changes in their recurrent weights, making the binarization and ternarization of these weights inherently challenging. To date, no method has successfully achieved binarization or ternarization of vanilla RNN weights. We present a new approach leveraging the properties of Hadamard matrices to parameterize a subset of binary and sparse ternary orthogonal matrices. This method enables the training of orthogonal RNNs (ORNNs) with binary and sparse ternary recurrent weights, effectively creating a specific class of binary and sparse ternary vanilla RNNs. The resulting ORNNs, called HadamRNN and lock-HadamRNN, are evaluated on benchmarks such as the copy task, permuted and sequential MNIST tasks, and IMDB dataset. Despite binarization or sparse ternarization, these RNNs maintain performance levels comparable to state-of-the-art full-precision models, highlighting the effectiveness of our approach. Notably, our approach is the first solution with binary recurrent weights capable of tackling the copy task over 1000 timesteps.
• Abstract（参考訳）: ニューラルネットワークにおけるバイナリおよびスパース3次重みは、より高速な計算と軽量な表現を可能にし、計算能力に制限のあるエッジデバイスでの使用を容易にする。 一方、バニラRNNは反復重みの変化に非常に敏感であり、これらの重みの双対化と三元化は本質的に困難である。 現在までに、バニラRNN重みのバイナライゼーションやターナライズに成功している手法は存在しない。 本稿では,アダマール行列の特性を活用して,二進行列と三進行列の疎直交行列の部分集合をパラメータ化する方法を提案する。 この方法により、直交RNN(ORNN)を二分三分三分三分三分三分三分三分三分三分三分三分三分三分三分三分三分三分三分三分三分の一分の一分の一を効果的に作成することができる。 得られたORNNは、HadamRNNとlock-HadamRNNと呼ばれ、コピータスク、置換およびシーケンシャルなMNISTタスク、IMDBデータセットなどのベンチマークで評価される。 双対化や疎三元化にもかかわらず、これらのRNNは最先端の完全精度モデルに匹敵する性能レベルを維持しており、我々のアプローチの有効性を強調している。 特に,本手法は,1000回以上のタイムステップでコピータスクに対処可能なバイナリリカレント重みを持つ最初のソリューションである。

関連論文リスト

• Unlocking State-Tracking in Linear RNNs Through Negative Eigenvalues [65.41946981594567]
  リニアリカレントニューラルネットワーク(LRNN)は、大規模言語モデリングにおけるトランスフォーマーの効率的な代替手段として登場した。 LRNNは、コード評価やチェスゲーム追跡といったタスクのパフォーマンスを損なうような状態追跡を行うのに苦労している。 我々の研究は、現代のLRNNの表現性を高め、トレーニングや推論のコストを変えることなく適用性を高める。
  論文  参考訳（メタデータ） (2024-11-19T14:35:38Z)
• Quantized Approximately Orthogonal Recurrent Neural Networks [6.524758376347808]
  ORNNにおける重み行列の量子化を探求し、ほぼ直交RNN(QORNN)を量子化する。 本稿では,量子化学習(QAT)と計算予測を組み合わせた2つのQORNN学習手法を提案する。 最も効率的なモデルは、4ビットの量子化であっても、様々な標準ベンチマークで最先端のフル精度ORNN、LSTM、FastRNNと同様の結果が得られる。
  論文  参考訳（メタデータ） (2024-02-05T09:59:57Z)
• Projected Stochastic Gradient Descent with Quantum Annealed Binary Gradients [51.82488018573326]
  重み付きニューラルネットワークのトレーニングに適した,新しいレイヤワイドオプティマイザであるQP-SBGDを提案する。 BNNは、深層学習モデルの計算要求とエネルギー消費を最小限の精度で削減する。 提案アルゴリズムは階層的に実装されており,リソース制限量子ハードウェア上での大規模ネットワークのトレーニングに適している。
  論文  参考訳（メタデータ） (2023-10-23T17:32:38Z)
• On the Computational Complexity and Formal Hierarchy of Second Order Recurrent Neural Networks [59.85314067235965]
  2次次リカレントネットワーク(RNN)の理論基盤を拡大する(2次RNN) 有界時間でチューリング完備な RNN のクラスが存在することを証明している。 また、記憶のない2ドルのRNNは、バニラRNNのような現代のモデルよりも優れており、正規文法の認識において繰り返し単位をゲートしていることを示す。
  論文  参考訳（メタデータ） (2023-09-26T06:06:47Z)
• Adaptive-saturated RNN: Remember more with less instability [2.191505742658975]
  本研究では,2つのアプローチ間の飽和度を動的に調整する適応飽和RNN(asRNN)を提案する。 我々の実験は、いくつかの強力な競合相手と比較して、挑戦的なシーケンス学習ベンチマークにおけるasRNNの結果を奨励することを示した。
  論文  参考訳（メタデータ） (2023-04-24T02:28:03Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Examining the Robustness of Spiking Neural Networks on Non-ideal Memristive Crossbars [4.184276171116354]
  ニューラルネットワークの低消費電力代替としてスパイキングニューラルネットワーク(SNN)が登場している。 本研究では,SNNの性能に及ぼすクロスバー非理想性と本質性の影響について検討した。
  論文  参考訳（メタデータ） (2022-06-20T07:07:41Z)
• Low-bit Quantization of Recurrent Neural Network Language Models Using Alternating Direction Methods of Multipliers [67.688697838109]
  本稿では、乗算器の交互方向法(ADMM)を用いて、スクラッチから量子化RNNLMを訓練する新しい手法を提案する。 2つのタスクの実験から、提案されたADMM量子化は、完全な精度ベースライン RNNLM で最大31倍のモデルサイズ圧縮係数を達成したことが示唆された。
  論文  参考訳（メタデータ） (2021-11-29T09:30:06Z)
• Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
  Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。 ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
  論文  参考訳（メタデータ） (2021-10-18T11:30:29Z)
• Block-term Tensor Neural Networks [29.442026567710435]
  ブロック終端テンソル層(BT層)は,CNNやRNNなどのニューラルネットワークモデルに容易に適用可能であることを示す。 CNNとRNNのBT層は、元のDNNの表現力を維持したり改善したりしながら、パラメータ数に対して非常に大きな圧縮比を達成することができる。
  論文  参考訳（メタデータ） (2020-10-10T09:58:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。