論文の概要: SIMD-size aware weight regularization for fast neural vocoding on CPU

• arxiv url: http://arxiv.org/abs/2211.00898v1
• Date: Wed, 2 Nov 2022 05:43:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-03 12:44:31.103880
• Title: SIMD-size aware weight regularization for fast neural vocoding on CPU
• Title（参考訳）: cpu上での高速ニューラルネットワークボコーディングのためのsimdサイズ認識重み正規化
• Authors: Hiroki Kanagawa and Yusuke Ijima
• Abstract要約: 本稿では,より高速なニューラルボコーダの重み正規化を提案する。 スパーシリティを促進する規則化は、刈り込みによって生じる品質劣化を避けるのにも有効である。 70%のスパースサブバンドWaveRNNの実験では、従来のラッソ群と列指向のラッソ群におけるプルーニングが合成音声の自然性を劣化させることが示された。
• 参考スコア（独自算出の注目度）: 9.192186253875256
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper proposes weight regularization for a faster neural vocoder. Pruning time-consuming DNN modules is a promising way to realize a real-time vocoder on a CPU (e.g. WaveRNN, LPCNet). Regularization that encourages sparsity is also effective in avoiding the quality degradation created by pruning. However, the orders of weight matrices must be contiguous in SIMD size for fast vocoding. To ensure this order, we propose explicit SIMD size aware regularization. Our proposed method reshapes a weight matrix into a tensor so that the weights are aligned by group size in advance, and then computes the group Lasso-like regularization loss. Experiments on 70% sparse subband WaveRNN show that pruning in conventional Lasso and column-wise group Lasso degrades the synthetic speech's naturalness. The vocoder with proposed regularization 1) achieves comparable naturalness to that without pruning and 2) performs meaningfully faster than other conventional vocoders using regularization.
• Abstract（参考訳）: 本稿では,より高速なニューラルボコーダの重み正規化を提案する。 時間を要するDNNモジュールのプルーニングは、CPU上でリアルタイムのボコーダを実現するための有望な方法である(WaveRNN、LPCNetなど)。 スパーシリティを促進する規則化は、刈り込みによって生じる品質劣化を避けるのにも有効である。 しかし、ウェイト行列の順序は高速なボコーディングのためにSIMDサイズで連続的になければならない。 この順序を保証するため,我々は明示的なsimdサイズ認識正規化を提案する。 提案手法では, 重み行列をテンソルに再構成し, 重みを予め群サイズに整列し, 群ラッソ様正則化損失を計算する。 70%のスパースサブバンドウェーブンの実験では、従来のラッソとカラムワイズグループのラッソが合成音声の自然な性質を劣化させることが示された。 正規化を提案するボコーダ 1)刈り取らずにそれと同等の自然性を達成する 2) 正規化を用いた従来のボコーダよりも有意に高速に動作する。

関連論文リスト

• Let the Code LLM Edit Itself When You Edit the Code [50.46536185784169]
  underlinetextbfPositional textbfIntegrity textbfEncoding (PIE) PIEは、標準的な完全再計算手法に比べて計算オーバーヘッドを85%以上削減する。 その結果、PIEは計算オーバーヘッドを標準の完全再計算手法に比べて85%以上削減することを示した。
  論文  参考訳（メタデータ） (2024-07-03T14:34:03Z)
• Learning Decorrelated Representations Efficiently Using Fast Fourier Transform [3.932322649674071]
  高速フーリエ変換によりO(n d log d)時間で計算できる緩和された非相関正規化器を提案する。 提案した正則化器は、ダウンストリームタスクにおける既存の正則化器に匹敵する精度を示す。
  論文  参考訳（メタデータ） (2023-01-04T12:38:08Z)
• A Stable, Fast, and Fully Automatic Learning Algorithm for Predictive Coding Networks [65.34977803841007]
  予測符号化ネットワークは、ベイズ統計学と神経科学の両方にルーツを持つ神経科学にインスパイアされたモデルである。 シナプス重みに対する更新規則の時間的スケジュールを変更するだけで、元の規則よりもずっと効率的で安定したアルゴリズムが得られることを示す。
  論文  参考訳（メタデータ） (2022-11-16T00:11:04Z)
• RSC: Accelerating Graph Neural Networks Training via Randomized Sparse Computations [56.59168541623729]
  トレーニンググラフニューラルネットワーク(GNN)は、疎グラフベースの操作がハードウェアによって加速することが難しいため、時間を要する。 我々は,サンプリングに基づく近似による時間的複雑性を低減するために,計算精度のトレードオフを検討する。 本稿では,GNNを近似演算でトレーニングする可能性を初めて示すランダム化スパース計算を提案する。
  論文  参考訳（メタデータ） (2022-10-19T17:25:33Z)
• Structured Pruning is All You Need for Pruning CNNs at Initialization [38.88730369884401]
  プルーニングは畳み込みニューラルネットワーク(CNN)のモデルサイズと計算コストを削減する一般的な手法である ハードウェア効率の良いモデル圧縮方式であるPreCroppingを提案する。 重み付けと比較して, 提案手法は, 精度を犠牲にすることなく, 記憶と計算の両面において規則的で密度が高い。
  論文  参考訳（メタデータ） (2022-03-04T19:54:31Z)
• Spike-inspired Rank Coding for Fast and Accurate Recurrent Neural Networks [5.986408771459261]
  生物学的スパイクニューラルネットワーク(SNN)は、その出力の情報を時間的にエンコードすることができるが、人工ニューラルネットワーク(ANN)は従来はそうではない。 ここでは、SNNにインスパイアされたランク符号化(RC)のような時間符号化が、LSTMなどの従来のANNにも適用可能であることを示す。 RCトレーニングは推論中の時間と監視を著しく低減し、精度は最小限に抑えられる。 逐次分類の2つのおもちゃ問題と、最初の入力時間ステップ後にRCモデルが99.19%の精度を達成できる時間符号化MNISTデータセットにおいて、これらを実証する。
  論文  参考訳（メタデータ） (2021-10-06T15:51:38Z)
• Tied & Reduced RNN-T Decoder [0.0]
  認識性能を低下させることなく,RNN-Tデコーダ(予測ネットワーク+ジョイントネットワーク)の小型化と高速化を図る。 我々の予測ネットワークは入力埋め込みの簡単な重み付けを行い、その埋め込み行列重みを結合ネットワークの出力層と共有する。 このシンプルな設計は、追加の編集ベースの最小ベイズリスク(EMBR)トレーニングと併用することで、ワードエラー率(WER)に影響を与えることなく、RNN-Tデコーダを23Mパラメータから2Mに削減する。
  論文  参考訳（メタデータ） (2021-09-15T18:19:16Z)
• Neural Pruning via Growing Regularization [82.9322109208353]
  プルーニングの2つの中心的な問題:プルーニングのスケジュールと重み付けの重要度だ。 具体的には, ペナルティ要因が増大するL2正規化変種を提案し, 精度が著しく向上することを示した。 提案アルゴリズムは,構造化プルーニングと非構造化プルーニングの両方において,大規模データセットとネットワークの実装が容易かつスケーラブルである。
  論文  参考訳（メタデータ） (2020-12-16T20:16:28Z)
• Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
  重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。 そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:55:28Z)
• Pruning Neural Belief Propagation Decoders [77.237958592189]
  本稿では,機械学習を用いたBPデコードに対して,過剰完全パリティチェック行列を調整する手法を提案する。 我々は,デコーダの複雑さを低減しつつ,0.27dB,1.5dBのML性能を実現する。
  論文  参考訳（メタデータ） (2020-01-21T12:05:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。