論文の概要: Diet deep generative audio models with structured lottery

• arxiv url: http://arxiv.org/abs/2007.16170v1
• Date: Fri, 31 Jul 2020 16:43:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-04 06:29:36.778124
• Title: Diet deep generative audio models with structured lottery
• Title（参考訳）: 構造化宝くじを用いた食事深層音響モデル
• Authors: Philippe Esling, Ninon Devis, Adrien Bitton, Antoine Caillon, Axel Chemla--Romeu-Santos, Constance Douwes
• Abstract要約: 本研究では,深層再生音声モデルにおける抽選チケット仮説について検討する。 モデル重量の最大95%を精度を著しく低下させることなく除去できることを示す。 本稿では,組込みプラットフォーム上でのディープ・ジェネレーティブ・オーディオ・モデルの実装の可能性について論じる。
• 参考スコア（独自算出の注目度）: 2.348805691644086
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Deep learning models have provided extremely successful solutions in most audio application fields. However, the high accuracy of these models comes at the expense of a tremendous computation cost. This aspect is almost always overlooked in evaluating the quality of proposed models. However, models should not be evaluated without taking into account their complexity. This aspect is especially critical in audio applications, which heavily relies on specialized embedded hardware with real-time constraints. In this paper, we build on recent observations that deep models are highly overparameterized, by studying the lottery ticket hypothesis on deep generative audio models. This hypothesis states that extremely efficient small sub-networks exist in deep models and would provide higher accuracy than larger models if trained in isolation. However, lottery tickets are found by relying on unstructured masking, which means that resulting models do not provide any gain in either disk size or inference time. Instead, we develop here a method aimed at performing structured trimming. We show that this requires to rely on global selection and introduce a specific criterion based on mutual information. First, we confirm the surprising result that smaller models provide higher accuracy than their large counterparts. We further show that we can remove up to 95% of the model weights without significant degradation in accuracy. Hence, we can obtain very light models for generative audio across popular methods such as Wavenet, SING or DDSP, that are up to 100 times smaller with commensurate accuracy. We study the theoretical bounds for embedding these models on Raspberry Pi and Arduino, and show that we can obtain generative models on CPU with equivalent quality as large GPU models. Finally, we discuss the possibility of implementing deep generative audio models on embedded platforms.
• Abstract（参考訳）: ディープラーニングモデルは、ほとんどのオーディオアプリケーション分野で非常に成功したソリューションを提供している。 しかし、これらのモデルの高精度さは、膨大な計算コストを犠牲にしている。 この側面は、提案されたモデルの品質を評価する際に、ほとんど常に見過ごされている。 しかし、モデルは複雑さを考慮せずに評価するべきではない。 この側面はオーディオアプリケーションにおいて特に重要であり、リアルタイム制約のある特殊な組み込みハードウェアに大きく依存している。 本稿では,深層音響モデルにおける宝くじチケット仮説を研究することにより,深層モデルが過小評価されているという最近の観測結果について述べる。 この仮説は、非常に効率的な小さなサブネットワークが深いモデルに存在し、孤立して訓練された場合、より大きなモデルよりも高い精度を提供するというものである。 しかし、宝くじは構造化されていないマスキングに依存するため、結果として得られるモデルはディスクサイズや推論時間に何の利益も与えない。 そこで我々は,構造化トリミングを行う手法を開発した。 これはグローバル選択に頼り、相互情報に基づく特定の基準を導入する必要があることを示す。 まず、小型モデルが大型モデルよりも精度が高いという驚くべき結果を確認する。 さらに, モデル重量の最大95%を, 精度の大幅な低下を伴わずに除去できることを示した。 したがって、wavenet、sing、ddspなどの一般的な手法をまたいで、高い精度で最大100倍小さい生成音声の非常に軽量なモデルを得ることができる。 Raspberry PiとArduinoにこれらのモデルを埋め込む理論的境界について検討し、大きなGPUモデルと同じ品質のCPU上で生成モデルを得ることができることを示す。 最後に,組込みプラットフォーム上での深層生成音声モデルの実装の可能性について論じる。

関連論文リスト

• Large Language Model Pruning [0.0]
  LLMに特化したモデルプルーニング手法を提案する。 提案手法は深層学習モデルの説明可能性を強調する。 また、大規模モデルにおけるプルーニングと小規模モデルにおけるプルーニングの違いについても検討する。
  論文  参考訳（メタデータ） (2024-05-24T18:22:15Z)
• SlimmeRF: Slimmable Radiance Fields [4.743863123290521]
  SlimmeRFは,スリム化によるモデルサイズと精度のトレードオフを瞬時に行うことができるモデルである。 我々はまた、スパースビューのシナリオにおいてより効果的なトレードオフを可能にし、スリム化後に高い精度を達成できることも観察した。
  論文  参考訳（メタデータ） (2023-12-15T18:59:55Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Part-Based Models Improve Adversarial Robustness [57.699029966800644]
  人間の事前知識とエンドツーエンドの学習を組み合わせることで、ディープニューラルネットワークの堅牢性を向上させることができることを示す。 我々のモデルは、部分分割モデルと小さな分類器を組み合わせて、オブジェクトを同時に部品に分割するようにエンドツーエンドに訓練されている。 実験の結果,これらのモデルによりテクスチャバイアスが低減され,一般的な汚職に対する堅牢性が向上し,相関が急上昇することが示唆された。
  論文  参考訳（メタデータ） (2022-09-15T15:41:47Z)
• Predicting on the Edge: Identifying Where a Larger Model Does Better [61.793778186198864]
  小型モデルが最も不確実な例では,大規模モデルが最も改善されていることを示す。 小型モデルが不確実な場合,サンプルを大モデルにデフェクトするスイッチャーモデルにより,性能と資源利用の大幅な向上が達成できることを示す。
  論文  参考訳（メタデータ） (2022-02-15T18:53:14Z)
• Load-balanced Gather-scatter Patterns for Sparse Deep Neural Networks [20.374784902476318]
  モデル重み付けにゼロを導入する方法として, モデル精度と計算効率のトレードオフを良好に提供する方法として, プルーニングが有効であることが示されている。 現代のプロセッサには、高速なオンチップスクラッチパッドメモリと、間接的に負荷を発生させ、そのようなメモリ上の操作を格納する集/散乱エンジンが備わっている。 本研究では,スクラッチパッドメモリと集合/散乱エンジンを利用して,ニューラルネットワークの推論を高速化する,新しいスパースパターン(GSパターン)を提案する。
  論文  参考訳（メタデータ） (2021-12-20T22:55:45Z)
• Exploring Sparse Expert Models and Beyond [51.90860155810848]
  Mixture-of-Experts (MoE) モデルは、無数のパラメータを持つが、一定の計算コストで有望な結果が得られる。 本稿では,専門家を異なるプロトタイプに分割し,上位1ドルのルーティングに$k$を適用する,エキスパートプロトタイピングというシンプルな手法を提案する。 この戦略は, モデル品質を向上させるが, 一定の計算コストを維持するとともに, 大規模モデルのさらなる探索により, 大規模モデルの訓練に有効であることが示唆された。
  論文  参考訳（メタデータ） (2021-05-31T16:12:44Z)
• ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
  本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。 提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。 生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
  論文  参考訳（メタデータ） (2021-05-07T11:39:05Z)
• Real-time Denoising and Dereverberation with Tiny Recurrent U-Net [12.533488149023025]
  我々は,現在の最先端モデルの性能と一致する軽量オンライン推論モデルであるTiny Recurrent U-Net(TRU-Net)を提案する。 TRU-Netの量子化バージョンのサイズは362キロバイトであり、エッジデバイスにデプロイできるほど小さい。 客観評価と主観評価の両方の結果から,我々のモデルが現在の最先端モデルと競合する性能を達成できることが示されている。
  論文  参考訳（メタデータ） (2021-02-05T14:46:41Z)
• Ultra-light deep MIR by trimming lottery tickets [1.2599533416395767]
  抽選券仮説に基づくモデルプルーニング手法を提案する。 提案手法は,精度を損なうことなく,最大90%のモデルパラメータを除去できることを示す。 圧縮比が小さいほど、より軽量なモデルの方が重いモデルよりずっと優れているという驚くべき結果を確認します。
  論文  参考訳（メタデータ） (2020-07-31T17:30:28Z)
• When Ensembling Smaller Models is More Efficient than Single Large Models [52.38997176317532]
  アンサンブルは高い精度で単一モデルより優れており、計算に要する総FLOPは少ない。 これは、アンサンブルの出力の多様性がより大きなモデルを訓練するよりも効率的であることを示す興味深い観察結果である。
  論文  参考訳（メタデータ） (2020-05-01T18:56:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。