論文の概要: Layer Pruning on Demand with Intermediate CTC
- arxiv url: http://arxiv.org/abs/2106.09216v1
- Date: Thu, 17 Jun 2021 02:40:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-18 15:43:16.904149
- Title: Layer Pruning on Demand with Intermediate CTC
- Title（参考訳）: 中間CTCによる層プルーニング
- Authors: Jaesong Lee, Jingu Kang, Shinji Watanabe
- Abstract要約: 我々はコネクショニスト時間分類(CTC)に基づくASRの訓練と刈り取り方法を提案する。
本稿では,Transformer-CTCモデルをオンデマンドで様々な深さでプルーニングできることを示し,GPU上でのリアルタイム係数を0.005から0.002に改善した。
- 参考スコア（独自算出の注目度）: 50.509073206630994
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deploying an end-to-end automatic speech recognition (ASR) model on
mobile/embedded devices is a challenging task, since the device computational
power and energy consumption requirements are dynamically changed in practice.
To overcome the issue, we present a training and pruning method for ASR based
on the connectionist temporal classification (CTC) which allows reduction of
model depth at run-time without any extra fine-tuning. To achieve the goal, we
adopt two regularization methods, intermediate CTC and stochastic depth, to
train a model whose performance does not degrade much after pruning. We present
an in-depth analysis of layer behaviors using singular vector canonical
correlation analysis (SVCCA), and efficient strategies for finding layers which
are safe to prune. Using the proposed method, we show that a Transformer-CTC
model can be pruned in various depth on demand, improving real-time factor from
0.005 to 0.002 on GPU, while each pruned sub-model maintains the accuracy of
individually trained model of the same depth.
- Abstract（参考訳）: モバイル/組み込みデバイスにエンドツーエンドの自動音声認識(ASR)モデルをデプロイすることは、デバイス計算能力とエネルギー消費要求が実際に動的に変化するため、難しい作業である。
そこで本研究では,実行時のモデル深度を微調整することなく低減できるctc(connectionist temporal classification)に基づくasrの訓練と刈り取り手法を提案する。
目的を達成するために,中間CTCと確率深度という2つの正規化手法を用いて,刈り込み後に性能が劣化しないモデルを訓練する。
本稿では, 特異ベクトル正準相関解析 (SVCCA) を用いた層挙動の詳細な解析と, プーンセーフな層を見つけるための効率的な戦略について述べる。
提案手法を用いて,Transformer-CTCモデルに対して,各プルーニングサブモデルは同一深度モデルの精度を維持しつつ,オンデマンドで様々な深度でプルーニングを行い,リアルタイム係数を0.005から0.002に改善できることを示す。
関連論文リスト
- Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。
総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
論文 参考訳（メタデータ） (2024-03-21T02:33:37Z) - Consistency Trajectory Models: Learning Probability Flow ODE Trajectory of Diffusion [56.38386580040991]
Consistency Trajectory Model (CTM) は Consistency Models (CM) の一般化である
CTMは、対戦訓練とスコアマッチング損失を効果的に組み合わせることで、パフォーマンスを向上させる。
CMとは異なり、CTMのスコア関数へのアクセスは、確立された制御可能/条件生成メソッドの採用を合理化することができる。
論文 参考訳（メタデータ） (2023-10-01T05:07:17Z) - Unifying Synergies between Self-supervised Learning and Dynamic
Computation [53.66628188936682]
SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。
SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。
密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
論文 参考訳（メタデータ） (2023-01-22T17:12:58Z) - Differentially Private Learning with Per-Sample Adaptive Clipping [8.401653565794353]
非単調適応重み関数に基づくDP-PSACアルゴリズムを提案する。
DP-PSACは,複数のメインストリームビジョンや言語タスクにおいて,最先端の手法よりも優れ,あるいは適合していることを示す。
論文 参考訳（メタデータ） (2022-12-01T07:26:49Z) - Click-through Rate Prediction with Auto-Quantized Contrastive Learning [46.585376453464114]
ユーザ行動が予測の利益を捉えるのに十分リッチかどうかを考察し、モデルを正規化するためのAQCL(Auto-Quantized Contrastive Learning)損失を提案する。
提案されたフレームワークは、異なるモデルアーキテクチャに非依存であり、エンドツーエンドでトレーニングすることができる。
論文 参考訳（メタデータ） (2021-09-27T04:39:43Z) - Relaxing the Conditional Independence Assumption of CTC-based ASR by
Conditioning on Intermediate Predictions [14.376418789524783]
我々は,最終層におけるCTC損失に加えて,中間層におけるCTC損失を補助するCTCベースのASRモデルを訓練する。
提案手法は実装が容易で,単純なモデルアーキテクチャと高速復号化速度という,CTCベースのASRの利点を保っている。
論文 参考訳（メタデータ） (2021-04-06T18:00:03Z) - Accumulated Decoupled Learning: Mitigating Gradient Staleness in
Inter-Layer Model Parallelization [16.02377434191239]
本稿では, 定常勾配効果を緩和するために, 勾配累積法を取り入れた累積非結合学習(ADL)を提案する。
提案手法は, 非同期性にもかかわらず, 臨界点, すなわち勾配が0に収束することを示す。
ADLは分類タスクにおいていくつかの最先端技術よりも優れており、比較手法の中では最速である。
論文 参考訳（メタデータ） (2020-12-03T11:52:55Z) - DAIS: Automatic Channel Pruning via Differentiable Annealing Indicator
Search [55.164053971213576]
畳み込みニューラルネットワークは,計算オーバーヘッドが大きいにもかかわらず,コンピュータビジョンタスクの実行において大きな成功を収めている。
構造的(チャネル)プルーニングは、通常、ネットワーク構造を保ちながらモデルの冗長性を低減するために適用される。
既存の構造化プルーニング法では、手作りのルールが必要であり、これは大きなプルーニング空間に繋がる可能性がある。
論文 参考訳（メタデータ） (2020-11-04T07:43:01Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳（メタデータ） (2020-06-10T08:22:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。