論文の概要: Efficient Supernet Training with Orthogonal Softmax for Scalable ASR Model Compression

• arxiv url: http://arxiv.org/abs/2501.18895v1
• Date: Fri, 31 Jan 2025 05:23:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 14:02:18.213602
• Title: Efficient Supernet Training with Orthogonal Softmax for Scalable ASR Model Compression
• Title（参考訳）: 拡張性ASRモデル圧縮のための直交ソフトマックスを用いた効率的なスーパーネットトレーニング
• Authors: Jingjing Xu, Eugen Beck, Zijian Yang, Ralf Schlüter,
• Abstract要約: 我々は、スーパーネットトレーニングを用いて、様々なサイズの複数のエンコーダを共同で訓練し、冗長なトレーニングをすることなく、動的モデルサイズ調整をハードウェア制約に適合させることができる。 我々は,複数のソフトマックス関数を適用して,スーパーネット内の最適点を効率的に同定するOrthoSoftmaxという新しい手法を提案する。 CTC on Librispeech と TED-Lium-v2 による結果から,FLOPs を意識したコンポーネント選択が全体的な性能を向上させることが示唆された。
• 参考スコア（独自算出の注目度）: 43.25633915651986
• License:
• Abstract: ASR systems are deployed across diverse environments, each with specific hardware constraints. We use supernet training to jointly train multiple encoders of varying sizes, enabling dynamic model size adjustment to fit hardware constraints without redundant training. Moreover, we introduce a novel method called OrthoSoftmax, which applies multiple orthogonal softmax functions to efficiently identify optimal subnets within the supernet, avoiding resource-intensive search. This approach also enables more flexible and precise subnet selection by allowing selection based on various criteria and levels of granularity. Our results with CTC on Librispeech and TED-LIUM-v2 show that FLOPs-aware component-wise selection achieves the best overall performance. With the same number of training updates from one single job, WERs for all model sizes are comparable to or slightly better than those of individually trained models. Furthermore, we analyze patterns in the selected components and reveal interesting insights.
• Abstract（参考訳）: ASRシステムは様々な環境にまたがって展開され、それぞれに特定のハードウェアの制約がある。 我々は、スーパーネットトレーニングを用いて、様々なサイズの複数のエンコーダを共同で訓練し、冗長なトレーニングをすることなく、動的モデルサイズ調整をハードウェア制約に適合させることができる。 さらに,複数の直交ソフトマックス関数を適用し,資源集約探索を回避し,スーパーネット内の最適なサブネットを効率的に同定するOrthoSoftmaxという手法を提案する。 このアプローチはまた、様々な基準と粒度のレベルに基づいて選択を行うことにより、より柔軟で正確なサブネット選択を可能にする。 CTC on Librispeech と TED-Lium-v2 による結果から,FLOPs を意識したコンポーネント選択が全体的な性能を向上させることが示唆された。 1つのジョブから同じ数のトレーニング更新があるため、すべてのモデルサイズに対するWERは、個別にトレーニングされたモデルと同等またはわずかに優れている。 さらに、選択したコンポーネントのパターンを分析し、興味深い洞察を明らかにします。

関連論文リスト

• Dynamic Encoder Size Based on Data-Driven Layer-wise Pruning for Speech Recognition [24.71497121634708]
  可変サイズモデルは、異なるハードウェアおよび/またはアプリケーション制約下でASRシステムをデプロイするためにしばしば必要とされる。 動的エンコーダ・サイズ・アプローチを提案する。この手法は1つのスーパーネット内の複数のパフォーマンスモデルをスクラッチからトレーニングする。
  論文  参考訳（メタデータ） (2024-07-10T08:35:21Z)
• Dynamic Pre-training: Towards Efficient and Scalable All-in-One Image Restoration [100.54419875604721]
  オールインワン画像復元は、各分解に対してタスク固有の非ジェネリックモデルを持たずに、統一されたモデルで異なるタイプの劣化に対処する。 我々は、オールインワン画像復元タスクのためのエンコーダデコーダ方式で設計されたネットワークの動的ファミリであるDyNetを提案する。 我々のDyNetは、よりバルク化と軽量化をシームレスに切り替えることができるので、効率的なモデルデプロイメントのための柔軟性を提供します。
  論文  参考訳（メタデータ） (2024-04-02T17:58:49Z)
• SortedNet: A Scalable and Generalized Framework for Training Modular Deep Neural Networks [30.069353400127046]
  我々は、ディープニューラルネットワーク(DNN)の固有のモジュラリティを活用するためにSortedNetを提案する。 SortedNetは、メインモデルのトレーニングと同時にサブモデルのトレーニングを可能にする。 一度に160台のサブモデルを訓練でき、オリジナルのモデルの性能の少なくとも96%を達成できる。
  論文  参考訳（メタデータ） (2023-09-01T05:12:25Z)
• Transfer-Once-For-All: AI Model Optimization for Edge [0.0]
  計算訓練コストを一定に抑えた小データセット上でのスーパーネット型トレーニングのためのTransfer-Once-For-All(TOFA)を提案する。 小さなデータから生じる課題を克服するため、TOFAは、統合された半教師付きトレーニング損失を使用して、スーパーネット内のすべての既存のものを同時にトレーニングする。
  論文  参考訳（メタデータ） (2023-03-27T04:14:30Z)
• MILO: Model-Agnostic Subset Selection Framework for Efficient Model Training and Tuning [68.12870241637636]
  モデル学習からサブセット選択を分離するモデルに依存しないサブセット選択フレームワークMILOを提案する。 実験結果から、MILOはモデルを3ドル(約3,300円)でトレーニングし、ハイパーパラメータを20ドル(約2,300円)でチューニングできます。
  論文  参考訳（メタデータ） (2023-01-30T20:59:30Z)
• Data Summarization via Bilevel Optimization [48.89977988203108]
  シンプルだが強力なアプローチは、小さなサブセットのデータを操作することだ。 本研究では,コアセット選択を基数制約付き双レベル最適化問題として定式化する汎用コアセットフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-26T09:08:38Z)
• BatchQuant: Quantized-for-all Architecture Search with Robust Quantizer [10.483508279350195]
  BatchQuantは、コンパクトで単発、混合精度、重量共有スーパーネットの高速で安定したトレーニングを可能にする、堅牢な量子化器の定式化である。 我々は,この手法の有効性をImageNet上で実証し,低複雑性制約下でSOTA Top-1の精度を実現する。
  論文  参考訳（メタデータ） (2021-05-19T06:56:43Z)
• Balancing Constraints and Submodularity in Data Subset Selection [43.03720397062461]
  より少ないトレーニングデータを用いて、従来のディープラーニングモデルと同様の精度が得られることを示す。 新たな多様性駆動客観的関数を提案し,マトロイドを用いたクラスラベルと決定境界の制約のバランスをとる。
  論文  参考訳（メタデータ） (2021-04-26T19:22:27Z)
• Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
  Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。 現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。 本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
  論文  参考訳（メタデータ） (2020-06-12T14:49:47Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。