論文の概要: Sustainable self-supervised learning for speech representations

• arxiv url: http://arxiv.org/abs/2406.07696v1
• Date: Tue, 11 Jun 2024 20:21:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-13 21:16:01.836277
• Title: Sustainable self-supervised learning for speech representations
• Title（参考訳）: 音声表現のための持続的自己教師型学習
• Authors: Luis Lugo, Valentin Vielzeuf,
• Abstract要約: 本稿では,音声表現学習のための自己教師型モデルを提案する。 提案モデルでは,資源効率のよいベースラインを改良し,メモリ使用量と計算コストの見積を削減した。
• 参考スコア（独自算出の注目度）: 1.5745692520785073
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sustainable artificial intelligence focuses on data, hardware, and algorithms to make machine learning models more environmentally responsible. In particular, machine learning models for speech representations are computationally expensive, generating environmental concerns because of their high energy consumption. Thus, we propose a sustainable self-supervised model to learn speech representation, combining optimizations in neural layers and training to reduce computing costs. The proposed model improves over a resource-efficient baseline, reducing both memory usage and computing cost estimations. It pretrains using a single GPU in less than a day. On top of that, it improves the error rate performance of the baseline in downstream task evaluations. When comparing it to large speech representation approaches, there is an order of magnitude reduction in memory usage, while computing cost reductions represent almost three orders of magnitude improvement.
• Abstract（参考訳）: 持続可能な人工知能は、データ、ハードウェア、アルゴリズムに焦点を当て、機械学習モデルをより環境に責任を持つものにする。 特に、音声表現のための機械学習モデルは計算コストが高く、高エネルギー消費のため環境問題が発生する。 そこで本稿では,音声表現学習のための持続的自己教師モデルを提案する。 提案モデルでは,資源効率のよいベースラインを改良し,メモリ使用量と計算コストの見積を削減した。 1日以内で1つのGPUを使用して事前トレーニングを行う。 それに加えて、下流タスク評価におけるベースラインのエラー率パフォーマンスを向上させる。 大規模な音声表現アプローチと比較すると、メモリ使用量の桁違いの削減が見られ、計算コストの削減は、ほぼ3桁の桁違いの改善を示している。

関連論文リスト

• On Importance of Pruning and Distillation for Efficient Low Resource NLP [0.3958317527488535]
  大規模なトランスフォーマーモデルは自然言語処理に革命をもたらし、テキスト分類などのタスクが大幅に進歩した。 英語モデルの小型化と高速化が試みられているが、この領域の研究は低リソース言語では不十分である。 本研究では,低リソース・トピック・オール・docv2モデルをベースラインとして,計算時間とメモリ使用量を削減する最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-09-21T14:58:12Z)
• ssProp: Energy-Efficient Training for Convolutional Neural Networks with Scheduled Sparse Back Propagation [4.77407121905745]
  バックプロパゲーション(BP)は、ディープラーニングモデルをトレーニングする際の計算コストの主要な源泉である。 ディープラーニングアーキテクチャにシームレスに統合できる汎用的でエネルギー効率の良い畳み込みモジュールを提案する。
  論文  参考訳（メタデータ） (2024-08-22T17:22:59Z)
• A Dynamical Model of Neural Scaling Laws [79.59705237659547]
  ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。 我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
  論文  参考訳（メタデータ） (2024-02-02T01:41:38Z)
• Efficiency-oriented approaches for self-supervised speech representation learning [1.860144985630098]
  自己教師付き学習は、大きなラベル付きデータセットを必要とせずに、大きなニューラルネットワークモデルのトレーニングを可能にする。 コンピュータビジョン、自然言語処理、生物学、音声など、いくつかの分野で画期的な成果を上げている。 現在の努力にもかかわらず、自己教師付き表現学習における高い計算コストに対応するために、より多くの作業を行うことができる。
  論文  参考訳（メタデータ） (2023-12-18T12:32:42Z)
• AdaLomo: Low-memory Optimization with Adaptive Learning Rate [59.64965955386855]
  大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。 AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
  論文  参考訳（メタデータ） (2023-10-16T09:04:28Z)
• MiniSUPERB: Lightweight Benchmark for Self-supervised Speech Models [90.99663022952498]
  SuperBは自己教師付き学習(SSL)音声モデルの様々なタスクにおける一般化性を評価するために提案された。 SuperBは大規模なデータセットと多様なタスクのために高い計算コストを発生させる。 我々は,SUPERBに匹敵する結果のSSL音声モデルを効率よく評価する軽量ベンチマークであるMiniSUPERBを紹介する。
  論文  参考訳（メタデータ） (2023-05-30T13:07:33Z)
• Dynamic Context Pruning for Efficient and Interpretable Autoregressive Transformers [29.319666323947708]
  本稿では,モデル表現性を保ちながら文脈情報を動的に生成する手法を提案する。 本手法では,文脈からどの非形式的トークンをドロップできるかを学習可能なメカニズムを用いて決定する。 我々の参照実装は、推論スループットの増大とメモリの節約を最大2ドルまで達成します。
  論文  参考訳（メタデータ） (2023-05-25T07:39:41Z)
• Incremental Online Learning Algorithms Comparison for Gesture and Visual Smart Sensors [68.8204255655161]
  本稿では,加速度センサデータに基づくジェスチャー認識と画像分類の2つの実例として,最先端の4つのアルゴリズムを比較した。 以上の結果から,これらのシステムの信頼性と小型メモリMCUへのデプロイの可能性が確認された。
  論文  参考訳（メタデータ） (2022-09-01T17:05:20Z)
• Maintaining Performance with Less Data [12.54745966896411]
  本稿では,画像分類のためのニューラルネットワークのトレーニング手法を提案する。 ランタイムを最大50%削減し, 炭素排出量を比例的に削減しながら, 精度を維持できることを示す。
  論文  参考訳（メタデータ） (2022-08-03T12:22:18Z)
• Joint Parameter-and-Bandwidth Allocation for Improving the Efficiency of Partitioned Edge Learning [73.82875010696849]
  機械学習アルゴリズムは、人工知能(AI)モデルをトレーニングするために、ネットワークエッジにデプロイされる。 本稿では,パラメータ(計算負荷)割り当てと帯域幅割り当ての新しい共同設計に焦点を当てる。
  論文  参考訳（メタデータ） (2020-03-10T05:52:15Z)
• HULK: An Energy Efficiency Benchmark Platform for Responsible Natural Language Processing [76.38975568873765]
  本稿では,自然言語処理のためのマルチタスクエネルギー効率ベンチマークプラットフォームであるHULKを紹介する。 我々は、事前訓練されたモデルのエネルギー効率を時間とコストの観点から比較する。
  論文  参考訳（メタデータ） (2020-02-14T01:04:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。