論文の概要: Match to Win: Analysing Sequences Lengths for Efficient Self-supervised Learning in Speech and Audio

• arxiv url: http://arxiv.org/abs/2209.15575v2
• Date: Mon, 3 Oct 2022 20:15:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 10:40:21.326524
• Title: Match to Win: Analysing Sequences Lengths for Efficient Self-supervised Learning in Speech and Audio
• Title（参考訳）: match to win: 音声と音声の効率的な自己教師付き学習のためのシーケンス長の分析
• Authors: Yan Gao, Javier Fernandez-Marques, Titouan Parcollet, Pedro P. B. de Gusmao, Nicholas D. Lane
• Abstract要約: 自己教師型学習は、音声および音声関連アプリケーションにおいて不可欠であることが証明されている。 本稿では、特定配列長の異なるSSL事前トレーニングに関する最初の実証的研究について述べる。 ショートシーケンスでのトレーニングは、すべてのタスクで満足なパフォーマンスを維持しながら、リソースコストを劇的に削減できることがわかった。
• 参考スコア（独自算出の注目度）: 19.865050806327147
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning (SSL) has proven vital in speech and audio-related applications. The paradigm trains a general model on unlabeled data that can later be used to solve specific downstream tasks. This type of model is costly to train as it requires manipulating long input sequences that can only be handled by powerful centralised servers. Surprisingly, despite many attempts to increase training efficiency through model compression, the effects of truncating input sequence lengths to reduce computation have not been studied. In this paper, we provide the first empirical study of SSL pre-training for different specified sequence lengths and link this to various downstream tasks. We find that training on short sequences can dramatically reduce resource costs while retaining a satisfactory performance for all tasks. This simple one-line change would promote the migration of SSL training from data centres to user-end edge devices for more realistic and personalised applications.
• Abstract（参考訳）: 自己教師付き学習(SSL)は、音声および音声関連アプリケーションにおいて不可欠であることが証明されている。 このパラダイムはラベルのないデータの一般的なモデルをトレーニングし、後に特定のダウンストリームタスクの解決に使用できる。 このタイプのモデルは、強力な集中型サーバでしか処理できない長い入力シーケンスを操作する必要があるため、トレーニングにコストがかかる。 驚くべきことに、モデル圧縮によるトレーニング効率向上の試みは多いが、計算量を削減するために入力シーケンス長の切り詰めの影響は研究されていない。 本稿では,特定シーケンス長の異なるsslプリトレーニングに関する最初の実証研究を行い,これをダウンストリームタスクにリンクする。 ショートシーケンスでのトレーニングは、すべてのタスクで満足なパフォーマンスを維持しながら、リソースコストを劇的に削減できることがわかった。 この単純なワンライン変更は、より現実的でパーソナライズされたアプリケーションのために、データセンターからエンドユーザのエッジデバイスへのSSLトレーニングの移行を促進する。

関連論文リスト

• DailyMAE: Towards Pretraining Masked Autoencoders in One Day [37.206816999538496]
  マスク付き画像モデリング(MIM)は、ラベルのないデータからデータ表現を学習する上での有効性に注目されている。 本研究では,データロードボトルネックの軽減を目的としたMIMベースのSSLの効率的なトレーニングレシピを提案する。 このライブラリは,ImageNet 1Kデータセット上のMAE-Base/16モデルのトレーニングを,わずか18時間で800エポックで行うことができる。
  論文  参考訳（メタデータ） (2024-03-31T00:59:10Z)
• How Many Pretraining Tasks Are Needed for In-Context Learning of Linear Regression? [92.90857135952231]
  様々なタスクで事前訓練されたトランスフォーマーは、顕著なインコンテキスト学習(ICL)能力を示す。 線形回帰のための線形パラメータ化単一層線形アテンションモデルの事前学習を行う。
  論文  参考訳（メタデータ） (2023-10-12T15:01:43Z)
• Pre-training with Synthetic Data Helps Offline Reinforcement Learning [4.531082205797088]
  性能向上には言語が不可欠ではないことを示す。 次に、人気のあるオフラインDRLアルゴリズムである保守的Q-Learning(CQL)について検討する。 驚くべきことに、少数の更新のための単純な合成データによる事前トレーニングにより、CQLも改善される。
  論文  参考訳（メタデータ） (2023-10-01T19:32:14Z)
• Fast Machine Unlearning Without Retraining Through Selective Synaptic Dampening [51.34904967046097]
  Selective Synaptic Dampening (SSD)は高速で、訓練データの長期保存を必要としない。 高速で性能が高く,トレーニングデータの長期保存を必要としない,新しい2段階のポストホック,リトレーニングフリーなマシンアンラーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-08-15T11:30:45Z)
• Revisit Few-shot Intent Classification with PLMs: Direct Fine-tuning vs. Continual Pre-training [19.299285312415734]
  少量のラベル付きデータのみを使用して、基礎となる意図に基づいて発話を分類するために、深層学習モデルを訓練する。 この課題に対するPLMの過度な適合問題は、予想されるほど深刻ではないため、継続事前学習は必須ではない可能性がある。 限られた利用可能なデータの利用を最大化するために,コンテキスト拡張法を提案し,逐次自己蒸留を利用して性能を向上させる。
  論文  参考訳（メタデータ） (2023-06-08T15:26:52Z)
• SLICER: Learning universal audio representations using low-resource self-supervised pre-training [53.06337011259031]
  ラベルなし音声データに事前学習エンコーダを組み込むための自己指導型学習手法を提案する。 我々の主な目的は、多種多様な音声および非音声タスクにまたがる一般化が可能な音声表現を学習することである。
  論文  参考訳（メタデータ） (2022-11-02T23:45:33Z)
• Exploring Efficient-tuning Methods in Self-supervised Speech Models [53.633222197712875]
  自己教師付き学習は、異なる音声タスクの強力な表現を学習することができる。 下流タスクでは、SSLモデルのパラメータは凍結され、アダプタのみがトレーニングされる。 90%以上のパラメータ削減を達成できることを示す。
  論文  参考訳（メタデータ） (2022-10-10T11:08:12Z)
• Task-Customized Self-Supervised Pre-training with Scalable Dynamic Routing [76.78772372631623]
  セルフ教師付き事前トレーニングの一般的な実践は、できるだけ多くのデータを使用することである。 しかし、特定のダウンストリームタスクでは、事前トレーニングで無関係なデータを含むと、ダウンストリームのパフォーマンスが低下する可能性がある。 異なるタスクのための事前トレーニングで、異なるダウンストリームタスクにカスタマイズされたデータセットを使用することは、重荷であり、実現不可能である。
  論文  参考訳（メタデータ） (2022-05-26T10:49:43Z)
• DATA: Domain-Aware and Task-Aware Pre-training [94.62676913928831]
  我々は、自己教師付き学習(SSL)に特化した、シンプルで効果的なNASアプローチであるDataを提示する。 提案手法は,画像分類,オブジェクト検出,セマンティックセグメンテーションなど,下流タスクにおける計算コストの広い範囲にわたる有望な結果を実現する。
  論文  参考訳（メタデータ） (2022-03-17T02:38:49Z)
• Transfer Learning or Self-supervised Learning? A Tale of Two Pretraining Paradigms [36.04356511882304]
  自己教師付き学習(SSL)は、幅広いアプリケーションで有望な結果を示している。 データとタスクの性質について明確な理解が得られていないため、一方のアプローチがもう一方よりも優れている。
  論文  参考訳（メタデータ） (2020-06-19T05:21:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。