論文の概要: Automatic Data Augmentation Selection and Parametrization in Contrastive Self-Supervised Speech Representation Learning

• arxiv url: http://arxiv.org/abs/2204.04170v1
• Date: Fri, 8 Apr 2022 16:30:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-11 14:01:47.656787
• Title: Automatic Data Augmentation Selection and Parametrization in Contrastive Self-Supervised Speech Representation Learning
• Title（参考訳）: コントラスト型自己監督型音声表現学習における自動データ拡張選択とパラメトリゼーション
• Authors: Salah Zaiem, Titouan Parcollet and Slim Essid
• Abstract要約: 本研究では, 事前定義された値集合から, 拡張選択とそのパラメトリゼーションに関する適切な分布を自動的に選択できる条件付き独立性に基づく手法を提案する。 2つの異なる下流タスクで実施された実験は、拡張やベースライン拡張を伴わない実験よりも優れた結果を示す提案手法の有効性を検証した。
• 参考スコア（独自算出の注目度）: 21.423349835589793
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive learning enables learning useful audio and speech representations without ground-truth labels by maximizing the similarity between latent representations of similar signal segments. In this framework various data augmentation techniques are usually exploited to help enforce desired invariances within the learned representations, improving performance on various audio tasks thanks to more robust embeddings. Now, selecting the most relevant augmentations has proven crucial for better downstream performances. Thus, this work introduces a conditional independance-based method which allows for automatically selecting a suitable distribution on the choice of augmentations and their parametrization from a set of predefined ones, for contrastive self-supervised pre-training. This is performed with respect to a downstream task of interest, hence saving a costly hyper-parameter search. Experiments performed on two different downstream tasks validate the proposed approach showing better results than experimenting without augmentation or with baseline augmentations. We furthermore conduct a qualitative analysis of the automatically selected augmentations and their variation according to the considered final downstream dataset.
• Abstract（参考訳）: コントラスト学習は、類似した信号セグメントの潜在表現間の類似性を最大化することにより、基底ラベルを使わずに有用な音声および音声表現の学習を可能にする。 このフレームワークでは、様々なデータ拡張技術が一般的に利用され、学習された表現内で望ましい不変性を強制し、より堅牢な埋め込みにより様々なオーディオタスクのパフォーマンスを向上させる。 現在、最も関連する拡張を選択することは、下流のパフォーマンスを改善する上で非常に重要であることが分かっています。 そこで本研究では, 条件付き独立性に基づく手法を導入し, 自己教師付き事前学習において, 条件付き独立性に基づく加法選択とそのパラメトリゼーションにより, 適切な分布を自動選択する手法を提案する。 これは下流の関心のあるタスクに関して行われ、コストのかかるハイパーパラメータの探索を省く。 2つの異なる下流タスクで行った実験は、追加なしでの実験やベースライン拡張よりも優れた結果を示す提案手法を検証する。 さらに, 最終ダウンストリームデータセットにしたがって, 自動選択された拡張とその変動を定性的に分析する。

関連論文リスト

• Implicit Counterfactual Data Augmentation for Robust Learning [24.795542869249154]
  本研究では, 突発的相関を除去し, 安定した予測を行うために, インプリシト・カウンセショナル・データ拡張法を提案する。 画像とテキストのデータセットをカバーする様々なバイアス付き学習シナリオで実験が行われてきた。
  論文  参考訳（メタデータ） (2023-04-26T10:36:40Z)
• ASPEST: Bridging the Gap Between Active Learning and Selective Prediction [56.001808843574395]
  選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。 アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。 本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
  論文  参考訳（メタデータ） (2023-04-07T23:51:07Z)
• Time Series Contrastive Learning with Information-Aware Augmentations [57.45139904366001]
  コントラスト学習の鍵となる要素は、いくつかの先行を示唆する適切な拡張を選択して、実現可能な正のサンプルを構築することである。 対照的な学習タスクやデータセットに意味のある時系列データの増大をどうやって見つけるかは、未解決の問題である。 本稿では,時系列表現学習のための最適な拡張を適応的に選択する情報認識拡張を用いた新しいコントラスト学習手法であるInfoTSを提案する。
  論文  参考訳（メタデータ） (2023-03-21T15:02:50Z)
• Unsupervised Fine-Tuning Data Selection for ASR Using Self-Supervised Speech Models [13.956691231452336]
  自己教師付き学習(SSL)は、ラベルのないデータを利用して自動音声認識(ASR)モデルの性能を向上させることができる。 本研究は,限られた転写予算の下でHuBERTモデルを微調整するための,教師なしデータ選択手法について検討する。
  論文  参考訳（メタデータ） (2022-12-03T18:05:08Z)
• SURF: Semi-supervised Reward Learning with Data Augmentation for Feedback-efficient Preference-based Reinforcement Learning [168.89470249446023]
  我々は、大量のラベルなしサンプルとデータ拡張を利用する半教師付き報酬学習フレームワークSURFを提案する。 報奨学習にラベルのないサンプルを活用するために,選好予測器の信頼性に基づいてラベルのないサンプルの擬似ラベルを推定する。 本実験は, ロボット操作作業における嗜好に基づく手法のフィードバック効率を有意に向上させることを実証した。
  論文  参考訳（メタデータ） (2022-03-18T16:50:38Z)
• Representative Subset Selection for Efficient Fine-Tuning in Self-Supervised Speech Recognition [6.450618373898492]
  ASRのための自己教師型音声モデルにおいて、効率的な微調整を行うために最適なデータのサブセットを同定する作業を検討する。 自己教師型ASRにおける代表サブセット選択のためのCOWERAGEアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-03-18T10:12:24Z)
• SelectAugment: Hierarchical Deterministic Sample Selection for Data Augmentation [72.58308581812149]
  そこで我々は,SelectAugmentと呼ばれる効果的な手法を提案し,決定論的かつオンラインに拡張するサンプルを選択する。 具体的には、各バッチにおいて、まず増分比率を決定し、次にこの比で各トレーニングサンプルを増分するかを決定する。 これにより、サンプルを増量する際のランダム性による負の効果を効果的に軽減し、DAの有効性を向上させることができる。
  論文  参考訳（メタデータ） (2021-12-06T08:38:38Z)
• Smart(Sampling)Augment: Optimal and Efficient Data Augmentation for Semantic Segmentation [68.8204255655161]
  セマンティックイメージセグメンテーションに関する最初の研究を行い、textitSmartAugment と textitSmartSamplingAugment の2つの新しいアプローチを紹介した。 SmartAugmentはベイジアン最適化を使用して、拡張戦略の豊富なスペースを探索し、私たちが考慮しているすべてのセマンティックセグメンテーションタスクにおいて、新しい最先端のパフォーマンスを達成する。 SmartSamplingAugmentは、固定的な拡張戦略を備えたシンプルなパラメータフリーのアプローチで、既存のリソース集約型アプローチとパフォーマンスを競い合い、安価な最先端データ拡張手法を上回っている。
  論文  参考訳（メタデータ） (2021-10-31T13:04:45Z)
• Improving Multi-Turn Response Selection Models with Complementary Last-Utterance Selection by Instance Weighting [84.9716460244444]
  我々は、データリソース自体の根底にある相関を利用して、異なる種類の監視信号を導出することを検討する。 2つの公開データセットで広範な実験を行い、両方のデータセットで大幅に改善した。
  論文  参考訳（メタデータ） (2020-02-18T06:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。