論文の概要: PADA: Pruning Assisted Domain Adaptation for Self-Supervised Speech Representations

• arxiv url: http://arxiv.org/abs/2203.16965v4
• Date: Sat, 13 May 2023 21:18:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-17 01:19:42.060070
• Title: PADA: Pruning Assisted Domain Adaptation for Self-Supervised Speech Representations
• Title（参考訳）: PADA:自己教師付き音声表現のためのドメイン適応処理
• Authors: Lodagala V S V Durga Prasad and Sreyan Ghosh and S. Umesh
• Abstract要約: PADA(Pruning Assisted Domain Adaptation)と、大量のドメイン外(OOD)データに基づいて事前訓練されたモデルから余剰重量をゼロにする。 冗長ウェイトは、この研究の一部として詳細に議論された様々なプルーニング戦略を通じて特定することができる。 具体的には、最近発見されたタスク非依存およびタスク認識プルーニングがPADに与える影響を調査し、後者に基づく新しいプルーニングパラダイムを提案する。 提案したCD-TAW法は,Switchの2時間サブセットを微調整した場合,ベースラインよりも20.6%の相対的なWER改善を実現する。
• 参考スコア（独自算出の注目度）: 1.2031796234206138
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While self-supervised speech representation learning (SSL) models serve a variety of downstream tasks, these models have been observed to overfit to the domain from which the unlabelled data originates. To alleviate this issue, we propose PADA (Pruning Assisted Domain Adaptation) and zero out redundant weights from models pre-trained on large amounts of out-of-domain (OOD) data. Intuitively, this helps to make space for the target-domain ASR finetuning. The redundant weights can be identified through various pruning strategies which have been discussed in detail as a part of this work. Specifically, we investigate the effect of the recently discovered Task-Agnostic and Task-Aware pruning on PADA and propose a new pruning paradigm based on the latter, which we call Cross-Domain Task-Aware Pruning (CD-TAW). CD-TAW obtains the initial pruning mask from a well fine-tuned OOD model, which makes it starkly different from the rest of the pruning strategies discussed in the paper. Our proposed CD-TAW methodology achieves up to 20.6% relative WER improvement over our baseline when fine-tuned on a 2-hour subset of Switchboard data without language model (LM) decoding. Furthermore, we conduct a detailed analysis to highlight the key design choices of our proposed method.
• Abstract（参考訳）: 自己教師付き音声表現学習(ssl)モデルは下流の様々なタスクをこなすが、これらのモデルはラベルのないデータが起源となる領域に過剰に適合することが観察されている。 この問題を軽減するために,大量のドメイン外データに基づいて事前訓練されたモデルからPAD(Pruning Assisted Domain Adaptation)と余剰重量をゼロにする手法を提案する。 直感的には、ターゲットドメインのASR微調整のためのスペースを作るのに役立つ。 冗長な重みは、この作業の一部として詳細に議論された様々な刈り取り戦略を通じて特定することができる。 具体的には,最近発見されたタスク非依存型およびタスク認識型プルーニングがPADに与える影響を調査し,後者に基づいた新たなプルーニングパラダイムを提案する。 CD-TAWは、十分に調整されたOODモデルから初期プルーニングマスクを取得し、論文で論じるプルーニング戦略の他の部分と大きく異なる。 提案するCD-TAW法は,言語モデル(LM)復号化を伴わないSwitchboardデータの2時間サブセットを微調整することにより,ベースラインよりも20.6%の相対的なWER改善を実現する。 さらに,提案手法の重要な設計選択を強調するために,詳細な分析を行った。

関連論文リスト

• A Bayesian Approach to Data Point Selection [24.98069363998565]
  データポイントの選択(DPS)は、ディープラーニングにおいて重要なトピックになりつつある。 既存のDPSへのアプローチは、主にバイレベル最適化(BLO)の定式化に基づいている。 DPSに対する新しいベイズ的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-06T09:04:13Z)
• MTP: Advancing Remote Sensing Foundation Model via Multi-Task Pretraining [73.81862342673894]
  ファンデーションモデルは、様々な画像解釈タスクを強化することで、リモートセンシング(RS)のランドスケープを再構築した。 事前訓練されたモデルを下流のタスクに転送することは、イメージ分類やオブジェクト識別タスクとして事前訓練の定式化によるタスクの相違に遭遇する可能性がある。 SAMRSデータセット上で、セマンティックセグメンテーション、インスタンスセグメンテーション、回転オブジェクト検出を含むマルチタスクによる事前トレーニングを行う。 我々のモデルは、シーン分類、水平・回転物体検出、セマンティックセグメンテーション、変化検出など、様々なRS下流タスクに基づいて微調整される。
  論文  参考訳（メタデータ） (2024-03-20T09:17:22Z)
• Model Tailor: Mitigating Catastrophic Forgetting in Multi-modal Large Language Models [46.92994945808424]
  マルチモーダル大言語モデル(MLLM)の微調整における破滅的忘れ込みの課題 本稿では,MLLMにおける破滅的忘れの包括的分析を行い,モデルタイラーと呼ばれるポストトレーニング調整手法を提案する。
  論文  参考訳（メタデータ） (2024-02-19T11:02:05Z)
• A New Learning Paradigm for Foundation Model-based Remote Sensing Change Detection [54.01158175996638]
  変化検出(CD)は、土地被覆の動的過程を観察し解析するための重要な課題である。 本稿では,基盤モデルに基づくCD適応フレームワークであるBi-Temporal Adapter Network (BAN)を提案する。
  論文  参考訳（メタデータ） (2023-12-02T15:57:17Z)
• Voting from Nearest Tasks: Meta-Vote Pruning of Pre-trained Models for Downstream Tasks [55.431048995662714]
  我々は、類似タスクの刈り取られたモデルから、新しいタスクのための小さなモデルを作成する。 このモデルに関するいくつかの微調整ステップは、新しいタスクに対して有望なプルーンドモデルを生成するのに十分であることを示す。 我々は, 単純だが効果的な'Meta-Vote Pruning (MVP)' 手法を開発した。
  論文  参考訳（メタデータ） (2023-01-27T06:49:47Z)
• Domain Adaptive Person Search [20.442648584402917]
  本稿では,ラベル付きソースドメインからラベル付きターゲットドメインへのモデルを一般化することを目的とした,DAPS(Domain Adaptive Person Search)を提案する。 我々は,我々のフレームワークがmAPで34.7%,PRWデータセットでトップ1で80.6%を達成したことを示す。
  論文  参考訳（メタデータ） (2022-07-25T04:02:39Z)
• Plug-and-Play Few-shot Object Detection with Meta Strategy and Explicit Localization Inference [78.41932738265345]
  本稿では, 微調整を行なわずに新しいカテゴリーの物体を正確に検出できるプラグ検出器を提案する。 局所化プロセスに2つの明示的な推論を導入し、アノテーション付きデータへの依存を減らす。 これは、様々な評価プロトコルの下で、効率、精度、リコールの両方において大きなリードを示している。
  論文  参考訳（メタデータ） (2021-10-26T03:09:57Z)
• Enhancing the Generalization for Intent Classification and Out-of-Domain Detection in SLU [70.44344060176952]
  インテント分類は、音声言語理解(SLU)における主要な課題である 近年の研究では、余分なデータやラベルを使用することで、OOD検出性能が向上することが示されている。 本稿では、IND意図分類とOOD検出の両方をサポートしながら、INDデータのみを用いてモデルを訓練することを提案する。
  論文  参考訳（メタデータ） (2021-06-28T08:27:38Z)
• DGSAC: Density Guided Sampling and Consensus [4.808421423598809]
  Kernel Residual Densityは、inlierとoutlierの主な差別化要因である。 本稿では,2つのモデル選択アルゴリズム,最適2次プログラム,および欲求性を提案する。 平面分割, 運動分割, 点推定, 3次元点雲への平面整合, 直線, 円環整合など, 様々なタスクについて評価を行った。
  論文  参考訳（メタデータ） (2020-06-03T17:42:53Z)
• Recent Developments Combining Ensemble Smoother and Deep Generative Networks for Facies History Matching [58.720142291102135]
  本研究は、ファシズムモデルのための連続パラメータ化を構築するためのオートエンコーダネットワークの利用に焦点を当てる。 本稿では,VAE,GAN,Wasserstein GAN,変分自動符号化GAN,サイクルGANの主成分分析(PCA),転送スタイルネットワークのPCA,スタイル損失のVAEの7種類の定式化をベンチマークする。
  論文  参考訳（メタデータ） (2020-05-08T21:32:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。