論文の概要: FusDom: Combining In-Domain and Out-of-Domain Knowledge for Continuous Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2312.13026v1
• Date: Wed, 20 Dec 2023 13:50:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-12-21 15:26:24.484557
• Title: FusDom: Combining In-Domain and Out-of-Domain Knowledge for Continuous Self-Supervised Learning
• Title（参考訳）: FusDom: 継続的自己監視学習のためのドメイン内知識とドメイン外知識を組み合わせる
• Authors: Ashish Seth and Sreyan Ghosh and S. Umesh and Dinesh Manocha
• Abstract要約: FusDomはSSLベースの継続事前トレーニングのためのシンプルで斬新な方法論である。 FusDomは、過去に見られる概念を忘れずに頑健で適応的な表現を学ぶ。
• 参考スコア（独自算出の注目度）: 54.9235160379917
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continued pre-training (CP) offers multiple advantages, like target domain adaptation and the potential to exploit the continuous stream of unlabeled data available online. However, continued pre-training on out-of-domain distributions often leads to catastrophic forgetting of previously acquired knowledge, leading to sub-optimal ASR performance. This paper presents FusDom, a simple and novel methodology for SSL-based continued pre-training. FusDom learns speech representations that are robust and adaptive yet not forgetful of concepts seen in the past. Instead of solving the SSL pre-text task on the output representations of a single model, FusDom leverages two identical pre-trained SSL models, a teacher and a student, with a modified pre-training head to solve the CP SSL pre-text task. This head employs a cross-attention mechanism between the representations of both models while only the student receives gradient updates and the teacher does not. Finally, the student is fine-tuned for ASR. In practice, FusDom outperforms all our baselines across settings significantly, with WER improvements in the range of 0.2 WER - 7.3 WER in the target domain while retaining the performance in the earlier domain.
• Abstract（参考訳）: 継続的な事前トレーニング(CP)は、ターゲットドメイン適応や、オンラインで利用可能なラベルなしデータの継続的ストリームを利用する可能性など、さまざまなメリットを提供する。 しかし、ドメイン外分布の継続事前トレーニングは、しばしば以前に取得した知識を壊滅的に忘れ、亜最適ASR性能をもたらす。 本稿ではSSLベースの継続事前学習のためのシンプルで斬新な手法であるFusDomについて述べる。 FusDomは、過去に見られる概念を忘れずに頑健で適応的な表現を学ぶ。 単一モデルの出力表現におけるSSLプリテキストタスクを解決する代わりに、FusDomはCP SSLプリテキストタスクを解決するために、教師と学生の2つの同じトレーニング済みSSLモデルを利用する。 このヘッドは、生徒だけが勾配の更新を受け取り、教師が受け取らない間に、両方のモデルの表現の間に相互アテンション機構を用いる。 最後に、学生はASRのために微調整される。 実際には、FusDomは設定全体のベースラインを著しく上回り、WERは、以前のドメインのパフォーマンスを維持しながら、ターゲットドメインの0.2 WER - 7.3 WERの範囲を改善しています。

関連論文リスト

• Stable Distillation: Regularizing Continued Pre-training for Low-Resource Automatic Speech Recognition [54.9235160379917]
  安定蒸留はSSLベースの継続事前トレーニングのためのシンプルで斬新なアプローチである。 これにより、ラベル付きデータとラベルなしデータの両方が制限されたターゲットドメインでのASRパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-12-20T06:02:12Z)
• In-Domain Self-Supervised Learning Improves Remote Sensing Image Scene Classification [5.323049242720532]
  リモートセンシング画像分類のための有望なアプローチとして,自己教師付き学習が登場している。 そこで本研究では,14の下流データセットにまたがる自己教師型事前学習戦略について検討し,その効果を評価する。
  論文  参考訳（メタデータ） (2023-07-04T10:57:52Z)
• Boosting Cross-Domain Speech Recognition with Self-Supervision [35.01508881708751]
  自動音声認識(ASR)のクロスドメイン性能は,トレーニングとテストのミスマッチにより著しく損なわれる可能性がある。 従来, 自己監督学習 (SSL) や擬似ラベル学習 (PL) は, 未ラベルデータの自己監督を利用してUDAに有効であることが示された。 この研究は、事前学習および微調整のパラダイムにおいて、ラベルなしデータを完全に活用する体系的なUDAフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-20T14:02:53Z)
• Transferrable Contrastive Learning for Visual Domain Adaptation [108.98041306507372]
  Transferrable Contrastive Learning (TCL) はドメイン適応に適した自己教師型学習パラダイムである。 TCLは、クリーンで斬新な対照的な損失を通じて、ソースとターゲット間のドメイン内ドメイン間の相違を罰する。 無料のランチは、対照的な学習が組み込まれているため、TCLは、ターゲットデータのための擬似ラベルの時間的にアンサンブルされたバージョンを自然に達成する、移動平均キーエンコーダに依存している。
  論文  参考訳（メタデータ） (2021-12-14T16:23:01Z)
• Unified Instance and Knowledge Alignment Pretraining for Aspect-based Sentiment Analysis [96.53859361560505]
  Aspect-based Sentiment Analysis (ABSA) は、ある側面に対する感情の極性を決定することを目的としている。 事前トレーニングと下流ABSAデータセットの間には、常に深刻なドメインシフトが存在する。 我々は,バニラ・プレトレイン・ファインチューンパイプラインにアライメント事前訓練フレームワークを導入する。
  論文  参考訳（メタデータ） (2021-10-26T04:03:45Z)
• Stagewise Unsupervised Domain Adaptation with Adversarial Self-Training for Road Segmentation of Remote Sensing Images [93.50240389540252]
  リモートセンシング画像からの道路セグメンテーションは、幅広い応用可能性を持つ課題である。 本稿では,この領域における領域シフト(DS)問題に対処するため,RoadDAと呼ばれる新たな段階的ドメイン適応モデルを提案する。 2つのベンチマーク実験の結果、RoadDAはドメインギャップを効率的に減らし、最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2021-08-28T09:29:14Z)
• Feature Adaptation of Pre-Trained Language Models across Languages and Domains with Robust Self-Training [47.12438995938133]
  我々は、訓練済み言語モデル(PrLM)を微調整なしで新しいドメインに適用する。 PrLMから識別的特徴を学習するために,クラス認識型自己蒸留(CFd)を提案する。 2つの単言語および多言語Amazonレビューデータセットの実験は、CFdが継続的に自己学習のパフォーマンスを改善することができることを示している。
  論文  参考訳（メタデータ） (2020-09-24T08:04:37Z)
• Don't Stop Pretraining: Adapt Language Models to Domains and Tasks [81.99843216550306]
  バイオメディカルおよびコンピュータサイエンスの出版物、ニュース、レビュー)と8つの分類タスクについて調査する。 ドメイン内の事前トレーニング(ドメイン適応型事前トレーニング)の第2フェーズでは、パフォーマンスが向上する。 タスクの未ラベルデータ(タスク適応事前トレーニング)に適応することで、ドメイン適応事前トレーニング後のパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2020-04-23T04:21:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。