論文の概要: On Unsupervised Uncertainty-Driven Speech Pseudo-Label Filtering and Model Calibration

• arxiv url: http://arxiv.org/abs/2211.07795v1
• Date: Mon, 14 Nov 2022 23:20:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-16 13:59:49.413054
• Title: On Unsupervised Uncertainty-Driven Speech Pseudo-Label Filtering and Model Calibration
• Title（参考訳）: 教師なし不確実性駆動音声擬似ラベルフィルタリングとモデルキャリブレーションについて
• Authors: Nauman Dawalatabad, Sameer Khurana, Antoine Laurent, James Glass
• Abstract要約: ドロップアウトベースの不確実性駆動型自己訓練(DUST)は、まず、ソースドメインラベル付きデータに基づいて教師モデルをトレーニングする。 そして、教師モデルを用いて、未ラベルのターゲットドメインデータに対してPLを提供する。 DUSTのPLフィルタリングは、当初使用されていたように、厳しいソースとターゲットドメインのミスマッチの下で失敗する可能性があることを示す。
• 参考スコア（独自算出の注目度）: 11.23117613967246
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pseudo-label (PL) filtering forms a crucial part of Self-Training (ST) methods for unsupervised domain adaptation. Dropout-based Uncertainty-driven Self-Training (DUST) proceeds by first training a teacher model on source domain labeled data. Then, the teacher model is used to provide PLs for the unlabeled target domain data. Finally, we train a student on augmented labeled and pseudo-labeled data. The process is iterative, where the student becomes the teacher for the next DUST iteration. A crucial step that precedes the student model training in each DUST iteration is filtering out noisy PLs that could lead the student model astray. In DUST, we proposed a simple, effective, and theoretically sound PL filtering strategy based on the teacher model's uncertainty about its predictions on unlabeled speech utterances. We estimate the model's uncertainty by computing disagreement amongst multiple samples drawn from the teacher model during inference by injecting noise via dropout. In this work, we show that DUST's PL filtering, as initially used, may fail under severe source and target domain mismatch. We suggest several approaches to eliminate or alleviate this issue. Further, we bring insights from the research in neural network model calibration to DUST and show that a well-calibrated model correlates strongly with a positive outcome of the DUST PL filtering step.
• Abstract（参考訳）: Pseudo-label (PL) フィルタリングは、教師なしドメイン適応のための自己訓練(ST)手法の重要な部分を形成する。 ドロップアウトベースの不確実性駆動セルフトレーニング(dust)は、まず、ソースドメインラベル付きデータで教師モデルをトレーニングする。 そして、教師モデルを用いて、未ラベルのターゲットドメインデータに対してPLを提供する。 最後に,ラベル付きおよび擬似ラベル付きデータを用いて学生を訓練する。 プロセスは反復的であり、学生が次のDUSTイテレーションの教師になる。 各DUSTイテレーションで学生モデルトレーニングに先立つ重要なステップは、学生モデルアストレイを導くうるノイズの多いPLをフィルタリングすることだ。 本研究は,教師モデルの予測の不確実性に基づく単純,効果的,理論的に有理なplフィルタリング手法を提案する。 本研究では,教師モデルから抽出した複数のサンプル間の不一致の計算によるモデルの不確実性の推定を行う。 本研究では,DUST の PL フィルタリングが当初使用されていたように,厳しいソースとターゲットドメインのミスマッチの下で失敗する可能性があることを示す。 この問題を排除または緩和するためのいくつかのアプローチを提案する。 さらに,ニューラルネットワークモデルキャリブレーションの研究成果をDUSTに持ち込み,よく校正されたモデルがDUST PLフィルタリングステップの正の結果と強く相関していることを示す。

関連論文リスト

• Uncertainty-Aware Pseudo-Label Filtering for Source-Free Unsupervised Domain Adaptation [45.53185386883692]
  Source-free unsupervised domain adapt (SFUDA) は、訓練済みのソースモデルを、ソースデータにアクセスすることなく、ラベルなしのターゲットドメインで利用できるようにすることを目的としている。 本稿では,不確かさを意識したPseudo-label-filtering Adaptation (UPA) という手法を提案する。
  論文  参考訳（メタデータ） (2024-03-17T16:19:40Z)
• Combating Label Noise With A General Surrogate Model For Sample Selection [84.61367781175984]
  本稿では,視覚言語サロゲートモデルCLIPを用いて,雑音の多いサンプルを自動的にフィルタリングする手法を提案する。 提案手法の有効性を実世界および合成ノイズデータセットで検証した。
  論文  参考訳（メタデータ） (2023-10-16T14:43:27Z)
• MAPS: A Noise-Robust Progressive Learning Approach for Source-Free Domain Adaptive Keypoint Detection [76.97324120775475]
  クロスドメインキーポイント検出方法は、常に適応中にソースデータにアクセスする必要がある。 本稿では、ターゲット領域に十分に訓練されたソースモデルのみを提供する、ソースフリーなドメイン適応キーポイント検出について考察する。
  論文  参考訳（メタデータ） (2023-02-09T12:06:08Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• Adapting the Mean Teacher for keypoint-based lung registration under geometric domain shifts [75.51482952586773]
  ディープニューラルネットワークは一般的に、ラベル付きトレーニングデータが多く必要であり、トレーニングデータとテストデータの間のドメインシフトに弱い。 本稿では,ラベル付きソースからラベル付きターゲットドメインへのモデルの適用により,画像登録のための幾何学的領域適応手法を提案する。 本手法は,ベースラインモデルの精度を目標データに適合させながら,ベースラインモデルの50%/47%を継続的に改善する。
  論文  参考訳（メタデータ） (2022-07-01T12:16:42Z)
• Uncertainty-aware Mean Teacher for Source-free Unsupervised Domain Adaptive 3D Object Detection [6.345037597566315]
  擬似ラベルに基づく自己学習アプローチは、ソースフリーな教師なしドメイン適応の一般的な方法である。 本研究では,学習中に誤字を暗黙的にフィルタリングする不確実性認識型平均教師フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-29T18:17:09Z)
• Momentum Pseudo-Labeling for Semi-Supervised Speech Recognition [55.362258027878966]
  本稿では,半教師付き音声認識のための簡易かつ効果的な手法として,モーメント擬似ラベル(MPL)を提案する。 MPLは、平均的な教師メソッドにインスパイアされて、相互に相互作用し、学習するオンラインとオフラインの2つのモデルで構成されている。 実験の結果,MPLはベースモデルよりも効果的に改善され,様々な半教師付きシナリオに拡張可能であることが示された。
  論文  参考訳（メタデータ） (2021-06-16T16:24:55Z)
• Self-Supervised Noisy Label Learning for Source-Free Unsupervised Domain Adaptation [87.60688582088194]
  新規な自己監督雑音ラベル学習法を提案する。 本手法は最新の結果を容易に達成でき、他の手法を非常に大きなマージンで超えることができる。
  論文  参考訳（メタデータ） (2021-02-23T10:51:45Z)
• Self-Supervised Contrastive Learning for Unsupervised Phoneme Segmentation [37.054709598792165]
  このモデルは畳み込みニューラルネットワークであり、生波形上で直接動作する。 ノイズコントラスト推定原理を用いて信号のスペクトル変化を同定する。 テスト時には、モデル出力にピーク検出アルゴリズムを適用して最終境界を生成する。
  論文  参考訳（メタデータ） (2020-07-27T12:10:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。