論文の概要: Improving Label Assignments Learning by Dynamic Sample Dropout Combined with Layer-wise Optimization in Speech Separation

• arxiv url: http://arxiv.org/abs/2311.12199v1
• Date: Mon, 20 Nov 2023 21:37:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-23 02:59:01.661497
• Title: Improving Label Assignments Learning by Dynamic Sample Dropout Combined with Layer-wise Optimization in Speech Separation
• Title（参考訳）: 音声分離における階層最適化と動的サンプルドロップアウトによるラベル割当学習の改善
• Authors: Chenyang Gao, Yue Gu, Ivan Marsic
• Abstract要約: 教師付き音声分離では、モデルを更新する最適な置換を選択することで、ラベルのあいまいさを扱うために、置換不変トレーニング(PIT)が広く使用されている。 これまでの研究では、PITは隣接した時代における過剰なラベル割り当ての切り替えに悩まされており、より良いラベル割り当てを学ぶためのモデルが妨げられていた。 本研究では,学習中のラベル割り当てに悪影響を及ぼす可能性のあるサンプルを除外するために,過去のベストラベル割り当てと評価指標を考慮した新しいトレーニング戦略である動的サンプルドロップアウト(DSD)を提案する。
• 参考スコア（独自算出の注目度）: 8.489574755691613
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In supervised speech separation, permutation invariant training (PIT) is widely used to handle label ambiguity by selecting the best permutation to update the model. Despite its success, previous studies showed that PIT is plagued by excessive label assignment switching in adjacent epochs, impeding the model to learn better label assignments. To address this issue, we propose a novel training strategy, dynamic sample dropout (DSD), which considers previous best label assignments and evaluation metrics to exclude the samples that may negatively impact the learned label assignments during training. Additionally, we include layer-wise optimization (LO) to improve the performance by solving layer-decoupling. Our experiments showed that combining DSD and LO outperforms the baseline and solves excessive label assignment switching and layer-decoupling issues. The proposed DSD and LO approach is easy to implement, requires no extra training sets or steps, and shows generality to various speech separation tasks.
• Abstract（参考訳）: 教師付き音声分離では、モデルの更新に最適な順列を選択することにより、ラベル曖昧性に対処するために順列不変トレーニング(pit)が広く使われている。 その成功にもかかわらず、以前の研究では、PITは近隣のエポックにおける過剰なラベル割り当ての切り替えに悩まされており、より良いラベル割り当てを学ぶためのモデルを妨げることが示されている。 そこで本稿では,従来の最良ラベル割り当てと評価指標を考慮して,学習中のラベル割り当てに悪影響を及ぼす可能性のあるサンプルを除外する,新しいトレーニング戦略であるdynamic sample dropout(dsd)を提案する。 さらに、レイヤ分離の解決によるパフォーマンス向上のためのレイヤワイド最適化(LO)も含んでいます。 実験により,dsdとloの組み合わせがベースラインを上回り,ラベル割り当ての過度な切り替えやレイヤ分離の問題を解決することを示した。 提案するdsdとloのアプローチは実装が容易であり、追加のトレーニングセットやステップは必要とせず、様々な音声分離タスクに汎用性を示す。

関連論文リスト

• Unsupervised Domain Adaptation for Semantic Segmentation with Pseudo Label Self-Refinement [9.69089112870202]
  擬似ラベルのオンライン精錬のための補助的擬似ラベル精錬ネットワーク(PRN)を提案する。 3つの異なるドメインシフトを持つベンチマークデータセットに対する我々のアプローチを評価する。
  論文  参考訳（メタデータ） (2023-10-25T20:31:07Z)
• On Robust Learning from Noisy Labels: A Permutation Layer Approach [53.798757734297986]
  本稿では、深層ニューラルネットワーク(DNN)のトレーニング過程を動的に校正するPermLLと呼ばれる置換層学習手法を提案する。 本稿では,PermLLの2つの変種について述べる。一方はモデルの予測に置換層を適用し,他方は与えられた雑音ラベルに直接適用する。 我々はPermLLを実験的に検証し、実際のデータセットと合成データセットの両方で最先端のパフォーマンスを実現することを示す。
  論文  参考訳（メタデータ） (2022-11-29T03:01:48Z)
• Feature Diversity Learning with Sample Dropout for Unsupervised Domain Adaptive Person Re-identification [0.0]
  本稿では,ノイズの多い擬似ラベルを限定することで,より優れた一般化能力を持つ特徴表現を学習する手法を提案する。 我々は,古典的な相互学習アーキテクチャの下で,FDL(Feature Diversity Learning)と呼ばれる新しい手法を提案する。 実験の結果,提案するFDL-SDは,複数のベンチマークデータセット上での最先端性能を実現することがわかった。
  論文  参考訳（メタデータ） (2022-01-25T10:10:48Z)
• Single-channel speech separation using Soft-minimum Permutation Invariant Training [60.99112031408449]
  教師付き音声分離における長寿命問題は、それぞれの分離された音声信号の正しいラベルを見つけることである。 Permutation Invariant Training (PIT) はラベルあいまいさ問題に対処する上で有望な解決策であることが示されている。 そこで本研究では,PITの不効率に対処する確率的最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-11-16T17:25:05Z)
• Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
  我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。 提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
  論文  参考訳（メタデータ） (2021-09-01T23:52:29Z)
• Selective Pseudo-Labeling with Reinforcement Learning for Semi-Supervised Domain Adaptation [116.48885692054724]
  半教師付きドメイン適応のための強化学習に基づく選択擬似ラベル法を提案する。 高精度かつ代表的な擬似ラベルインスタンスを選択するための深層Q-ラーニングモデルを開発する。 提案手法は, SSDAのベンチマークデータセットを用いて評価し, 全ての比較手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2020-12-07T03:37:38Z)
• Stabilizing Label Assignment for Speech Separation by Self-supervised Pre-training [58.30339239234169]
  本稿では,音声分離モデルの訓練において,ラベル割り当てを安定させるために,自己教師付き事前学習を行うことを提案する。 複数のタイプの自己教師的アプローチ、いくつかの典型的な音声分離モデル、2つの異なるデータセットに対する実験により、適切な自己教師的アプローチが選択された場合、非常に優れた改善が達成可能であることが示された。
  論文  参考訳（メタデータ） (2020-10-29T06:07:01Z)
• Deep Semi-supervised Knowledge Distillation for Overlapping Cervical Cell Instance Segmentation [54.49894381464853]
  本稿では, ラベル付きデータとラベルなしデータの両方を, 知識蒸留による精度向上に活用することを提案する。 摂動に敏感なサンプルマイニングを用いたマスク誘導型平均教師フレームワークを提案する。 実験の結果,ラベル付きデータのみから学習した教師付き手法と比較して,提案手法は性能を著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-21T13:27:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。