論文の概要: L-Vector: Neural Label Embedding for Domain Adaptation

• arxiv url: http://arxiv.org/abs/2004.13480v1
• Date: Sat, 25 Apr 2020 06:40:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-09 21:17:31.216854
• Title: L-Vector: Neural Label Embedding for Domain Adaptation
• Title（参考訳）: L-Vector: ドメイン適応のためのニューラルラベル埋め込み
• Authors: Zhong Meng, Hu Hu, Jinyu Li, Changliang Liu, Yan Huang, Yifan Gong, Chin-Hui Lee
• Abstract要約: 本研究では、未ペアデータを用いたディープニューラルネットワーク(DNN)音響モデルの領域適応のための新しいニューラルラベル埋め込み(NLE)手法を提案する。 NLEは1ホットラベルによる直接再トレーニングよりも14.1%の相対的な単語誤り率の低減を実現している。
• 参考スコア（独自算出の注目度）: 62.112885747045766
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a novel neural label embedding (NLE) scheme for the domain adaptation of a deep neural network (DNN) acoustic model with unpaired data samples from source and target domains. With NLE method, we distill the knowledge from a powerful source-domain DNN into a dictionary of label embeddings, or l-vectors, one for each senone class. Each l-vector is a representation of the senone-specific output distributions of the source-domain DNN and is learned to minimize the average L2, Kullback-Leibler (KL) or symmetric KL distance to the output vectors with the same label through simple averaging or standard back-propagation. During adaptation, the l-vectors serve as the soft targets to train the target-domain model with cross-entropy loss. Without parallel data constraint as in the teacher-student learning, NLE is specially suited for the situation where the paired target-domain data cannot be simulated from the source-domain data. We adapt a 6400 hours multi-conditional US English acoustic model to each of the 9 accented English (80 to 830 hours) and kids' speech (80 hours). NLE achieves up to 14.1% relative word error rate reduction over direct re-training with one-hot labels.
• Abstract（参考訳）: 本稿では,ソース領域とターゲット領域からの非ペアデータサンプルを用いた深層ニューラルネットワーク(dnn)音響モデルの領域適応のためのニューラルラベル埋め込み(nle)スキームを提案する。 nle メソッドでは,強力なソースドメイン dnn からラベル埋め込み辞書 (l-vectors) に知識を精算する。 各l-ベクターは、ソースドメインDNNのセノン固有の出力分布の表現であり、単純な平均または標準バックプロパゲーションにより、出力ベクトルから出力ベクトルへの平均L2, Kullback-Leibler (KL) または対称KL距離を最小にすることが学習される。 適応中、l-ベクトルは対象領域モデルをクロスエントロピー損失で訓練するためのソフトターゲットとして機能する。 教師-学生学習のような並列データ制約がなければ、NLEはソースドメインデータからペアのターゲットドメインデータをシミュレートできない状況に特に適している。 アクセント付き英語(80時間から830時間)と子どものスピーチ(80時間)のそれぞれに6400時間のマルチコンディショナルな米国英語音響モデルを適用した。 NLEは1ホットラベルによる直接再トレーニングよりも14.1%の相対的な単語誤り率の低減を実現している。

関連論文リスト

• Layer-wise Regularized Dropout for Neural Language Models [57.422407462430186]
  レイヤワイド正規化ドロップアウト(LR-Drop)は、トランスフォーマーベースの言語モデルのために特別に設計されている。 LR-Dropは、最先端の結果を含む優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2024-02-26T07:31:35Z)
• Detecting Novelties with Empty Classes [6.953730499849023]
  我々は、新しいクラスの候補として、異常検出に基づいて、配布外データ(OoD)を検索する。 1)DNNがOoDサンプルを空のクラスに割り当て、2)内部クラスの特徴距離を最小化する2つの損失関数を導入する。
  論文  参考訳（メタデータ） (2023-04-30T19:52:47Z)
• Divide and Contrast: Source-free Domain Adaptation via Adaptive Contrastive Learning [122.62311703151215]
  Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。 DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。 さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
  論文  参考訳（メタデータ） (2022-11-12T09:21:49Z)
• Robust Target Training for Multi-Source Domain Adaptation [110.77704026569499]
  両レベル最適化に基づく新しいMSDAのためのロバスト目標訓練法(BORT$2$)を提案する。 提案手法は,大規模なDomainNetデータセットを含む3つのMSDAベンチマークにおいて,アートパフォーマンスの状態を達成している。
  論文  参考訳（メタデータ） (2022-10-04T15:20:01Z)
• RNN Transducers for Nested Named Entity Recognition with constraints on alignment for long sequences [4.545971444299925]
  我々は、NERタスクのための新しいモデル、トランスデューサ(RNN-T)を導入する。 RNN-Tモデルは、すべてのアライメントを合計するロス関数を用いてアライメントを学習する。 しかし、NERタスクでは、アノテーションから単語とターゲットラベルのアライメントが利用可能である。 固定アライメントモデルが標準RNNスコアモデルより優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-08T05:38:20Z)
• Few-Shot NLU with Vector Projection Distance and Abstract Triangular CRF [30.982301053976023]
  データ空間問題は自然言語理解(NLU)の鍵となる課題である そこで本研究では, ベクトル射影距離と矩形条件ランダム場(CRF)を用いて, 少数ショットNLUのプロトタイプネットワークを改善することを提案する。 我々のアプローチは、ターゲットドメインを微調整することなく、中国語と英語の2つの数ショットのNLUベンチマーク(Few-JointとSNIPS)で新しい最先端を実現することができる。
  論文  参考訳（メタデータ） (2021-12-09T15:46:15Z)
• Adaptive Nearest Neighbor Machine Translation [60.97183408140499]
  kNN-MTは、事前訓練されたニューラルネットワーク翻訳とトークンレベルのk-nearest-neighbor検索を組み合わせる。 従来のkNNアルゴリズムは、ターゲットトークンごとに同じ数の近傍を検索する。 ターゲットトークン毎のk個数を動的に決定する適応的kNN-MTを提案する。
  論文  参考訳（メタデータ） (2021-05-27T09:27:42Z)
• Evaluating Deep Neural Network Ensembles by Majority Voting cum Meta-Learning scheme [3.351714665243138]
  新しいデータインスタンスのために,7つの独立したディープニューラルネットワーク(DNN)のアンサンブルを提案する。 残りのサンプルからブートストラップサンプリングによってデータの7分の1を削除して補充する。 この論文のすべてのアルゴリズムは5つのベンチマークデータセットでテストされている。
  論文  参考訳（メタデータ） (2021-05-09T03:10:56Z)
• OVANet: One-vs-All Network for Universal Domain Adaptation [78.86047802107025]
  既存のメソッドは、検証または未知のサンプルの事前定義された比率に基づいて未知のサンプルを拒否するしきい値を手動で設定します。 本稿では,ソースサンプルを用いて閾値を学習し,対象領域に適応する手法を提案する。 私たちの考えは、ソースドメインの最小クラス間距離は、ターゲットの既知のか未知かを決定するための良いしきい値であるべきです。
  論文  参考訳（メタデータ） (2021-04-07T18:36:31Z)
• Domain Adaptation Using Class Similarity for Robust Speech Recognition [24.951852740214413]
  本稿では,クラス類似性を用いたディープニューラルネットワーク(DNN)音響モデルの新しい適応法を提案する。 実験の結果, アクセントと雑音適応の両タスクにおいて, ワンホットラベルを用いた微調整よりも優れていた。
  論文  参考訳（メタデータ） (2020-11-05T12:26:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。