論文の概要: A Comparison of Metric Learning Loss Functions for End-To-End Speaker
Verification
- arxiv url: http://arxiv.org/abs/2003.14021v1
- Date: Tue, 31 Mar 2020 08:36:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-18 00:30:22.640953
- Title: A Comparison of Metric Learning Loss Functions for End-To-End Speaker
Verification
- Title(参考訳): エンドツーエンド話者検証のためのメトリクス学習損失関数の比較
- Authors: Juan M. Coria, Herv\'e Bredin, Sahar Ghannay, Sophie Rosset
- Abstract要約: 本稿では,VoxCelebデータセット上で,いくつかのメトリクス学習損失関数を体系的に比較する。
加法的な角縁損失関数は,他のすべての損失関数より優れていることを示す。
本稿では,SincNet のトレーニング可能な機能と x-vector アーキテクチャを組み合わせることで,エンドツーエンドの話者検証システムに一歩近づいた。
- 参考スコア(独自算出の注目度): 4.617249742207066
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite the growing popularity of metric learning approaches, very little
work has attempted to perform a fair comparison of these techniques for speaker
verification. We try to fill this gap and compare several metric learning loss
functions in a systematic manner on the VoxCeleb dataset. The first family of
loss functions is derived from the cross entropy loss (usually used for
supervised classification) and includes the congenerous cosine loss, the
additive angular margin loss, and the center loss. The second family of loss
functions focuses on the similarity between training samples and includes the
contrastive loss and the triplet loss. We show that the additive angular margin
loss function outperforms all other loss functions in the study, while learning
more robust representations. Based on a combination of SincNet trainable
features and the x-vector architecture, the network used in this paper brings
us a step closer to a really-end-to-end speaker verification system, when
combined with the additive angular margin loss, while still being competitive
with the x-vector baseline. In the spirit of reproducible research, we also
release open source Python code for reproducing our results, and share
pretrained PyTorch models on torch.hub that can be used either directly or
after fine-tuning.
- Abstract(参考訳): メトリック学習アプローチの人気が高まっているにもかかわらず、これらのテクニックを話者検証のために公正に比較しようとする試みはほとんどない。
このギャップを埋めて,VoxCelebデータセット上で,いくつかのメトリック学習損失関数を体系的に比較する。
損失関数の最初のファミリーは、クロスエントロピー損失(通常は教師付き分類に使用される)から派生し、同次コサイン損失、加法的角縁損失、中心損失を含む。
第2の損失関数ファミリーは、トレーニングサンプル間の類似性に焦点を当て、対照的な損失と三重項損失を含む。
加法的な角縁損失関数は、より堅牢な表現を学習しながら、研究における他のすべての損失関数より優れていることを示す。
本稿では,SincNet のトレーニング可能な機能と x-ベクトルアーキテクチャを組み合わせることで,x-ベクトルベースラインと競合しながら,付加的な角マージン損失と組み合わせることで,真エンドツーエンドの話者検証システムに一歩近づいた。
再現可能な研究の精神では、結果を再現するためのオープンソースのpythonコードもリリースし、事前トレーニングされたpytorchモデルをtorch.hubで共有しています。
関連論文リスト
- Reevaluating Loss Functions: Enhancing Robustness to Label Noise in Deep
Learning Models [0.0]
大きな注釈付きデータセットには、必然的に誤ったラベルが含まれているため、ディープニューラルネットワークのトレーニングには大きな課題となる。
ノイズロバストモデルを作成するための単純で効果的な方法は、ノイズロバスト損失関数を使用することである。
提案する損失関数が適用可能な状況について検討し,適切な損失を選択する方法について提案する。
これは、有界損失の学習を著しく改善するだけでなく、Cifar-100データセットにおけるクロスエントロピー損失よりも優れた平均絶対誤差の損失をもたらす。
論文 参考訳(メタデータ) (2023-06-08T18:38:55Z) - Class Anchor Margin Loss for Content-Based Image Retrieval [97.81742911657497]
距離学習パラダイムに該当する新しいレペラ・トラクタ損失を提案するが、ペアを生成する必要がなく、直接L2メトリックに最適化する。
CBIRタスクにおいて,畳み込みアーキテクチャと変圧器アーキテクチャの両方を用いて,少数ショットおよびフルセットトレーニングの文脈で提案した目的を評価する。
論文 参考訳(メタデータ) (2023-06-01T12:53:10Z) - SuSana Distancia is all you need: Enforcing class separability in metric
learning via two novel distance-based loss functions for few-shot image
classification [0.9236074230806579]
本稿では,少数のデータ間のクラス内距離とクラス間距離を調べることで,埋め込みベクトルの重要性を考慮に入れた2つの損失関数を提案する。
以上の結果から,miniImagenNetベンチマークの精度は,他のメトリクスベースの数ショット学習手法に比べて2%向上した。
論文 参考訳(メタデータ) (2023-05-15T23:12:09Z) - Alternate Loss Functions for Classification and Robust Regression Can
Improve the Accuracy of Artificial Neural Networks [7.5620539044013535]
本稿では,ニューラルネットワークのトレーニング速度と最終的な精度が,ニューラルネットワークのトレーニングに使用する損失関数に大きく依存することを示す。
様々なベンチマークタスクの性能を著しく向上させる2つの新しい分類損失関数を提案する。
論文 参考訳(メタデータ) (2023-03-17T12:52:06Z) - A survey and taxonomy of loss functions in machine learning [60.41650195728953]
ほとんどの最先端の機械学習技術は、損失関数の最適化を中心に進化している。
この調査は、初心者と高度な機械学習実践者の両方にとって最も重要な損失関数の参照を提供することを目的としている。
論文 参考訳(メタデータ) (2023-01-13T14:38:24Z) - Xtreme Margin: A Tunable Loss Function for Binary Classification
Problems [0.0]
本稿では,新しい損失関数 Xtreme Margin の損失関数について概説する。
二進的クロスエントロピーやヒンジ損失関数とは異なり、この損失関数は研究者や実践者がトレーニングプロセスに柔軟性をもたらす。
論文 参考訳(メタデータ) (2022-10-31T22:39:32Z) - Do Lessons from Metric Learning Generalize to Image-Caption Retrieval? [67.45267657995748]
半ハードな負のトリプルト損失は、スクラッチから最適化されたイメージキャプション検索(ICR)メソッドのデファクト選択となっている。
近年のメトリクス学習の進歩により、画像検索や表現学習といったタスクにおいて、三重項損失を上回る新たな損失関数が生まれている。
これらの結果は,2つのICR法における3つの損失関数を比較することで,ICRの設定に一般化するかどうかを問う。
論文 参考訳(メタデータ) (2022-02-14T15:18:00Z) - Incremental Class Learning using Variational Autoencoders with
Similarity Learning [0.0]
漸進的な学習におけるニューラルネットワークの破滅的な忘れは、依然として難しい問題である。
本研究は,段階的な授業学習における4つのよく知られた計量に基づく損失関数の破滅的忘れについて検討する。
角損失はほとんど影響を受けず, 対照的に3重項損失, 中心損失は良好な鉱業技術であった。
論文 参考訳(メタデータ) (2021-10-04T10:19:53Z) - Asymmetric Loss Functions for Learning with Noisy Labels [82.50250230688388]
そこで本研究では,様々なノイズに対する雑音ラベルによる学習に頑健な,新しい損失関数,すなわちテクスティタ対称損失関数を提案する。
ベンチマークデータセットの実験結果は、非対称損失関数が最先端の手法より優れていることを示した。
論文 参考訳(メタデータ) (2021-06-06T12:52:48Z) - Searching for Robustness: Loss Learning for Noisy Classification Tasks [81.70914107917551]
テイラーを用いたフレキシブルな損失関数群をパラメタライズし、この空間におけるノイズロスの探索に進化的戦略を適用する。
その結果、ホワイトボックスの損失は、さまざまな下流タスクで効果的なノイズロバスト学習を可能にするシンプルで高速な「プラグアンドプレイ」モジュールを提供します。
論文 参考訳(メタデータ) (2021-02-27T15:27:22Z) - An Equivalence between Loss Functions and Non-Uniform Sampling in
Experience Replay [72.23433407017558]
非一様サンプルデータを用いて評価された損失関数は、別の一様サンプルデータ損失関数に変換可能であることを示す。
驚いたことに、いくつかの環境では、PERは経験的パフォーマンスに影響を与えることなく、この新たな損失関数に完全に置き換えることができる。
論文 参考訳(メタデータ) (2020-07-12T17:45:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。