論文の概要: Real Additive Margin Softmax for Speaker Verification
- arxiv url: http://arxiv.org/abs/2110.09116v1
- Date: Mon, 18 Oct 2021 09:11:14 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-19 21:29:53.593302
- Title: Real Additive Margin Softmax for Speaker Verification
- Title(参考訳): 話者検証のための実付加マージンソフトマックス
- Authors: Lantian Li and Ruiqian Nai and Dong Wang
- Abstract要約: AM-Softmaxの損失は、真のマックスマージントレーニングを実装していないことを示す。
ソフトマックストレーニングにおいて真のマージン関数を含むリアルAM-Softmax損失を示す。
- 参考スコア(独自算出の注目度): 14.226089039985151
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The additive margin softmax (AM-Softmax) loss has delivered remarkable
performance in speaker verification. A supposed behavior of AM-Softmax is that
it can shrink within-class variation by putting emphasis on target logits,
which in turn improves margin between target and non-target classes. In this
paper, we conduct a careful analysis on the behavior of AM-Softmax loss, and
show that this loss does not implement real max-margin training. Based on this
observation, we present a Real AM-Softmax loss which involves a true margin
function in the softmax training. Experiments conducted on VoxCeleb1, SITW and
CNCeleb demonstrated that the corrected AM-Softmax loss consistently
outperforms the original one. The code has been released at
https://gitlab.com/csltstu/sunine.
- Abstract(参考訳): 付加限界ソフトマックス(AM-Softmax)損失は、話者検証において顕著な性能をもたらした。
AM-Softmaxの振る舞いは、ターゲットロジットに重点を置くことでクラス内の変動を縮小し、それによってターゲットクラスと非ターゲットクラスのマージンが向上する。
本稿では,am-softmax損失の挙動を注意深く解析し,この損失が実際のmax-marginトレーニングを実践していないことを示す。
この観測に基づいて,ソフトマックストレーニングにおける真のマージン関数を含むリアルAM-Softmax損失を示す。
VoxCeleb1、SITW、CNCelebで行った実験では、補正されたAM-Softmaxの損失は元の損失よりも一貫して優れていた。
コードはhttps://gitlab.com/csltstu/sunineでリリースされた。
関連論文リスト
- MultiMax: Sparse and Multi-Modal Attention Learning [60.49318008131978]
SoftMaxは現代の機械学習アルゴリズムのユビキタスな成分である。
分散性はSoftMaxの変種族によって達成できるが、それらはしばしば代替損失関数を必要とし、多重モダリティを保たない。
入力入力範囲に応じて出力分布を適応的に変調するMultiMaxを提案する。
論文 参考訳(メタデータ) (2024-06-03T10:51:43Z) - Spectral Aware Softmax for Visible-Infrared Person Re-Identification [123.69049942659285]
Visible-infrared person re-identification (VI-ReID) は、異なるモードの歩行者画像とマッチングすることを目的としている。
既存の手法は依然として、単一モダリティ分類タスクで広く使われているソフトマックス損失訓練パラダイムに従っている。
そこで本研究では, スペクトル対応ソフトマックス(SA-Softmax)の損失について提案する。
論文 参考訳(メタデータ) (2023-02-03T02:57:18Z) - NBC-Softmax : Darkweb Author fingerprinting and migration tracking [1.1470070927586016]
メトリック学習はデータから距離を学習することを目的としており、類似性に基づくアルゴリズムの性能を向上させる。
我々は,ソフトマックス損失に対するコントラッシブ・ロスに基づくクラスタリング手法であるNBC-Softmaxを提案する。
提案手法は,多数のサンプルの基準を満たすため,ブロックのコントラスト性を実現する。
論文 参考訳(メタデータ) (2022-12-15T23:00:33Z) - Understanding Softmax Confidence and Uncertainty [95.71801498763216]
トレーニング分布から遠く離れたデータで予測する場合、ニューラルネットワークは不確実性を高めることができない、という指摘がしばしばある。
しかし、不確実性のプロキシとしてソフトマックスの信頼性を生かして、このためにのみテストするタスクにおいて、控えめな成功を達成します。
本稿では,この矛盾を解明し,ソフトマックスの信頼度と不確実性との相関を助長する2つの暗黙バイアスを同定する。
論文 参考訳(メタデータ) (2021-06-09T10:37:29Z) - Max-Margin is Dead, Long Live Max-Margin! [87.90853526750716]
最大マージン損失は、距離間の誤差を計測する離散損失について、非常に限定的な仮定の下では、分類タスクと整合性しか持たないことが示される。
Restricted-Max-Marginでは、損失増大スコアが維持されるが、元のドメインのサブセット上で実行される。
論文 参考訳(メタデータ) (2021-05-31T15:55:52Z) - Exploring Alternatives to Softmax Function [0.5924831288313849]
ソフトマックス関数の代替としてテイラー・ソフトマックス, SM-ソフトマックス, 提案したSM-テイラー・ソフトマックスについて検討した。
異なるデータセット上の画像分類タスクに対する実験により、通常のソフトマックス関数よりも優れたSM-テイラーソフトマックス関数の構成が常に存在することが明らかとなった。
論文 参考訳(メタデータ) (2020-11-23T16:50:18Z) - Imbalance Robust Softmax for Deep Embeeding Learning [34.95520933299555]
近年では、顔認識(FR)と人物再識別(re-ID)の分野での識別的深層埋め込み学習によって、オープンセットの問題を解決する研究が注目されている。
不均衡なトレーニングデータがFRとre-IDのパフォーマンスをソフトマックスまたはその変種で引き起こすもう1つの要因であることがわかった。
オープンセット問題を同時に解決し,データ不均衡の影響を低減できる統合フレームワークIm Balance-Robust Softmax(IR-Softmax)を提案する。
論文 参考訳(メタデータ) (2020-11-23T00:43:07Z) - Balanced Meta-Softmax for Long-Tailed Visual Recognition [46.215759445665434]
ソフトマックス関数は、ほとんどの分類タスクで使用されるが、長い尾の配置の下で偏りのある勾配推定を与えることを示す。
本稿では,Softmax のエレガントな非バイアス拡張である Balanced Softmax を提案する。
実験では,Quaird Meta-Softmaxが視覚認識とインスタンスセグメンテーションの両タスクにおいて,最先端の長期分類ソリューションより優れていることを示した。
論文 参考訳(メタデータ) (2020-07-21T12:05:00Z) - Taming GANs with Lookahead-Minmax [63.90038365274479]
MNIST, SVHN, CIFAR-10, ImageNetによる実験結果から, Lookahead-minmaxとAdam, Exgradientの併用が明らかとなった。
30倍のパラメータと16倍のミニバッチを使用して、クラスラベルを使わずに12.19のFIDを得ることにより、CIFAR-10上でクラス依存のBigGANのパフォーマンスを上回ります。
論文 参考訳(メタデータ) (2020-06-25T17:13:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。