論文の概要: Deep Metric Learning with Adaptive Margin and Adaptive Scale for Acoustic Word Discrimination

• arxiv url: http://arxiv.org/abs/2210.14564v1
• Date: Wed, 26 Oct 2022 08:53:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 16:09:11.368628
• Title: Deep Metric Learning with Adaptive Margin and Adaptive Scale for Acoustic Word Discrimination
• Title（参考訳）: 適応マージンと適応スケールを用いた音響単語識別のためのディープメトリック学習
• Authors: Myunghun Jung, Hoirin Kim
• Abstract要約: トレーニングの間、マージンとスケールは適応的に調整可能であるべきだ、と我々は主張する。 本手法はウォール・ストリート・ジャーナルのデータセットで評価され,単語識別処理における性能評価結果が得られた。
• 参考スコア（独自算出の注目度）: 11.10466670271379
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Many recent loss functions in deep metric learning are expressed with logarithmic and exponential forms, and they involve margin and scale as essential hyper-parameters. Since each data class has an intrinsic characteristic, several previous works have tried to learn embedding space close to the real distribution by introducing adaptive margins. However, there was no work on adaptive scales at all. We argue that both margin and scale should be adaptively adjustable during the training. In this paper, we propose a method called Adaptive Margin and Scale (AdaMS), where hyper-parameters of margin and scale are replaced with learnable parameters of adaptive margins and adaptive scales for each class. Our method is evaluated on Wall Street Journal dataset, and we achieve outperforming results for word discrimination tasks.
• Abstract（参考訳）: 深度学習における近年の損失関数の多くは対数的および指数的形式で表現され、その辺縁とスケールは必須のハイパーパラメータである。 各データクラスは固有の特性を持つため、適応的マージンを導入して実分布に近い埋め込み空間を学習しようと試みている。 しかし、適応スケールについてはまったく作業がなかった。 トレーニングの間、マージンとスケールは適応的に調整可能であるべきだ、と我々は主張する。 本稿では,適応マージンとスケールのハイパーパラメータを学習可能な適応マージンパラメータと適応マージンのパラメータに置き換える適応マージンとスケール(adams)という手法を提案する。 提案手法はwall street journalのデータセット上で評価され,単語識別タスクにおいて有意な結果が得られる。

関連論文リスト

• On the Implicit Relation Between Low-Rank Adaptation and Differential Privacy [5.359060261460183]
  言語モデルの低ランクタスク適応(LoRAやFLoRAなど)が提案されている。 データプライバシのレンズからの低ランク適応に注目します。 他の既存の微調整アルゴリズムとは異なり、低ランク適応は暗黙的に微調整データのプライバシーを提供する。
  論文  参考訳（メタデータ） (2024-09-26T04:56:49Z)
• Learning Layer-wise Equivariances Automatically using Gradients [66.81218780702125]
  畳み込みは等価対称性をニューラルネットワークにエンコードし、より優れた一般化性能をもたらす。 対称性は、ネットワークが表現できる機能、事前に指定する必要、適応できない機能に対して、固定されたハード制約を提供する。 私たちのゴールは、勾配を使ってデータから自動的に学習できるフレキシブル対称性の制約を可能にすることです。
  論文  参考訳（メタデータ） (2023-10-09T20:22:43Z)
• Intra-class Adaptive Augmentation with Neighbor Correction for Deep Metric Learning [99.14132861655223]
  深層学習のためのクラス内適応拡張(IAA)フレームワークを提案する。 クラスごとのクラス内変動を合理的に推定し, 適応型合成試料を生成し, 硬質試料の採掘を支援する。 本手法は,検索性能の最先端手法を3%～6%向上させる。
  論文  参考訳（メタデータ） (2022-11-29T14:52:38Z)
• Class Adaptive Network Calibration [19.80805957502909]
  ディープネットワークの校正のためのクラス適応ラベル平滑化(CALS)を提案する。 提案手法は,制約付き最適化において確立された手法である拡張ラグランジアンアプローチに基づいて構築される。
  論文  参考訳（メタデータ） (2022-11-28T06:05:31Z)
• Self-Adaptive Label Augmentation for Semi-supervised Few-shot Classification [121.63992191386502]
  Few-shotの分類は、ラベル付きサンプルがわずかにあれば、新しいタスクをうまく一般化できるモデルを学ぶことを目的としている。 そこで本研究では,手動で定義した指標を用いて,ラベルのない各サンプルに適切なラベルを割り当てる半教師付き小ショット分類手法を提案する。 SALAの目新しいところは、タスク適応計量であり、エンドツーエンドの方法で異なるタスクに対するメトリックを適応的に学習することができる。
  論文  参考訳（メタデータ） (2022-06-16T13:14:03Z)
• Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
  深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。 本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
  論文  参考訳（メタデータ） (2020-12-13T03:41:52Z)
• MaxVA: Fast Adaptation of Step Sizes by Maximizing Observed Variance of Gradients [112.00379151834242]
  本稿では,Adamにおける2乗勾配のランニング平均を重み付き平均に置き換える適応学習率の原理を提案する。 これにより、より高速な適応が可能となり、より望ましい経験的収束挙動がもたらされる。
  論文  参考訳（メタデータ） (2020-06-21T21:47:43Z)
• Boosting Few-Shot Learning With Adaptive Margin Loss [109.03665126222619]
  本稿では,数ショット学習問題に対するメートル法に基づくメタラーニング手法の一般化能力を改善するための適応的マージン原理を提案する。 大規模な実験により,提案手法は,現在のメートル法に基づくメタラーニング手法の性能を向上させることができることが示された。
  論文  参考訳（メタデータ） (2020-05-28T07:58:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。