論文の概要: Imbalance Robust Softmax for Deep Embeeding Learning

• arxiv url: http://arxiv.org/abs/2011.11155v1
• Date: Mon, 23 Nov 2020 00:43:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-22 02:11:48.711320
• Title: Imbalance Robust Softmax for Deep Embeeding Learning
• Title（参考訳）: 深層学習のための不均衡ロバストソフトマックス
• Authors: Hao Zhu, Yang Yuan, Guosheng Hu, Xiang Wu, Neil Robertson
• Abstract要約: 近年では、顔認識(FR)と人物再識別(re-ID)の分野での識別的深層埋め込み学習によって、オープンセットの問題を解決する研究が注目されている。 不均衡なトレーニングデータがFRとre-IDのパフォーマンスをソフトマックスまたはその変種で引き起こすもう1つの要因であることがわかった。 オープンセット問題を同時に解決し,データ不均衡の影響を低減できる統合フレームワークIm Balance-Robust Softmax(IR-Softmax)を提案する。
• 参考スコア（独自算出の注目度）: 34.95520933299555
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep embedding learning is expected to learn a metric space in which features have smaller maximal intra-class distance than minimal inter-class distance. In recent years, one research focus is to solve the open-set problem by discriminative deep embedding learning in the field of face recognition (FR) and person re-identification (re-ID). Apart from open-set problem, we find that imbalanced training data is another main factor causing the performance degradation of FR and re-ID, and data imbalance widely exists in the real applications. However, very little research explores why and how data imbalance influences the performance of FR and re-ID with softmax or its variants. In this work, we deeply investigate data imbalance in the perspective of neural network optimisation and feature distribution about softmax. We find one main reason of performance degradation caused by data imbalance is that the weights (from the penultimate fully-connected layer) are far from their class centers in feature space. Based on this investigation, we propose a unified framework, Imbalance-Robust Softmax (IR-Softmax), which can simultaneously solve the open-set problem and reduce the influence of data imbalance. IR-Softmax can generalise to any softmax and its variants (which are discriminative for open-set problem) by directly setting the weights as their class centers, naturally solving the data imbalance problem. In this work, we explicitly re-formulate two discriminative softmax (A-Softmax and AM-Softmax) under the framework of IR-Softmax. We conduct extensive experiments on FR databases (LFW, MegaFace) and re-ID database (Market-1501, Duke), and IR-Softmax outperforms many state-of-the-art methods.
• Abstract（参考訳）: 深層埋め込み学習は,最小クラス間距離よりも最大クラス間距離が小さい距離空間を学習することが期待される。 近年,顔認識(fr)と人物再同定(re-id)の分野における識別的深層埋め込み学習によるオープンセット問題を解決する研究が注目されている。 オープンセットの問題とは別に、不均衡なトレーニングデータもfrとre-idの性能低下の主な要因であり、実際のアプリケーションではデータ不均衡が広く存在する。 しかしながら、データの不均衡がfrとre-idのパフォーマンスにsoftmaxやその変異にどのように影響するか、その理由や方法に関する研究はほとんどない。 本研究では,ニューラルネットワークの最適化とソフトマックスに関する特徴分布の観点から,データの不均衡を深く検討する。 データ不均衡に起因する性能劣化の主な原因の1つは、重み(最大完全連結層からの)が特徴空間のクラス中心から遠く離れていることである。 本研究では,オープンセット問題を同時に解決し,データ不均衡の影響を低減できる統一フレームワーク imbalance-robust softmax (ir-softmax) を提案する。 IR-Softmaxは、重みをクラス中心として直接設定することで、任意のソフトマックスとその変種(開集合問題と区別できる)に一般化することができる。 本研究では、IR-Softmaxの枠組みの下で2つの識別ソフトマックス(A-SoftmaxとAM-Softmax)を明示的に再定式化する。 我々は fr データベース (lfw, megaface) と re-id データベース (market-1501, duke) について広範な実験を行い,ir-softmax は最先端手法を上回っている。

関連論文リスト

• Statistical Mechanics of Min-Max Problems [0.0]
  本研究では、高次元極限におけるmin-max問題の平衡値を分析するための統計力学的定式化を導入する。 最初のステップとして、この定式化を双線形のmin-maxゲームや単純なGANに適用する。 この形式主義は、様々な機械学習手法における平衡特性のより深い理論的解析の基礎となる。
  論文  参考訳（メタデータ） (2024-09-09T20:24:19Z)
• Revisiting Logistic-softmax Likelihood in Bayesian Meta-Learning for Few-Shot Classification [4.813254903898101]
  ロジスティック・ソフトマックスは、多クラスガウス過程分類におけるソフトマックス可能性の代替としてしばしば用いられる。 我々は,温度パラメータによるテクティタ事前信頼度を制御できるロジスティック・ソフトマックスの可能性を再検討し,再検討する。 提案手法では, 精度の高い不確実性推定値が得られ, 標準ベンチマークデータセットにおいて, 同等あるいは優れた結果が得られる。
  論文  参考訳（メタデータ） (2023-10-16T13:20:13Z)
• Federated Compositional Deep AUC Maximization [58.25078060952361]
  本研究では,曲線(AUC)のスコアを直接最適化することにより,不均衡なデータに対する新しいフェデレート学習法を開発した。 私たちの知る限りでは、このような好ましい理論的な結果を達成した最初の作品である。
  論文  参考訳（メタデータ） (2023-04-20T05:49:41Z)
• Spectral Aware Softmax for Visible-Infrared Person Re-Identification [123.69049942659285]
  Visible-infrared person re-identification (VI-ReID) は、異なるモードの歩行者画像とマッチングすることを目的としている。 既存の手法は依然として、単一モダリティ分類タスクで広く使われているソフトマックス損失訓練パラダイムに従っている。 そこで本研究では, スペクトル対応ソフトマックス(SA-Softmax)の損失について提案する。
  論文  参考訳（メタデータ） (2023-02-03T02:57:18Z)
• Stochastic Methods for AUC Optimization subject to AUC-based Fairness Constraints [51.12047280149546]
  公正な予測モデルを得るための直接的なアプローチは、公正な制約の下で予測性能を最適化することでモデルを訓練することである。 フェアネスを考慮した機械学習モデルのトレーニング問題を,AUCに基づくフェアネス制約のクラスを対象とする最適化問題として定式化する。 フェアネス測定値の異なる実世界のデータに対するアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-12-23T22:29:08Z)
• Sparse-softmax: A Simpler and Faster Alternative Softmax Transformation [2.3813678058429626]
  ソフトマックス関数は、多クラス分類問題に対する人工ニューラルネットワークで広く用いられている。 本稿では,従来のソフトマックスで発生した問題を高次元の分類問題の観点から緩和するために,単純で簡潔なソフトマックス変種であるスパース・ソフトマックスについて実証的研究を行う。
  論文  参考訳（メタデータ） (2021-12-23T09:53:38Z)
• Breaking the Softmax Bottleneck for Sequential Recommender Systems with Dropout and Decoupling [0.0]
  SBRSのSoftmaxボトルネックには、さらに多くの側面があることが示されています。 そこで本研究では,これらの問題を緩和するために,D&D(Dropout and Decoupling)というシンプルな手法を提案する。 本手法は,様々なSoftmaxベースのSBRSアルゴリズムの精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-10-11T16:52:23Z)
• Federated Deep AUC Maximization for Heterogeneous Data with a Constant Communication Complexity [77.78624443410216]
  異種胸部データ検出のための改良型FDAMアルゴリズムを提案する。 本研究は,提案アルゴリズムの通信が機械数に強く依存し,精度レベルにも強く依存していることを示す。 FDAMアルゴリズムのベンチマークデータセットと、異なる組織の医療用胸部X線画像に対する効果を実験により実証した。
  論文  参考訳（メタデータ） (2021-02-09T04:05:19Z)
• Non-convex Min-Max Optimization: Applications, Challenges, and Recent Theoretical Advances [58.54078318403909]
  min-max問題(英: min-max problem)またはサドル点問題(英: saddle point problem)は、サムゲームにおいても研究されるクラス逆問題である。
  論文  参考訳（メタデータ） (2020-06-15T05:33:42Z)
• SS-IL: Separated Softmax for Incremental Learning [15.161214516549844]
  学習エージェントが学習データバッチの漸進的な到着から新しいクラスを継続的に学習するクラスインクリメンタルラーニング(CIL)問題を考察する。 問題の最大の課題は、破滅的な忘れ物だ。 本稿では,タスクワイド知識蒸留(TKD)と分離したソフトマックス(SS)出力層と組み合わせ,そのバイアスを解消する新たな手法として,SS-IL(Separated Softmax for Incremental Learning)を提案する。
  論文  参考訳（メタデータ） (2020-03-31T04:36:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。