論文の概要: Deep Metric Learning with Spherical Embedding

• arxiv url: http://arxiv.org/abs/2011.02785v1
• Date: Thu, 5 Nov 2020 12:32:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-29 11:40:59.469533
• Title: Deep Metric Learning with Spherical Embedding
• Title（参考訳）: 球面埋め込みによるDeep Metric Learning
• Authors: Dingyi Zhang, Yingming Li, Zhongfei Zhang
• Abstract要約: 本稿では,ノルムの分布を正規化するための球面埋め込み制約(SEC)を提案する。 SECは、同じハイパースフィアに落下するように埋め込みを適応的に調整し、よりバランスの取れた方向更新を実行する。 深層距離学習、顔認識、対照的な自己教師付き学習の実験は、SECベースの角空間学習戦略が最先端技術の性能を大幅に向上させることを示している。
• 参考スコア（独自算出の注目度）: 38.351657430109455
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep metric learning has attracted much attention in recent years, due to seamlessly combining the distance metric learning and deep neural network. Many endeavors are devoted to design different pair-based angular loss functions, which decouple the magnitude and direction information for embedding vectors and ensure the training and testing measure consistency. However, these traditional angular losses cannot guarantee that all the sample embeddings are on the surface of the same hypersphere during the training stage, which would result in unstable gradient in batch optimization and may influence the quick convergence of the embedding learning. In this paper, we first investigate the effect of the embedding norm for deep metric learning with angular distance, and then propose a spherical embedding constraint (SEC) to regularize the distribution of the norms. SEC adaptively adjusts the embeddings to fall on the same hypersphere and performs more balanced direction update. Extensive experiments on deep metric learning, face recognition, and contrastive self-supervised learning show that the SEC-based angular space learning strategy significantly improves the performance of the state-of-the-art.
• Abstract（参考訳）: 近年、距離メトリック学習とディープニューラルネットワークをシームレスに組み合わせることで、ディープメトリック学習に大きな注目を集めている。 多くの努力は、ベクトルを埋め込むための大きさと方向情報を分離し、トレーニングとテストの一貫性を保証するペアベースの角損失関数を設計することに費やされている。 しかし、これらの従来の角損失は、トレーニング期間中に全てのサンプル埋め込みが同じ超球面上にあることを保証できないため、バッチ最適化の不安定な勾配が生じ、埋め込み学習の迅速な収束に影響を与える可能性がある。 本稿では,まず,角距離の深部メートル法学習における埋め込みノルムの効果について検討し,その分布を正規化するための球面埋め込み制約(SEC)を提案する。 secは、埋め込みを適応的に同じハイパースフィアに調整し、よりバランスの取れた方向更新を実行する。 深層メトリック学習、顔認識、および対照的な自己教師付き学習に関する広範な実験は、secベースの角空間学習戦略が最先端のパフォーマンスを大幅に改善していることを示している。

関連論文リスト

• Alpha-VI DeepONet: A prior-robust variational Bayesian approach for enhancing DeepONets with uncertainty quantification [0.0]
  一般化変分推論(GVI)を組み込んだ新しいディープオペレータネットワーク(DeepONet)を提案する。 分岐ネットワークとトランクネットワークのビルディングブロックとしてベイズニューラルネットワークを組み込むことで,不確実な定量化が可能なDeepONetを実現する。 変動目的関数の修正は平均二乗誤差を最小化する点で優れた結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-08-01T16:22:03Z)
• Optimizing Curvature Learning for Robust Hyperbolic Deep Learning in Computer Vision [3.3964154468907486]
  本稿では、一般的な学習アルゴリズムのための改良されたスキーマと、多様体の可変代表半径内への埋め込みを制約する新しい正規化手法を提案する。 提案手法は,より大規模な双曲モデルを実現するとともに,直接分類と階層的計量学習の両タスクにおいて一貫した性能向上を示す。
  論文  参考訳（メタデータ） (2024-05-22T20:30:14Z)
• Preventing Collapse in Contrastive Learning with Orthonormal Prototypes (CLOP) [0.0]
  CLOPは、クラス埋め込み間の線形部分空間の形成を促進することにより、神経崩壊を防止するために設計された、新しい半教師付き損失関数である。 CLOPは性能を向上し,学習速度やバッチサイズにまたがる安定性が向上することを示す。
  論文  参考訳（メタデータ） (2024-03-27T15:48:16Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• Latent Spectral Regularization for Continual Learning [21.445600749028923]
  本研究では,学習者の潜伏空間の幾何学的特徴について検討する。 潜在空間のラプラシアンスペクトルの弱い要求を強制する幾何正則化器を提案する。
  論文  参考訳（メタデータ） (2023-01-09T13:56:59Z)
• Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
  そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。 実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
  論文  参考訳（メタデータ） (2021-12-10T20:46:13Z)
• Unsupervised Scale-consistent Depth Learning from Video [131.3074342883371]
  本研究では,単眼深度推定器SC-Depthを提案する。 スケール一貫性予測の能力により,我々の単分子学習深層ネットワークは簡単にORB-SLAM2システムに統合可能であることを示す。 提案したハイブリッドPseudo-RGBD SLAMは、KITTIにおいて魅力的な結果を示し、追加のトレーニングなしでKAISTデータセットにうまく一般化する。
  論文  参考訳（メタデータ） (2021-05-25T02:17:56Z)
• Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
  レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。 AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。 本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2020-10-21T14:49:00Z)
• Calibrated neighborhood aware confidence measure for deep metric learning [0.0]
  深度メートル法学習は、数ショット学習、画像検索、およびオープンセット分類の問題にうまく適用されてきた。 深層学習モデルの信頼度を測定し、信頼できない予測を特定することは、まだオープンな課題です。 本稿では,その分類精度をよく反映した校正・解釈可能な信頼度尺度の定義に焦点をあてる。
  論文  参考訳（メタデータ） (2020-06-08T21:05:38Z)
• Disentangling Adaptive Gradient Methods from Learning Rates [65.0397050979662]
  適応的勾配法が学習率のスケジュールとどのように相互作用するかを、より深く検討する。 我々は、更新の規模をその方向から切り離す"グラフティング"実験を導入する。 適応勾配法の一般化に関する経験的および理論的考察を示す。
  論文  参考訳（メタデータ） (2020-02-26T21:42:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。