論文の概要: Hyperbolic Vision Transformers: Combining Improvements in Metric Learning

• arxiv url: http://arxiv.org/abs/2203.10833v2
• Date: Tue, 22 Mar 2022 09:40:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-23 10:47:38.196178
• Title: Hyperbolic Vision Transformers: Combining Improvements in Metric Learning
• Title（参考訳）: 双曲視覚トランスフォーマー:計量学習の改善を組み合わせる
• Authors: Aleksandr Ermolov, Leyla Mirvakhabova, Valentin Khrulkov, Nicu Sebe and Ivan Oseledets
• Abstract要約: 計量学習のための新しい双曲型モデルを提案する。 本手法のコアとなるのは、双曲空間にマッピングされた出力埋め込みを備えた視覚変換器である。 4つのデータセットに6つの異なる定式化を施したモデルの評価を行った。
• 参考スコア（独自算出の注目度）: 116.13290702262248
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Metric learning aims to learn a highly discriminative model encouraging the embeddings of similar classes to be close in the chosen metrics and pushed apart for dissimilar ones. The common recipe is to use an encoder to extract embeddings and a distance-based loss function to match the representations -- usually, the Euclidean distance is utilized. An emerging interest in learning hyperbolic data embeddings suggests that hyperbolic geometry can be beneficial for natural data. Following this line of work, we propose a new hyperbolic-based model for metric learning. At the core of our method is a vision transformer with output embeddings mapped to hyperbolic space. These embeddings are directly optimized using modified pairwise cross-entropy loss. We evaluate the proposed model with six different formulations on four datasets achieving the new state-of-the-art performance. The source code is available at https://github.com/htdt/hyp_metric.
• Abstract（参考訳）: メトリック学習は、類似クラスの埋め込みが選択したメトリクスに近づいたり、異なるメトリクスにプッシュされたりすることを奨励する、非常に差別的なモデルを学ぶことを目的としている。 一般的なレシピは、エンコーダを使って埋め込みを抽出し、表現にマッチする距離ベースの損失関数を使用することである。 双曲的データ埋め込みの学習への関心は、双曲的幾何学が自然データにとって有益であることを示している。 そこで本研究では, 計量学習のための新しい双曲型モデルを提案する。 本手法の中核は双曲空間に写像された出力埋め込みを持つ視覚トランスフォーマである。 これらの埋め込みは、修正されたペアワイズクロスエントロピー損失を用いて直接最適化される。 提案モデルを4つのデータセット上で6つの異なる定式化で評価し,最新性能を得た。 ソースコードはhttps://github.com/htdt/hyp_metricで入手できる。

関連論文リスト

• Optimizing Curvature Learning for Robust Hyperbolic Deep Learning in Computer Vision [3.3964154468907486]
  本稿では、一般的な学習アルゴリズムのための改良されたスキーマと、多様体の可変代表半径内への埋め込みを制約する新しい正規化手法を提案する。 提案手法は,より大規模な双曲モデルを実現するとともに,直接分類と階層的計量学習の両タスクにおいて一貫した性能向上を示す。
  論文  参考訳（メタデータ） (2024-05-22T20:30:14Z)
• Piecewise-Linear Manifolds for Deep Metric Learning [8.670873561640903]
  教師なしの深度学習は、ラベルなしデータのみを使用して意味表現空間を学習することに焦点を当てる。 本稿では,各低次元線形片が点の小さな近傍でデータ多様体を近似して高次元データ多様体をモデル化することを提案する。 我々は、この類似度推定が、現在の最先端技術の類似度推定よりも基礎的真理と相関していることを実証的に示す。
  論文  参考訳（メタデータ） (2024-03-22T06:22:20Z)
• Hyperbolic vs Euclidean Embeddings in Few-Shot Learning: Two Sides of the Same Coin [49.12496652756007]
  この結果から, 共通の双曲半径での双曲埋め込みが達成できることが示唆された。 従来のベンチマーク結果とは対照的に、ユークリッド計量を備えた固定半径エンコーダにより、より良い性能が得られることを示す。
  論文  参考訳（メタデータ） (2023-09-18T14:51:46Z)
• Intra-class Adaptive Augmentation with Neighbor Correction for Deep Metric Learning [99.14132861655223]
  深層学習のためのクラス内適応拡張(IAA)フレームワークを提案する。 クラスごとのクラス内変動を合理的に推定し, 適応型合成試料を生成し, 硬質試料の採掘を支援する。 本手法は,検索性能の最先端手法を3%～6%向上させる。
  論文  参考訳（メタデータ） (2022-11-29T14:52:38Z)
• Large-Margin Representation Learning for Texture Classification [67.94823375350433]
  本稿では,テクスチャ分類のための小さなデータセット上で教師付きモデルをトレーニングするために,畳み込み層(CL)と大規模計量学習を組み合わせた新しいアプローチを提案する。 テクスチャと病理画像データセットの実験結果から,提案手法は同等のCNNと比較して計算コストが低く,収束が早く,競争精度が向上することが示された。
  論文  参考訳（メタデータ） (2022-06-17T04:07:45Z)
• Rethinking Semantic Segmentation: A Prototype View [126.59244185849838]
  学習不可能なプロトタイプをベースとした非パラメトリックセマンティックセマンティックセマンティクスモデルを提案する。 我々のフレームワークは、いくつかのデータセットに対して魅力的な結果をもたらす。 この作業が、現在のデファクトセマンティックセグメンテーションモデル設計を再考することを期待しています。
  論文  参考訳（メタデータ） (2022-03-28T21:15:32Z)
• Adversarial Manifold Matching via Deep Metric Learning for Generative Modeling [5.5840609705075055]
  本稿では,分布生成器と距離生成器を含む生成モデルに対する多様体マッチング手法を提案する。 分布生成器は、実データ多様体の周りに凝縮された分布に従うサンプルを生成することを目的としている。 距離計生成器は、実データと生成されたサンプルの両方を利用して距離計を学習する。
  論文  参考訳（メタデータ） (2021-06-20T23:25:01Z)
• Parametric UMAP embeddings for representation and semi-supervised learning [0.03823356975862005]
  UMAPは、構造化データの低次元埋め込みを見つけるための非パラメトリックグラフに基づく次元減少アルゴリズムである。 パラメトリックUMAPは,学習されたパラメトリックマッピングの利点を考慮しつつ,非パラメトリックマップと同等に動作することを示す。 次に、UMAPを正規化として検討し、オートエンコーダの潜伏分布を制限し、パラメトリック的に変化したグローバル構造保存を行い、半教師付き学習における分類器の精度を向上させる。
  論文  参考訳（メタデータ） (2020-09-27T23:45:00Z)
• TERA: Self-Supervised Learning of Transformer Encoder Representation for Speech [63.03318307254081]
  TERA は Transformer Representations from Alteration の略である。 我々は3つの軸に沿った変形を用いて、大量のラベルなし音声でトランスフォーマーを事前訓練する。 TERAは、音声表現の抽出や下流モデルによる微調整に使用することができる。
  論文  参考訳（メタデータ） (2020-07-12T16:19:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。