論文の概要: HMSN: Hyperbolic Self-Supervised Learning by Clustering with Ideal Prototypes

• arxiv url: http://arxiv.org/abs/2305.10926v1
• Date: Thu, 18 May 2023 12:38:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-19 15:15:09.341124
• Title: HMSN: Hyperbolic Self-Supervised Learning by Clustering with Ideal Prototypes
• Title（参考訳）: HMSN: 理想的プロトタイプによるクラスタリングによる双曲型自己監督学習
• Authors: Aiden Durrant and Georgios Leontidis
• Abstract要約: プロトタイプに基づくクラスタリング手法の自己教師付き表現学習には,双曲表現空間を用いる。 我々はMasked Siamese Networksを拡張し、双曲空間のPoincar'eボールモデルで操作する。 従来の手法とは異なり、エンコーダネットワークの出力における双曲空間に投影し、双曲投影ヘッドを利用して、下流タスクに使用される表現が双曲的であることを保証する。
• 参考スコア（独自算出の注目度）: 7.665392786787577
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hyperbolic manifolds for visual representation learning allow for effective learning of semantic class hierarchies by naturally embedding tree-like structures with low distortion within a low-dimensional representation space. The highly separable semantic class hierarchies produced by hyperbolic learning have shown to be powerful in low-shot tasks, however, their application in self-supervised learning is yet to be explored fully. In this work, we explore the use of hyperbolic representation space for self-supervised representation learning for prototype-based clustering approaches. First, we extend the Masked Siamese Networks to operate on the Poincar\'e ball model of hyperbolic space, secondly, we place prototypes on the ideal boundary of the Poincar\'e ball. Unlike previous methods we project to the hyperbolic space at the output of the encoder network and utilise a hyperbolic projection head to ensure that the representations used for downstream tasks remain hyperbolic. Empirically we demonstrate the ability of these methods to perform comparatively to Euclidean methods in lower dimensions for linear evaluation tasks, whilst showing improvements in extreme few-shot learning tasks.
• Abstract（参考訳）: 視覚表現学習のための双曲多様体は、低次元表現空間に低歪みを持つ木のような構造を自然に埋め込み、意味クラス階層の効果的な学習を可能にする。 双曲学習によって生み出される高度に分離可能なセマンティクスクラス階層は、低ショットタスクにおいて強力であることが示されているが、自己教師付き学習におけるそれらの応用についてはまだ十分に検討されていない。 本研究では,プロトタイプクラスタリング手法の自己教師付き表現学習における双曲表現空間の利用について検討する。 まず、Masked Siamese Networks を拡張して双曲空間の Poincar\'e 球モデルで操作し、次に、プロトタイプを Poincar\'e 球の理想的な境界に配置する。 従来の方法とは異なり、エンコーダネットワークの出力で双曲空間に投影し、双曲射影ヘッドを使用して下流タスクで使われる表現が双曲的であることを保証する。 実験により,これらの手法が線形評価タスクにおいて,より低次元のユークリッド法に比較して実行可能であることを示した。

関連論文リスト

• Alignment and Outer Shell Isotropy for Hyperbolic Graph Contrastive Learning [69.6810940330906]
  高品質なグラフ埋め込みを学習するための新しいコントラスト学習フレームワークを提案する。 具体的には、階層的なデータ不変情報を効果的にキャプチャするアライメントメトリックを設計する。 双曲空間において、木の性質に関連する葉と高さの均一性に対処する必要があることを示す。
  論文  参考訳（メタデータ） (2023-10-27T15:31:42Z)
• Hyperbolic vs Euclidean Embeddings in Few-Shot Learning: Two Sides of the Same Coin [49.12496652756007]
  この結果から, 共通の双曲半径での双曲埋め込みが達成できることが示唆された。 従来のベンチマーク結果とは対照的に、ユークリッド計量を備えた固定半径エンコーダにより、より良い性能が得られることを示す。
  論文  参考訳（メタデータ） (2023-09-18T14:51:46Z)
• Dynamic Hyperbolic Attention Network for Fine Hand-object Reconstruction [76.5549647815413]
  ハイパボリック空間,すなわち動的ハイパボリック注意ネットワーク(DHANet)における最初の正確な手オブジェクト再構成手法を提案する。 本手法は,マルチモーダル情報によりメッシュ特性を学習し,手動物体の相互作用をより良くモデル化する。
  論文  参考訳（メタデータ） (2023-09-06T13:00:10Z)
• Point Contrastive Prediction with Semantic Clustering for Self-Supervised Learning on Point Cloud Videos [71.20376514273367]
  本稿では,オブジェクト中心およびシーン中心のデータを対象とした一元的クラウドビデオ自己教師型学習フレームワークを提案する。 本手法は、広範囲の下流タスクにおいて教師付きタスクよりも優れる。
  論文  参考訳（メタデータ） (2023-08-18T02:17:47Z)
• Hyperbolic Representation Learning: Revisiting and Advancing [43.1661098138936]
  本稿では,現在普及しているhlmを精査する位置追跡機構を導入し,学習された表現が準最適で不満足であることを明らかにする。 本稿では,ノードの双曲的距離から推定されるコストフリーな階層的情報を原点に組み込むことにより,シンプルで効果的な情報埋め込み手法であるハイボリックインフォメーション(HIE)を提案する。 提案手法は, 競合するベースラインに比べて最大21.4%向上した。
  論文  参考訳（メタデータ） (2023-06-15T13:25:39Z)
• Enhancing Hyperbolic Graph Embeddings via Contrastive Learning [7.901082408569372]
  複数の双曲空間を通してノード表現を学習する新しいハイパーボリックグラフコントラスト学習(HGCL)フレームワークを提案する。 複数の実世界のデータセットに対する実験結果は、提案したHGCLの優位性を示している。
  論文  参考訳（メタデータ） (2022-01-21T06:10:05Z)
• Hyperbolic Busemann Learning with Ideal Prototypes [14.525985704735055]
  本研究では,任意のデータの表現学習のための双曲型ブセマン学習を提案する。 理想のプロトタイプに対して近似性を計算するために、罰則を付したブセマン損失を導入する。 実験により,本手法は,近年の超球面・双曲型プロトタイプよりも高い精度で,分類信頼性の自然な解釈を提供することを示した。
  論文  参考訳（メタデータ） (2021-06-28T08:36:59Z)
• Fully Hyperbolic Neural Networks [63.22521652077353]
  ローレンツモデルに基づく双曲型ネットワークを構築するための,完全双曲型フレームワークを提案する。 提案手法は,浅層ネットワークと深層ネットワークの両方を構築する上で,優れた性能を示す。
  論文  参考訳（メタデータ） (2021-05-31T03:36:49Z)
• Unsupervised Hyperbolic Representation Learning via Message Passing Auto-Encoders [29.088604461911892]
  本稿では,教師なしタスクが双曲空間における学習表現からどのように恩恵を受けるかを分析する。 ラベルなしデータの階層構造を双曲空間でいかにうまく表現できるかを探索するために、我々は新しい双曲メッセージパッシングオートエンコーダを設計する。 提案モデルでは,メッセージパッシングにおける双曲幾何をフルに活用し,ネットワークの自動符号化を行う。
  論文  参考訳（メタデータ） (2021-03-30T03:09:53Z)
• Robust Large-Margin Learning in Hyperbolic Space [64.42251583239347]
  ユークリッド空間ではなく双曲型で分類器を学ぶための最初の理論的保証を示す。 本研究では, 対向例の慎重な注入に頼って, 大面積超平面を効率よく学習するアルゴリズムを提案する。 双曲空間によく埋め込まれる階層的データに対して、低埋め込み次元は優れた保証を保証することを証明している。
  論文  参考訳（メタデータ） (2020-04-11T19:11:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。