論文の概要: Hyperbolic Contrastive Learning

• arxiv url: http://arxiv.org/abs/2302.01409v1
• Date: Thu, 2 Feb 2023 20:47:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-06 18:15:58.709226
• Title: Hyperbolic Contrastive Learning
• Title（参考訳）: 双曲的コントラスト学習
• Authors: Yun Yue, Fangzhou Lin, Kazunori D Yamada, Ziming Zhang
• Abstract要約: 本稿では,双曲空間における意味的関係を学習するための新しいコントラスト学習フレームワークを提案する。 提案手法は, 自己教師付き事前学習, 教師付き分類, ベースライン法よりも頑健な精度において, より良い結果が得られることを示す。
• 参考スコア（独自算出の注目度）: 12.170564544949308
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Learning good image representations that are beneficial to downstream tasks is a challenging task in computer vision. As such, a wide variety of self-supervised learning approaches have been proposed. Among them, contrastive learning has shown competitive performance on several benchmark datasets. The embeddings of contrastive learning are arranged on a hypersphere that results in using the inner (dot) product as a distance measurement in Euclidean space. However, the underlying structure of many scientific fields like social networks, brain imaging, and computer graphics data exhibit highly non-Euclidean latent geometry. We propose a novel contrastive learning framework to learn semantic relationships in the hyperbolic space. Hyperbolic space is a continuous version of trees that naturally owns the ability to model hierarchical structures and is thus beneficial for efficient contrastive representation learning. We also extend the proposed Hyperbolic Contrastive Learning (HCL) to the supervised domain and studied the adversarial robustness of HCL. The comprehensive experiments show that our proposed method achieves better results on self-supervised pretraining, supervised classification, and higher robust accuracy than baseline methods.
• Abstract（参考訳）: 下流タスクに有益な優れたイメージ表現を学ぶことは、コンピュータビジョンにおいて難しいタスクです。 このように、多種多様な自己指導型学習手法が提案されている。 対照的な学習は、いくつかのベンチマークデータセットで競合するパフォーマンスを示している。 対比学習の埋め込みは、ユークリッド空間における距離測定として内部(dot)積を使用する超球面上に配置される。 しかし、ソーシャルネットワーク、脳画像、コンピュータグラフィックスデータといった多くの科学分野の基盤となる構造は、ユークリッドの潜在幾何学ではない。 双曲空間における意味関係を学ぶための新しいコントラスト学習フレームワークを提案する。 双曲空間は、自然に階層構造をモデル化する能力を持つ木の連続バージョンであり、効率的なコントラスト表現学習に有用である。 また,提案したHCL(Hyperbolic Contrastive Learning)を教師付き領域に拡張し,HCLの対角的堅牢性を検討した。 包括的実験により,本手法は,自己教師付き事前訓練,教師付き分類,およびベースライン法よりもロバストな精度が得られた。

関連論文リスト

• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• Hyperbolic Image-and-Pointcloud Contrastive Learning for 3D Classification [14.439996427728483]
  双曲型画像・ポイントクラウドコントラスト学習法(HyperIPC)を提案する。 モジュラー内分岐に対しては、点雲の双曲的埋め込み表現を探索するために、本質的な幾何学的構造に依存する。 クロスモーダルブランチでは、画像を利用してポイントクラウドをガイドし、強力なセマンティック階層的相関を確立する。
  論文  参考訳（メタデータ） (2024-09-24T07:13:37Z)
• Deep Boosting Learning: A Brand-new Cooperative Approach for Image-Text Matching [53.05954114863596]
  画像テキストマッチングのための新しいDeep Boosting Learning (DBL)アルゴリズムを提案する。 アンカーブランチは、まずデータプロパティに関する洞察を提供するために訓練される。 ターゲットブランチは、一致したサンプルと未一致のサンプルとの相対距離をさらに拡大するために、より適応的なマージン制約を同時に課される。
  論文  参考訳（メタデータ） (2024-04-28T08:44:28Z)
• Incorporating simulated spatial context information improves the effectiveness of contrastive learning models [1.4179832037924995]
  本稿では,既存のコントラスト学習手法を補完する,環境空間類似性(ESS)というユニークなアプローチを提案する。 ESSは部屋の分類や空間予測タスク、特に馴染みの無い環境での卓越した熟練を可能にします。 潜在的に変革的な応用は、ロボット工学から宇宙探査まで多岐にわたる。
  論文  参考訳（メタデータ） (2024-01-26T03:44:58Z)
• Alignment and Outer Shell Isotropy for Hyperbolic Graph Contrastive Learning [69.6810940330906]
  高品質なグラフ埋め込みを学習するための新しいコントラスト学習フレームワークを提案する。 具体的には、階層的なデータ不変情報を効果的にキャプチャするアライメントメトリックを設計する。 双曲空間において、木の性質に関連する葉と高さの均一性に対処する必要があることを示す。
  論文  参考訳（メタデータ） (2023-10-27T15:31:42Z)
• HMSN: Hyperbolic Self-Supervised Learning by Clustering with Ideal Prototypes [7.665392786787577]
  プロトタイプに基づくクラスタリング手法の自己教師付き表現学習には,双曲表現空間を用いる。 我々はMasked Siamese Networksを拡張し、双曲空間のPoincar'eボールモデルで操作する。 従来の手法とは異なり、エンコーダネットワークの出力における双曲空間に投影し、双曲投影ヘッドを利用して、下流タスクに使用される表現が双曲的であることを保証する。
  論文  参考訳（メタデータ） (2023-05-18T12:38:40Z)
• Geometry Contrastive Learning on Heterogeneous Graphs [50.58523799455101]
  本稿では,幾何学コントラスト学習(Geometry Contrastive Learning, GCL)と呼ばれる,新しい自己指導型学習手法を提案する。 GCLはユークリッドと双曲的な視点からヘテロジニアスグラフを同時に見ることができ、リッチな意味論と複雑な構造をモデル化する能力の強い融合を目指している。 4つのベンチマークデータセットの大規模な実験は、提案手法が強いベースラインよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-25T03:54:53Z)
• Hyperspherical Consistency Regularization [45.00073340936437]
  我々は,自己教師あり学習と教師あり学習の関係について検討し,自己教師あり学習がデータ効率のよい深層学習にどのように役立つかを検討する。 超球面整合正則化(HCR)を提案し,特徴依存情報を用いた分類器の正規化を行い,ラベルからのバイアスを回避する。
  論文  参考訳（メタデータ） (2022-06-02T02:41:13Z)
• Stochastic Coherence Over Attention Trajectory For Continuous Learning In Video Streams [64.82800502603138]
  本稿では,映像ストリーム中のピクセルワイズ表現を段階的かつ自律的に開発するための,ニューラルネットワークに基づく新しいアプローチを提案する。 提案手法は, 参加者の入場地を観察することで, エージェントが学習できる, 人間の様の注意機構に基づく。 実験では,3次元仮想環境を利用して,映像ストリームを観察することで,エージェントが物体の識別を学べることを示す。
  論文  参考訳（メタデータ） (2022-04-26T09:52:31Z)
• Heterogeneous Contrastive Learning: Encoding Spatial Information for Compact Visual Representations [183.03278932562438]
  本稿では,エンコーディング段階に空間情報を加えることで,対照的な目的と強いデータ拡張操作の間の学習の不整合を緩和する効果的な手法を提案する。 提案手法は,視覚表現の効率を向上し,自己指導型視覚表現学習の今後の研究を刺激する鍵となるメッセージを提供する。
  論文  参考訳（メタデータ） (2020-11-19T16:26:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。