論文の概要: Optimizing Curvature Learning for Robust Hyperbolic Deep Learning in Computer Vision

• arxiv url: http://arxiv.org/abs/2405.13979v2
• Date: Mon, 09 Dec 2024 14:59:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:49:15.949882
• Title: Optimizing Curvature Learning for Robust Hyperbolic Deep Learning in Computer Vision
• Title（参考訳）: コンピュータビジョンにおけるロバストな双曲型深層学習のための曲率学習の最適化
• Authors: Ahmad Bdeir, Niels Landwehr,
• Abstract要約: 本稿では、一般的な学習アルゴリズムのための改良されたスキーマと、多様体の可変代表半径内への埋め込みを制約する新しい正規化手法を提案する。 提案手法は,より大規模な双曲モデルを実現するとともに,直接分類と階層的計量学習の両タスクにおいて一貫した性能向上を示す。
• 参考スコア（独自算出の注目度）: 3.3964154468907486
• License:
• Abstract: Hyperbolic deep learning has become a growing research direction in computer vision for the unique properties afforded by the alternate embedding space. The negative curvature and exponentially growing distance metric provide a natural framework for capturing hierarchical relationships between datapoints and allowing for finer separability between their embeddings. However, these methods are still computationally expensive and prone to instability, especially when attempting to learn the negative curvature that best suits the task and the data. Current Riemannian optimizers do not account for changes in the manifold which greatly harms performance and forces lower learning rates to minimize projection errors. Our paper focuses on curvature learning by introducing an improved schema for popular learning algorithms and providing a novel normalization approach to constrain embeddings within the variable representative radius of the manifold. Additionally, we introduce a novel formulation for Riemannian AdamW, and alternative hybrid encoder techniques and foundational formulations for current convolutional hyperbolic operations, greatly reducing the computational penalty of the hyperbolic embedding space. Our approach demonstrates consistent performance improvements across both direct classification and hierarchical metric learning tasks while allowing for larger hyperbolic models.
• Abstract（参考訳）: 双曲型深層学習は、コンピュータビジョンにおいて、代替埋め込み空間によって提供されるユニークな特性の研究の方向として成長している。 負の曲率と指数的に増加する距離メートル法は、データポイント間の階層的関係を捉え、埋め込み間のより細かい分離性を実現する自然な枠組みを提供する。 しかし、これらの手法は依然として計算に高価であり、特にタスクとデータに最も適した負の曲率を学習しようとすると不安定になる。 現在のリーマン最適化器は、性能を著しく損なう多様体の変化を考慮せず、より低い学習率で射影誤差を最小化させる。 本稿では、一般的な学習アルゴリズムのための改良されたスキーマを導入し、多様体の可変代表半径内に埋め込みを拘束する新しい正規化手法を提供することにより、曲率学習に焦点を当てる。 さらに、Riemannian AdamW の新たな定式化や、現在の畳み込み双曲演算に対する代替ハイブリッドエンコーダ手法や基礎的定式化を導入し、双曲埋め込み空間の計算ペナルティを大幅に減らした。 提案手法は,より大規模な双曲モデルを実現するとともに,直接分類と階層的計量学習の両タスクにおいて一貫した性能向上を示す。

関連論文リスト

• Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
  勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。 ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。 ゲームにおける高速収束と拡張逆最適化への応用について述べる。
  論文  参考訳（メタデータ） (2024-08-17T02:22:08Z)
• Understanding Hyperbolic Metric Learning through Hard Negative Sampling [13.478667527129726]
  本稿では,特に比較損失のある学習において,双曲空間を計量学習に統合する効果について検討する。 ユークリッド空間と双曲空間の損失を組み合わせたハイブリッド目的関数を用いて視覚変換器(ViT)の結果をベンチマークする。 また,双曲的メートル法学習は強陰性サンプリングに強く関連しており,今後の研究に洞察を与えていることも明らかにした。
  論文  参考訳（メタデータ） (2024-04-23T21:11:30Z)
• Alignment and Outer Shell Isotropy for Hyperbolic Graph Contrastive Learning [69.6810940330906]
  高品質なグラフ埋め込みを学習するための新しいコントラスト学習フレームワークを提案する。 具体的には、階層的なデータ不変情報を効果的にキャプチャするアライメントメトリックを設計する。 双曲空間において、木の性質に関連する葉と高さの均一性に対処する必要があることを示す。
  論文  参考訳（メタデータ） (2023-10-27T15:31:42Z)
• Mitigating Over-Smoothing and Over-Squashing using Augmentations of Forman-Ricci Curvature [1.1126342180866644]
  スケーラブルな曲率表記法であるAFRC(Augmented Forman-Ricci curvature)に基づく書き換え手法を提案する。 AFRCはメッセージパッシングGNNにおける過剰なスムースと過剰なスキャッシング効果を効果的に特徴付ける。
  論文  参考訳（メタデータ） (2023-09-17T21:43:18Z)
• Towards Scalable Hyperbolic Neural Networks using Taylor Series Approximations [10.056167107654089]
  ハイパーボリックネットワークは、階層的データセットを含むいくつかの領域において、ユークリッドネットワークよりも顕著に改善されている。 それらの実践における採用は、(i)高速化されたディープラーニングハードウェアの非スケーリング性、(ii)双曲空間の閉鎖による消滅、(iii)情報損失により制限されている。 テイラー級数展開を用いた双曲作用素の近似を提案し、双曲函数の接勾配を同変に再構成する。
  論文  参考訳（メタデータ） (2022-06-07T22:31:17Z)
• Data-heterogeneity-aware Mixing for Decentralized Learning [63.83913592085953]
  グラフの混合重みとノード間のデータ不均一性の関係に収束の依存性を特徴付ける。 グラフが現在の勾配を混合する能力を定量化する計量法を提案する。 そこで本研究では,パラメータを周期的かつ効率的に最適化する手法を提案する。
  論文  参考訳（メタデータ） (2022-04-13T15:54:35Z)
• Hyperbolic Vision Transformers: Combining Improvements in Metric Learning [116.13290702262248]
  計量学習のための新しい双曲型モデルを提案する。 本手法のコアとなるのは、双曲空間にマッピングされた出力埋め込みを備えた視覚変換器である。 4つのデータセットに6つの異なる定式化を施したモデルの評価を行った。
  論文  参考訳（メタデータ） (2022-03-21T09:48:23Z)
• Enhancing Hyperbolic Graph Embeddings via Contrastive Learning [7.901082408569372]
  複数の双曲空間を通してノード表現を学習する新しいハイパーボリックグラフコントラスト学習(HGCL)フレームワークを提案する。 複数の実世界のデータセットに対する実験結果は、提案したHGCLの優位性を示している。
  論文  参考訳（メタデータ） (2022-01-21T06:10:05Z)
• Cogradient Descent for Dependable Learning [64.02052988844301]
  双線形最適化問題に対処するために,CoGDアルゴリズムに基づく信頼度の高い学習法を提案する。 CoGDは、ある変数がスパーシティ制約を持つ場合の双線形問題を解くために導入された。 また、特徴と重みの関連を分解するためにも使用できるため、畳み込みニューラルネットワーク(CNN)をより良く訓練するための我々の手法をさらに一般化することができる。
  論文  参考訳（メタデータ） (2021-06-20T04:28:20Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。