論文の概要: Robust Hyperbolic Learning with Curvature-Aware Optimization

• arxiv url: http://arxiv.org/abs/2405.13979v3
• Date: Mon, 03 Feb 2025 12:43:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-04 16:05:07.525186
• Title: Robust Hyperbolic Learning with Curvature-Aware Optimization
• Title（参考訳）: 曲率認識最適化によるロバストな双曲学習
• Authors: Ahmad Bdeir, Johannes Burchert, Lars Schmidt-Thieme, Niels Landwehr,
• Abstract要約: 現在の双曲型学習アプローチは、過度に適合し、計算コストが高く、不安定になりがちである。 本稿では,双曲的埋め込みを制限し,近似誤差を低減するために,新しい微調整可能な双曲的スケーリング手法を提案する。 提案手法は,コンピュータビジョン,脳波分類,階層的メトリック学習タスクにおける一貫した改善を示す。
• 参考スコア（独自算出の注目度）: 7.89323764547292
• License:
• Abstract: Hyperbolic deep learning has become a growing research direction in computer vision due to the unique properties afforded by the alternate embedding space. The negative curvature and exponentially growing distance metric provide a natural framework for capturing hierarchical relationships between datapoints and allowing for finer separability between their embeddings. However, current hyperbolic learning approaches are still prone to overfitting, computationally expensive, and prone to instability, especially when attempting to learn the manifold curvature to adapt to tasks and different datasets. To address these issues, our paper presents a derivation for Riemannian AdamW that helps increase hyperbolic generalization ability. For improved stability, we introduce a novel fine-tunable hyperbolic scaling approach to constrain hyperbolic embeddings and reduce approximation errors. Using this along with our curvature-aware learning schema for Lorentzian Optimizers enables the combination of curvature and non-trivialized hyperbolic parameter learning. Our approach demonstrates consistent performance improvements across Computer Vision, EEG classification, and hierarchical metric learning tasks achieving state-of-the-art results in two domains and drastically reducing runtime.
• Abstract（参考訳）: 双曲型深層学習は、交互埋め込み空間によって得られる独特の性質により、コンピュータビジョンにおける研究の方向性が増している。 負の曲率と指数的に増加する距離メートル法は、データポイント間の階層的関係を捉え、埋め込み間のより細かい分離性を実現する自然な枠組みを提供する。 しかし、現在の双曲学習アプローチは、特にタスクや異なるデータセットに適応するために多様体曲率を学習しようとすると、過度に適合し、計算的に高価であり、不安定になりがちである。 これらの問題に対処するため,本論文では,双曲的一般化能力の向上に寄与するリーマン的AdamWの導出について述べる。 安定性を向上させるために,双曲型埋め込みを制約し,近似誤差を低減するために,新しい微調整可能な双曲型スケーリング手法を導入する。 これをローレンツ最適化のための曲率認識学習スキーマと組み合わせることで、曲率と非自明な双曲型パラメータ学習を組み合わせることができる。 提案手法は,コンピュータビジョン,脳波分類,階層的メートル法学習タスク間の一貫した性能向上を実証する。

関連論文リスト

• Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
  勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。 ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。 ゲームにおける高速収束と拡張逆最適化への応用について述べる。
  論文  参考訳（メタデータ） (2024-08-17T02:22:08Z)
• Understanding Hyperbolic Metric Learning through Hard Negative Sampling [13.478667527129726]
  本稿では,特に比較損失のある学習において,双曲空間を計量学習に統合する効果について検討する。 ユークリッド空間と双曲空間の損失を組み合わせたハイブリッド目的関数を用いて視覚変換器(ViT)の結果をベンチマークする。 また,双曲的メートル法学習は強陰性サンプリングに強く関連しており,今後の研究に洞察を与えていることも明らかにした。
  論文  参考訳（メタデータ） (2024-04-23T21:11:30Z)
• Alignment and Outer Shell Isotropy for Hyperbolic Graph Contrastive Learning [69.6810940330906]
  高品質なグラフ埋め込みを学習するための新しいコントラスト学習フレームワークを提案する。 具体的には、階層的なデータ不変情報を効果的にキャプチャするアライメントメトリックを設計する。 双曲空間において、木の性質に関連する葉と高さの均一性に対処する必要があることを示す。
  論文  参考訳（メタデータ） (2023-10-27T15:31:42Z)
• Mitigating Over-Smoothing and Over-Squashing using Augmentations of Forman-Ricci Curvature [1.1126342180866644]
  スケーラブルな曲率表記法であるAFRC(Augmented Forman-Ricci curvature)に基づく書き換え手法を提案する。 AFRCはメッセージパッシングGNNにおける過剰なスムースと過剰なスキャッシング効果を効果的に特徴付ける。
  論文  参考訳（メタデータ） (2023-09-17T21:43:18Z)
• Towards Scalable Hyperbolic Neural Networks using Taylor Series Approximations [10.056167107654089]
  ハイパーボリックネットワークは、階層的データセットを含むいくつかの領域において、ユークリッドネットワークよりも顕著に改善されている。 それらの実践における採用は、(i)高速化されたディープラーニングハードウェアの非スケーリング性、(ii)双曲空間の閉鎖による消滅、(iii)情報損失により制限されている。 テイラー級数展開を用いた双曲作用素の近似を提案し、双曲函数の接勾配を同変に再構成する。
  論文  参考訳（メタデータ） (2022-06-07T22:31:17Z)
• Data-heterogeneity-aware Mixing for Decentralized Learning [63.83913592085953]
  グラフの混合重みとノード間のデータ不均一性の関係に収束の依存性を特徴付ける。 グラフが現在の勾配を混合する能力を定量化する計量法を提案する。 そこで本研究では,パラメータを周期的かつ効率的に最適化する手法を提案する。
  論文  参考訳（メタデータ） (2022-04-13T15:54:35Z)
• Hyperbolic Vision Transformers: Combining Improvements in Metric Learning [116.13290702262248]
  計量学習のための新しい双曲型モデルを提案する。 本手法のコアとなるのは、双曲空間にマッピングされた出力埋め込みを備えた視覚変換器である。 4つのデータセットに6つの異なる定式化を施したモデルの評価を行った。
  論文  参考訳（メタデータ） (2022-03-21T09:48:23Z)
• Enhancing Hyperbolic Graph Embeddings via Contrastive Learning [7.901082408569372]
  複数の双曲空間を通してノード表現を学習する新しいハイパーボリックグラフコントラスト学習(HGCL)フレームワークを提案する。 複数の実世界のデータセットに対する実験結果は、提案したHGCLの優位性を示している。
  論文  参考訳（メタデータ） (2022-01-21T06:10:05Z)
• Cogradient Descent for Dependable Learning [64.02052988844301]
  双線形最適化問題に対処するために,CoGDアルゴリズムに基づく信頼度の高い学習法を提案する。 CoGDは、ある変数がスパーシティ制約を持つ場合の双線形問題を解くために導入された。 また、特徴と重みの関連を分解するためにも使用できるため、畳み込みニューラルネットワーク(CNN)をより良く訓練するための我々の手法をさらに一般化することができる。
  論文  参考訳（メタデータ） (2021-06-20T04:28:20Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。