論文の概要: Robust Hyperbolic Learning with Curvature-Aware Optimization

• arxiv url: http://arxiv.org/abs/2405.13979v3
• Date: Mon, 03 Feb 2025 12:43:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-04 16:05:07.525186
• Title: Robust Hyperbolic Learning with Curvature-Aware Optimization
• Title（参考訳）: 曲率認識最適化によるロバストな双曲学習
• Authors: Ahmad Bdeir, Johannes Burchert, Lars Schmidt-Thieme, Niels Landwehr,
• Abstract要約: 現在の双曲型学習アプローチは、過度に適合し、計算コストが高く、不安定になりがちである。 本稿では,双曲的埋め込みを制限し,近似誤差を低減するために,新しい微調整可能な双曲的スケーリング手法を提案する。 提案手法は,コンピュータビジョン,脳波分類,階層的メトリック学習タスクにおける一貫した改善を示す。
• 参考スコア（独自算出の注目度）: 7.89323764547292
• License:
• Abstract: Hyperbolic deep learning has become a growing research direction in computer vision due to the unique properties afforded by the alternate embedding space. The negative curvature and exponentially growing distance metric provide a natural framework for capturing hierarchical relationships between datapoints and allowing for finer separability between their embeddings. However, current hyperbolic learning approaches are still prone to overfitting, computationally expensive, and prone to instability, especially when attempting to learn the manifold curvature to adapt to tasks and different datasets. To address these issues, our paper presents a derivation for Riemannian AdamW that helps increase hyperbolic generalization ability. For improved stability, we introduce a novel fine-tunable hyperbolic scaling approach to constrain hyperbolic embeddings and reduce approximation errors. Using this along with our curvature-aware learning schema for Lorentzian Optimizers enables the combination of curvature and non-trivialized hyperbolic parameter learning. Our approach demonstrates consistent performance improvements across Computer Vision, EEG classification, and hierarchical metric learning tasks achieving state-of-the-art results in two domains and drastically reducing runtime.
• Abstract（参考訳）: 双曲型深層学習は、交互埋め込み空間によって得られる独特の性質により、コンピュータビジョンにおける研究の方向性が増している。 負の曲率と指数的に増加する距離メートル法は、データポイント間の階層的関係を捉え、埋め込み間のより細かい分離性を実現する自然な枠組みを提供する。 しかし、現在の双曲学習アプローチは、特にタスクや異なるデータセットに適応するために多様体曲率を学習しようとすると、過度に適合し、計算的に高価であり、不安定になりがちである。 これらの問題に対処するため,本論文では,双曲的一般化能力の向上に寄与するリーマン的AdamWの導出について述べる。 安定性を向上させるために,双曲型埋め込みを制約し,近似誤差を低減するために,新しい微調整可能な双曲型スケーリング手法を導入する。 これをローレンツ最適化のための曲率認識学習スキーマと組み合わせることで、曲率と非自明な双曲型パラメータ学習を組み合わせることができる。 提案手法は,コンピュータビジョン,脳波分類,階層的メートル法学習タスク間の一貫した性能向上を実証する。

関連論文リスト

• Nonparametric Linear Feature Learning in Regression Through Regularisation [0.0]
  連立線形特徴学習と非パラメトリック関数推定のための新しい手法を提案する。 代替最小化を用いることで、データを反復的に回転させ、先頭方向との整合性を改善する。 提案手法の予測リスクは,最小限の仮定と明示的なレートで最小限のリスクに収束することを確認した。
  論文  参考訳（メタデータ） (2023-07-24T12:52:55Z)
• Accelerated Linearized Laplace Approximation for Bayesian Deep Learning [34.81292720605279]
  ニューラルタンジェントカーネル(NTK)に対するNystrom近似を開発し、LLAを加速する。 我々の手法は、フォワードモード自動微分のための人気のあるディープラーニングライブラリの能力から恩恵を受ける。 私たちの方法では、視覚変換器のようなアーキテクチャまでスケールアップできます。
  論文  参考訳（メタデータ） (2022-10-23T07:49:03Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• Towards Scalable Hyperbolic Neural Networks using Taylor Series Approximations [10.056167107654089]
  ハイパーボリックネットワークは、階層的データセットを含むいくつかの領域において、ユークリッドネットワークよりも顕著に改善されている。 それらの実践における採用は、(i)高速化されたディープラーニングハードウェアの非スケーリング性、(ii)双曲空間の閉鎖による消滅、(iii)情報損失により制限されている。 テイラー級数展開を用いた双曲作用素の近似を提案し、双曲函数の接勾配を同変に再構成する。
  論文  参考訳（メタデータ） (2022-06-07T22:31:17Z)
• Data-heterogeneity-aware Mixing for Decentralized Learning [63.83913592085953]
  グラフの混合重みとノード間のデータ不均一性の関係に収束の依存性を特徴付ける。 グラフが現在の勾配を混合する能力を定量化する計量法を提案する。 そこで本研究では,パラメータを周期的かつ効率的に最適化する手法を提案する。
  論文  参考訳（メタデータ） (2022-04-13T15:54:35Z)
• Hyperbolic Vision Transformers: Combining Improvements in Metric Learning [116.13290702262248]
  計量学習のための新しい双曲型モデルを提案する。 本手法のコアとなるのは、双曲空間にマッピングされた出力埋め込みを備えた視覚変換器である。 4つのデータセットに6つの異なる定式化を施したモデルの評価を行った。
  論文  参考訳（メタデータ） (2022-03-21T09:48:23Z)
• Adaptive Learning Rate and Momentum for Training Deep Neural Networks [0.0]
  本研究では,非線形共役勾配(CG)フレームワークによる高速トレーニング手法を開発した。 画像分類データセットの実験により,本手法は他の局所解法よりも高速な収束が得られることが示された。
  論文  参考訳（メタデータ） (2021-06-22T05:06:56Z)
• Cogradient Descent for Dependable Learning [64.02052988844301]
  双線形最適化問題に対処するために,CoGDアルゴリズムに基づく信頼度の高い学習法を提案する。 CoGDは、ある変数がスパーシティ制約を持つ場合の双線形問題を解くために導入された。 また、特徴と重みの関連を分解するためにも使用できるため、畳み込みニューラルネットワーク(CNN)をより良く訓練するための我々の手法をさらに一般化することができる。
  論文  参考訳（メタデータ） (2021-06-20T04:28:20Z)
• Level-Set Curvature Neural Networks: A Hybrid Approach [0.0]
  レベルセット法で平均曲率を計算するための深層学習に基づくハイブリッド戦略を提案する。 提案手法は,改良回帰モデルの辞書と標準数値スキームを組み合わせて,曲率をより正確に推定する。 機械学習は、レベルセット手法の数値的欠点に対する実行可能な解決策を考案する有望な場であることを確認した。
  論文  参考訳（メタデータ） (2021-04-07T06:51:52Z)
• Attribute-Guided Adversarial Training for Robustness to Natural Perturbations [64.35805267250682]
  本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。 我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
  論文  参考訳（メタデータ） (2020-12-03T10:17:30Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。