論文の概要: Curvature Learning for Generalization of Hyperbolic Neural Networks

• arxiv url: http://arxiv.org/abs/2508.17232v1
• Date: Sun, 24 Aug 2025 07:14:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.41698
• Title: Curvature Learning for Generalization of Hyperbolic Neural Networks
• Title（参考訳）: 双曲型ニューラルネットワークの一般化のための曲率学習
• Authors: Xiaomeng Fan, Yuwei Wu, Zhi Gao, Mehrtash Harandi, Yunde Jia,
• Abstract要約: ハイパーボリックニューラルネットワーク(HNN)は,階層構造を持つ実世界のデータを表現する上で,顕著な有効性を示している。 不適切な曲率により、HNNは最適以下のパラメータに収束し、全体的な性能が低下する可能性がある。 本研究では,損失景観の平滑化を図り,HNNの一般化を向上するシャープネス対応曲率学習法を提案する。
• 参考スコア（独自算出の注目度）: 51.888534247573894
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Hyperbolic neural networks (HNNs) have demonstrated notable efficacy in representing real-world data with hierarchical structures via exploiting the geometric properties of hyperbolic spaces characterized by negative curvatures. Curvature plays a crucial role in optimizing HNNs. Inappropriate curvatures may cause HNNs to converge to suboptimal parameters, degrading overall performance. So far, the theoretical foundation of the effect of curvatures on HNNs has not been developed. In this paper, we derive a PAC-Bayesian generalization bound of HNNs, highlighting the role of curvatures in the generalization of HNNs via their effect on the smoothness of the loss landscape. Driven by the derived bound, we propose a sharpness-aware curvature learning method to smooth the loss landscape, thereby improving the generalization of HNNs. In our method, we design a scope sharpness measure for curvatures, which is minimized through a bi-level optimization process. Then, we introduce an implicit differentiation algorithm that efficiently solves the bi-level optimization by approximating gradients of curvatures. We present the approximation error and convergence analyses of the proposed method, showing that the approximation error is upper-bounded, and the proposed method can converge by bounding gradients of HNNs. Experiments on four settings: classification, learning from long-tailed data, learning from noisy data, and few-shot learning show that our method can improve the performance of HNNs.
• Abstract（参考訳）: 双曲型ニューラルネットワーク(HNN)は、負の曲率によって特徴づけられる双曲型空間の幾何学的性質を利用して、階層構造を持つ実世界のデータを表現する際、顕著な有効性を示した。 曲線はHNNの最適化において重要な役割を果たす。 不適切な曲率により、HNNは最適以下のパラメータに収束し、全体的な性能が低下する可能性がある。 これまでのところ、HNNに対する曲率の影響の理論的基礎は開発されていない。 本稿では, HNNの一般化における曲率の役割を, ロスランドスケープの滑らかさに作用させることにより, PAC-Bayesian の HNN の一般化境界を導出する。 導出境界によって駆動され、ロスランドスケープを円滑にし、HNNの一般化を改善するためのシャープネス対応曲率学習法を提案する。 本手法では,2段階最適化プロセスによって最小化される曲率のスコープシャープネス尺度を設計する。 そこで我々は,曲線の勾配を近似することで,二段階最適化を効率的に解く暗黙の微分アルゴリズムを提案する。 本稿では,提案手法の近似誤差と収束解析を行い,近似誤差が上界であることを示すとともに,提案手法はHNNの勾配によって収束可能であることを示す。 分類,長期化データからの学習,ノイズの多いデータからの学習,少数ショット学習の4つの実験から,本手法がHNNの性能を向上させることが示唆された。

関連論文リスト

• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Mitigating Over-Smoothing and Over-Squashing using Augmentations of Forman-Ricci Curvature [1.1126342180866644]
  スケーラブルな曲率表記法であるAFRC(Augmented Forman-Ricci curvature)に基づく書き換え手法を提案する。 AFRCはメッセージパッシングGNNにおける過剰なスムースと過剰なスキャッシング効果を効果的に特徴付ける。
  論文  参考訳（メタデータ） (2023-09-17T21:43:18Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Advantage of Deep Neural Networks for Estimating Functions with Singularity on Hypersurfaces [23.21591478556582]
  我々は、ディープニューラルネットワーク(DNN)が他の標準手法よりも優れている理由を説明するために、ミニマックスレート分析を開発する。 本研究では,超曲面上の特異点を持つ非滑らか関数のクラスを推定することにより,このギャップを埋めようとしている。
  論文  参考訳（メタデータ） (2020-11-04T12:51:14Z)
• A Dynamical View on Optimization Algorithms of Overparameterized Neural Networks [23.038631072178735]
  我々は、一般的に使用される最適化アルゴリズムの幅広いクラスについて考察する。 その結果、ニューラルネットワークの収束挙動を利用することができる。 このアプローチは他の最適化アルゴリズムやネットワーク理論にも拡張できると考えています。
  論文  参考訳（メタデータ） (2020-10-25T17:10:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。