論文の概要: Why are hyperbolic neural networks effective? A study on hierarchical representation capability

• arxiv url: http://arxiv.org/abs/2402.02478v1
• Date: Sun, 4 Feb 2024 13:15:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 19:24:46.668301
• Title: Why are hyperbolic neural networks effective? A study on hierarchical representation capability
• Title（参考訳）: 双曲型ニューラルネットワークはなぜ有効か? 階層的表現能力に関する研究
• Authors: Shicheng Tan, Huanjing Zhao, Shu Zhao, Yanping Zhang
• Abstract要約: 本稿では,HRC評価のためのベンチマークを提案し,大規模実験によりHNNが有効である理由を包括的に分析する。 実験により、HNNは理論的に最適な埋め込みを達成できないことが示された。 本稿では,HRCの強化と下流タスクの性能向上のための事前学習戦略を提案する。
• 参考スコア（独自算出の注目度）: 12.051572312537274
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hyperbolic Neural Networks (HNNs), operating in hyperbolic space, have been widely applied in recent years, motivated by the existence of an optimal embedding in hyperbolic space that can preserve data hierarchical relationships (termed Hierarchical Representation Capability, HRC) more accurately than Euclidean space. However, there is no evidence to suggest that HNNs can achieve this theoretical optimal embedding, leading to much research being built on flawed motivations. In this paper, we propose a benchmark for evaluating HRC and conduct a comprehensive analysis of why HNNs are effective through large-scale experiments. Inspired by the analysis results, we propose several pre-training strategies to enhance HRC and improve the performance of downstream tasks, further validating the reliability of the analysis. Experiments show that HNNs cannot achieve the theoretical optimal embedding. The HRC is significantly affected by the optimization objectives and hierarchical structures, and enhancing HRC through pre-training strategies can significantly improve the performance of HNNs.
• Abstract（参考訳）: 双曲的空間で動作する双曲型ニューラルネットワーク(HNN)は、ユークリッド空間よりも正確にデータ階層的関係(階層的表現能力、HRC)を保存できる最適な双曲型空間への埋め込みの存在によって、近年広く応用されている。 しかし、HNNがこの理論上の最適埋め込みを達成できることを示す証拠はないため、多くの研究が欠陥のあるモチベーションに基づいている。 本稿では,HRC評価のためのベンチマークを提案し,大規模実験によりHNNが有効である理由を包括的に分析する。 分析結果に触発されて,hrcの強化と下流タスクの性能向上のための事前学習戦略を提案し,解析の信頼性をさらに検証する。 実験により、hnnは理論的最適埋め込みを達成できないことが示されている。 HRCは最適化目標と階層構造に大きく影響され,事前学習戦略によるHRCの強化により,HNNの性能が著しく向上する。

関連論文リスト

• On the Convergence of (Stochastic) Gradient Descent for Kolmogorov--Arnold Networks [56.78271181959529]
  Kolmogorov--Arnold Networks (KAN) はディープラーニングコミュニティで注目されている。 実験により、勾配降下(SGD)により最適化されたカンが、ほぼゼロに近い訓練損失を達成できることが示された。
  論文  参考訳（メタデータ） (2024-10-10T15:34:10Z)
• Optimization of Actuarial Neural Networks with Response Surface Methodology [0.0]
  本研究では,CANNの性能を最適化するために因子設計および応答面法(RSM)を用いる。 統計的に重要でないハイパーパラメーターを減らし,288から188に減らした。
  論文  参考訳（メタデータ） (2024-10-01T15:45:41Z)
• HGAttack: Transferable Heterogeneous Graph Adversarial Attack [63.35560741500611]
  ヘテロジニアスグラフニューラルネットワーク(HGNN)は、Webやeコマースなどの分野でのパフォーマンスでますます認識されている。 本稿ではヘテロジニアスグラフに対する最初の専用グレーボックス回避手法であるHGAttackを紹介する。
  論文  参考訳（メタデータ） (2024-01-18T12:47:13Z)
• Direct Learning-Based Deep Spiking Neural Networks: A Review [17.255056657521195]
  スパイキングニューラルネットワーク(SNN)は、二分スパイク情報伝達機構を備えた有望な脳誘発計算モデルである。 本稿では,直接学習に基づく深部SNN研究について,主に精度向上法,効率改善法,時間的ダイナミクス利用法に分類する。
  論文  参考訳（メタデータ） (2023-05-31T10:32:16Z)
• Heterogeneous Neuronal and Synaptic Dynamics for Spike-Efficient Unsupervised Learning: Theory and Design Principles [13.521272923545409]
  我々は、ニューロンの統合/緩和ダイナミクスの多様性が、RSNNがより異なる入力パターン(より高いメモリ容量)を学習する能力を向上させることを解析的に示す。 さらに, シナプスのヘテロジニアススパイク-タイミング-依存性-Plasticity (STDP) はスパイク活性を低下させるが, メモリ容量は維持することを示した。
  論文  参考訳（メタデータ） (2023-02-22T19:48:02Z)
• Metric Residual Networks for Sample Efficient Goal-conditioned Reinforcement Learning [52.59242013527014]
  ゴール条件強化学習(GCRL)は、現実世界の幅広い応用の可能性を秘めている。 サンプル効率は、GCRLにとって最も重要であり、デフォルトでは、エージェントはその目標に達するとのみ報酬を受ける。 GCRLのための新しいニューラルアーキテクチャを導入し、一般的なモノリシックネットワークアーキテクチャよりもはるかに優れたサンプリング効率を実現する。
  論文  参考訳（メタデータ） (2022-08-17T08:04:41Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Exploring Architectural Ingredients of Adversarially Robust Deep Neural Networks [98.21130211336964]
  ディープニューラルネットワーク(DNN)は敵の攻撃に弱いことが知られている。 本稿では,ネットワーク幅と深さがDNNの強靭性に及ぼす影響について検討する。
  論文  参考訳（メタデータ） (2021-10-07T23:13:33Z)
• Free Hyperbolic Neural Networks with Limited Radii [32.42488915688723]
  双曲型空間で直接動作する双曲型ニューラルネットワーク(HNN)は、双曲型表現の可能性をさらに活用するために最近提案されている。 HNNは、暗黙の階層構造を持つデータセット上でのユークリッドニューラルネットワーク(ENN)よりも優れたパフォーマンスを実現しているが、CIFARやImageNetのような標準分類ベンチマークでは依然としてパフォーマンスが低い。 本稿では、まず、標準認識データセットにおけるHNNの劣悪な性能が、悪名高い失効勾配問題に起因することを示す実証的研究を行う。 我々の分析は、常に双曲的埋め込みを規則化する、Feature Clippingと呼ばれるシンプルだが効果的なソリューションをもたらす。
  論文  参考訳（メタデータ） (2021-07-23T22:10:16Z)
• A Novel Genetic Algorithm with Hierarchical Evaluation Strategy for Hyperparameter Optimisation of Graph Neural Networks [7.139436410105177]
  本研究は階層的評価戦略(HESGA)を用いた新しい遺伝的アルゴリズムを提案する。 提案された階層的戦略は、候補者をより高いレベルに推薦するために低いレベルでの迅速な評価を用いており、完全評価はエリート個人のグループを維持するための最終評価者として振る舞う。
  論文  参考訳（メタデータ） (2021-01-22T19:19:59Z)
• What Deep CNNs Benefit from Global Covariance Pooling: An Optimization Perspective [102.37204254403038]
  我々は最適化の観点から、GCPの深いCNNのメリットを理解する試みを行っている。 GCPは最適化のランドスケープをよりスムーズにし、勾配をより予測できることを示す。 多様なタスクに対して様々な深部CNNモデルを用いて広範な実験を行い,その結果を強く支持する。
  論文  参考訳（メタデータ） (2020-03-25T07:00:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。