論文の概要: Free Hyperbolic Neural Networks with Limited Radii
- arxiv url: http://arxiv.org/abs/2107.11472v1
- Date: Fri, 23 Jul 2021 22:10:16 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-27 16:20:16.327821
- Title: Free Hyperbolic Neural Networks with Limited Radii
- Title（参考訳）: 制限放射を用いた自由双曲型ニューラルネットワーク
- Authors: Yunhui Guo and Xudong Wang and Yubei Chen and Stella X. Yu
- Abstract要約: 双曲型空間で直接動作する双曲型ニューラルネットワーク(HNN)は、双曲型表現の可能性をさらに活用するために最近提案されている。
HNNは、暗黙の階層構造を持つデータセット上でのユークリッドニューラルネットワーク(ENN)よりも優れたパフォーマンスを実現しているが、CIFARやImageNetのような標準分類ベンチマークでは依然としてパフォーマンスが低い。
本稿では、まず、標準認識データセットにおけるHNNの劣悪な性能が、悪名高い失効勾配問題に起因することを示す実証的研究を行う。
我々の分析は、常に双曲的埋め込みを規則化する、Feature Clippingと呼ばれるシンプルだが効果的なソリューションをもたらす。
- 参考スコア（独自算出の注目度）: 32.42488915688723
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Non-Euclidean geometry with constant negative curvature, i.e., hyperbolic
space, has attracted sustained attention in the community of machine learning.
Hyperbolic space, owing to its ability to embed hierarchical structures
continuously with low distortion, has been applied for learning data with
tree-like structures. Hyperbolic Neural Networks (HNNs) that operate directly
in hyperbolic space have also been proposed recently to further exploit the
potential of hyperbolic representations. While HNNs have achieved better
performance than Euclidean neural networks (ENNs) on datasets with implicit
hierarchical structure, they still perform poorly on standard classification
benchmarks such as CIFAR and ImageNet. The traditional wisdom is that it is
critical for the data to respect the hyperbolic geometry when applying HNNs. In
this paper, we first conduct an empirical study showing that the inferior
performance of HNNs on standard recognition datasets can be attributed to the
notorious vanishing gradient problem. We further discovered that this problem
stems from the hybrid architecture of HNNs. Our analysis leads to a simple yet
effective solution called Feature Clipping, which regularizes the hyperbolic
embedding whenever its norm exceeding a given threshold. Our thorough
experiments show that the proposed method can successfully avoid the vanishing
gradient problem when training HNNs with backpropagation. The improved HNNs are
able to achieve comparable performance with ENNs on standard image recognition
datasets including MNIST, CIFAR10, CIFAR100 and ImageNet, while demonstrating
more adversarial robustness and stronger out-of-distribution detection
capability.
- Abstract（参考訳）: 一定の負の曲率を持つ非ユークリッド幾何学、すなわち双曲空間は、機械学習のコミュニティにおいて引き続き注目を集めている。
階層構造を低歪みで連続的に埋め込む能力により、双曲空間は木のような構造を持つデータ学習に応用されている。
双曲型空間で直接動作する双曲型ニューラルネットワーク(HNN)も近年、双曲型表現の可能性をさらに活用するために提案されている。
HNNは、暗黙の階層構造を持つデータセット上でのユークリッドニューラルネットワーク(ENN)よりも優れたパフォーマンスを実現しているが、CIFARやImageNetのような標準分類ベンチマークでは依然としてパフォーマンスが低い。
従来の知恵は、データがHNNを適用する際に双曲幾何学を尊重することが重要であるということである。
本稿では,まず,標準認識データセットにおけるhnnの劣る性能は,悪名高い消失勾配問題に起因していることを示す実証研究を行う。
さらに、この問題はHNNのハイブリッドアーキテクチャに由来することが判明した。
この手法は,標準値が与えられたしきい値を超えるといつでも,双曲的埋め込みを規則化する。
提案手法は, バックプロパゲーションによるHNNのトレーニングにおいて, 消失する勾配問題を回避することができることを示す。
改良されたHNNは、MNIST、CIFAR10、CIFAR100、ImageNetなどの標準画像認識データセット上で、ENNと同等のパフォーマンスを達成できると同時に、より敵対的な堅牢性とより強力な分布検出能力を示すことができる。
関連論文リスト
- Implicit Graph Neural Diffusion Networks: Convergence, Generalization,
and Over-Smoothing [7.984586585987328]
Inlicit Graph Neural Networks (GNN)は、グラフ学習問題に対処する上で大きな成功を収めた。
パラメータ化グラフラプラシアン演算子に基づく暗黙グラフ拡散層を設計するための幾何学的枠組みを提案する。
ディリクレエネルギー最小化問題の固定点方程式として, 暗黙のGNN層がどう見えるかを示す。
論文 参考訳（メタデータ） (2023-08-07T05:22:33Z) - Fully Hyperbolic Convolutional Neural Networks for Computer Vision [3.3964154468907486]
コンピュータビジョンタスク用に設計された完全双曲型畳み込みニューラルネットワーク(CNN)であるHCNNを紹介する。
ローレンツモデルに基づいて、畳み込み層の新規な定式化、バッチ正規化、多項ロジスティック回帰を提案する。
標準的なビジョンタスクの実験は、HCNNフレームワークをハイブリッドと完全に双曲的な設定の両方で有望な性能を示す。
論文 参考訳（メタデータ） (2023-03-28T12:20:52Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - Learning A 3D-CNN and Transformer Prior for Hyperspectral Image
Super-Resolution [80.93870349019332]
本稿では,CNN の代わりに Transformer を用いて HSI の事前学習を行う新しい HSISR 手法を提案する。
具体的には、まず勾配アルゴリズムを用いてHSISRモデルを解き、次に展開ネットワークを用いて反復解過程をシミュレートする。
論文 参考訳（メタデータ） (2021-11-27T15:38:57Z) - ACE-HGNN: Adaptive Curvature Exploration Hyperbolic Graph Neural Network [72.16255675586089]
本稿では、入力グラフと下流タスクに基づいて最適な曲率を適応的に学習する適応曲率探索ハイパーボリックグラフニューラルネットワークACE-HGNNを提案する。
複数の実世界のグラフデータセットの実験は、競争性能と優れた一般化能力を備えたモデル品質において、顕著で一貫したパフォーマンス改善を示す。
論文 参考訳（メタデータ） (2021-10-15T07:18:57Z) - Bag of Tricks for Training Deeper Graph Neural Networks: A Comprehensive
Benchmark Study [100.27567794045045]
ディープグラフニューラルネットワーク(GNN)のトレーニングは、非常に難しい。
我々は、深層GNNの「トリック」を評価するための最初の公正かつ再現可能なベンチマークを示す。
論文 参考訳（メタデータ） (2021-08-24T05:00:37Z) - Hamiltonian Deep Neural Networks Guaranteeing Non-vanishing Gradients by
Design [2.752441514346229]
バックプロパゲーションによる重量最適化における勾配の消失と爆発は、訓練が困難である。
連続時間ハミルトンシステムの離散化から導かれるハミルトンDNN(H-DNN)の一般クラスを提案する。
我々の主な成果は、広範囲のH-DNNが任意のネットワーク深さを設計することで、不要な勾配を保証することである。
MNISTデータセットを用いた画像分類を含む,ベンチマーク分類問題において,H-DNNの性能を示す。
論文 参考訳（メタデータ） (2021-05-27T14:52:22Z) - A unified framework for Hamiltonian deep neural networks [3.0934684265555052]
ディープニューラルネットワーク(DNN)のトレーニングは、重み付け最適化中に勾配を消耗させるため、難しい場合がある。
ハミルトン系の時間離散化から派生したDNNのクラスを提案する。
提案されたハミルトンのフレームワークは、限界的に安定なODEにインスパイアされた既存のネットワークを包含する以外に、新しいより表現力のあるアーキテクチャを導出することができる。
論文 参考訳（メタデータ） (2021-04-27T13:20:24Z) - Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。
本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。
モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文 参考訳（メタデータ） (2020-12-31T18:48:58Z) - Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。
本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。
私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
論文 参考訳（メタデータ） (2020-12-10T22:30:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。