Fugu-MT 論文翻訳(概要): Hyperbolic Neural Networks++

論文の概要: Hyperbolic Neural Networks++

arxiv url: http://arxiv.org/abs/2006.08210v3
Date: Wed, 17 Mar 2021 14:36:34 GMT
ステータス: 処理完了
システム内更新日: 2022-11-21 02:57:37.404356
Title: Hyperbolic Neural Networks++
Title（参考訳）: 双曲型ニューラルネットワーク++
Authors: Ryohei Shimizu, Yusuke Mukuta, Tatsuya Harada
Abstract要約: ニューラルネットワークの基本成分を1つの双曲幾何モデル、すなわちポアンカーの球モデルで一般化する。実験により, 従来の双曲成分と比較してパラメータ効率が優れ, ユークリッド成分よりも安定性と性能が優れていた。
参考スコア（独自算出の注目度）: 66.16106727715061
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Hyperbolic spaces, which have the capacity to embed tree structures without distortion owing to their exponential volume growth, have recently been applied to machine learning to better capture the hierarchical nature of data. In this study, we generalize the fundamental components of neural networks in a single hyperbolic geometry model, namely, the Poincar\'e ball model. This novel methodology constructs a multinomial logistic regression, fully-connected layers, convolutional layers, and attention mechanisms under a unified mathematical interpretation, without increasing the parameters. Experiments show the superior parameter efficiency of our methods compared to conventional hyperbolic components, and stability and outperformance over their Euclidean counterparts.
Abstract（参考訳）: 指数体積成長による歪みを伴わずに木構造を埋め込む能力を持つ双曲空間は、最近、データの階層的性質をよりよく捉えるために機械学習に応用されている。本研究では,1つの双曲幾何学モデル,すなわちポアンカーの球モデルにおいて,ニューラルネットワークの基本成分を一般化する。本手法は, パラメータを増大させることなく, 多項対数回帰, 完全連結層, 畳み込み層, 注意機構を統一的な数学的解釈の下で構築する。実験により,従来の双曲成分と比較してパラメータ効率が優れ,ユークリッド成分よりも安定性と性能が向上した。

関連論文リスト

Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
論文参考訳（メタデータ） (2024-05-22T17:23:15Z)
Nonlinear classification of neural manifolds with contextual information [6.292933471495322]
多様体容量は、人口幾何学とニューラル多様体の分離性とを結びつける有望な枠組みとして出現している。本稿では,文脈入力情報を活用することによって,この制限を克服する理論的枠組みを提案する。我々のフレームワークの表現性の向上は、階層階層の初期段階のディープネットワークにおける表現アンハングメントをキャプチャするが、以前は分析にはアクセスできない。
論文参考訳（メタデータ） (2024-05-10T23:37:31Z)
Decorrelating neurons using persistence [29.25969187808722]
2つの正規化項は、クリッドの最小スパンニングツリーの重みから計算される。ニューロン間の相関関係を最小化することで、正規化条件よりも低い精度が得られることを示す。正規化の可微分性の証明を含むので、最初の効果的なトポロジカルな永続性に基づく正規化用語を開発することができる。
論文参考訳（メタデータ） (2023-08-09T11:09:14Z)
Capturing dynamical correlations using implicit neural representations [85.66456606776552]
実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
論文参考訳（メタデータ） (2023-04-08T07:55:36Z)
Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文参考訳（メタデータ） (2021-10-12T23:22:45Z)
Hyperbolic Deep Neural Networks: A Survey [31.04110049167551]
本論文では,このモデルを双曲型ディープニューラルネットワークと呼んでいる。本論文では,ハイパーボリック深層ニューラルネットワークの構築における神経成分に関する文献の一貫性と総合的検討について述べる。
論文参考訳（メタデータ） (2021-01-12T15:55:16Z)
Geometry Perspective Of Estimating Learning Capability Of Neural Networks [0.0]
本稿では,勾配勾配勾配を用いた最小二乗回帰(SGD)を一般化したニューラルネットワークの幅広いクラスについて考察する。一般化能力とニューラルネットワークの安定性との関係についても論じている。ニューラルネットワークの学習理論と高エネルギー物理の原理を関連付けることにより,人工ニューラルネットワークの観点からの複雑性・摩擦予想の変種を確立する。
論文参考訳（メタデータ） (2020-11-03T12:03:19Z)
Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文参考訳（メタデータ） (2020-07-02T17:55:47Z)
Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
論文参考訳（メタデータ） (2020-01-14T22:26:57Z)
Geometric deep learning for computational mechanics Part I: Anisotropic Hyperelasticity [1.8606313462183062]
本稿では, 幾何学的深層学習を用いた最初の試みであり, ソボレフトレーニングには非ユークリッドマイクロ構造データが含まれており, 異方性超構造体機械学習モデルを有限変形範囲でトレーニングすることができる。
論文参考訳（メタデータ） (2020-01-08T02:07:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。