論文の概要: Hyperbolic Deep Neural Networks: A Survey
- arxiv url: http://arxiv.org/abs/2101.04562v3
- Date: Wed, 17 Feb 2021 14:59:23 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-04 01:50:51.965564
- Title: Hyperbolic Deep Neural Networks: A Survey
- Title(参考訳): 双曲型ディープニューラルネットワーク:調査
- Authors: Wei Peng, Tuomas Varanka, Abdelrahman Mostafa, Henglin Shi, Guoying
Zhao
- Abstract要約: 本論文では,このモデルを双曲型ディープニューラルネットワークと呼んでいる。
本論文では,ハイパーボリック深層ニューラルネットワークの構築における神経成分に関する文献の一貫性と総合的検討について述べる。
- 参考スコア(独自算出の注目度): 31.04110049167551
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Recently, there has been a rising surge of momentum for deep representation
learning in hyperbolic spaces due to theirhigh capacity of modeling data like
knowledge graphs or synonym hierarchies, possessing hierarchical structure. We
refer to the model as hyperbolic deep neural network in this paper. Such a
hyperbolic neural architecture potentially leads to drastically compact model
withmuch more physical interpretability than its counterpart in Euclidean
space. To stimulate future research, this paper presents acoherent and
comprehensive review of the literature around the neural components in the
construction of hyperbolic deep neuralnetworks, as well as the generalization
of the leading deep approaches to the Hyperbolic space. It also presents
current applicationsaround various machine learning tasks on several publicly
available datasets, together with insightful observations and identifying
openquestions and promising future directions.
- Abstract(参考訳): 近年,知識グラフや同義語階層などのデータモデリング能力が高く,階層構造を持つため,双曲空間における深層表現学習の勢いが高まっている。
本稿では,このモデルを双曲型深層ニューラルネットワークと呼ぶ。
このような双曲型ニューラルアーキテクチャは、ユークリッド空間のそれと同等の物理的解釈可能性を持つ劇的にコンパクトなモデルをもたらす可能性がある。
本稿では,双曲型ディープ・ニューラルネット構築における神経成分に関する文献と,双曲型ディープ・ニューラルネット構築における主要なディープ・アプローチの一般化を包括的かつ包括的に検討する。
また、いくつかの公開データセット上でのさまざまな機械学習タスクに関する現在のアプリケーションや、洞察に富んだ観察、オープンクエストの特定、将来有望な方向性も提示する。
関連論文リスト
- Automated Natural Language Explanation of Deep Visual Neurons with Large
Models [43.178568768100305]
本稿では,大きな基礎モデルを持つニューロンの意味的説明を生成するための,新しいポストホックフレームワークを提案する。
我々のフレームワークは、様々なモデルアーキテクチャやデータセット、自動化されたスケーラブルなニューロン解釈と互換性があるように設計されています。
論文 参考訳(メタデータ) (2023-10-16T17:04:51Z) - Topology and geometry of data manifold in deep learning [0.0]
本稿では,ニューラルネットワークの学習過程の幾何学的および位相的視点について述べる。
我々は、さまざまなデータセットと畳み込みニューラルネットワークアーキテクチャの異なる構成に関する幅広い実験を提示する。
我々の研究は、コンピュータビジョンの例を通して、説明可能な、解釈可能なAIの重要な分野の発展に寄与している。
論文 参考訳(メタデータ) (2022-04-19T02:57:47Z) - Hyperbolic Graph Neural Networks: A Review of Methods and Applications [55.5502008501764]
グラフニューラルネットワークは、従来のニューラルネットワークをグラフ構造化データに一般化する。
グラフ関連学習におけるユークリッドモデルの性能は、ユークリッド幾何学の表現能力によって依然として制限されている。
近年,木のような構造を持つグラフデータ処理や,ゆるい分布の処理において,双曲空間が人気が高まっている。
論文 参考訳(メタデータ) (2022-02-28T15:08:48Z) - Neural Architecture Search for Dense Prediction Tasks in Computer Vision [74.9839082859151]
ディープラーニングは、ニューラルネットワークアーキテクチャエンジニアリングに対する需要の高まりにつながっている。
ニューラルネットワーク検索(NAS)は、手動ではなく、データ駆動方式でニューラルネットワークアーキテクチャを自動設計することを目的としている。
NASはコンピュータビジョンの幅広い問題に適用されている。
論文 参考訳(メタデータ) (2022-02-15T08:06:50Z) - Creating Powerful and Interpretable Models withRegression Networks [2.2049183478692584]
本稿では,ニューラルネットワークのパワーと回帰分析の可視性を組み合わせた新しいアーキテクチャRegression Networksを提案する。
これらのモデルが,いくつかのベンチマークデータセット上での解釈可能なモデルの最先端性能を上回ることを実証する。
論文 参考訳(メタデータ) (2021-07-30T03:37:00Z) - Fully Hyperbolic Neural Networks [63.22521652077353]
ローレンツモデルに基づく双曲型ネットワークを構築するための,完全双曲型フレームワークを提案する。
提案手法は,浅層ネットワークと深層ネットワークの両方を構築する上で,優れた性能を示す。
論文 参考訳(メタデータ) (2021-05-31T03:36:49Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳(メタデータ) (2021-04-29T14:31:09Z) - Learning Contact Dynamics using Physically Structured Neural Networks [81.73947303886753]
ディープニューラルネットワークと微分方程式の接続を用いて、オブジェクト間の接触ダイナミクスを表現するディープネットワークアーキテクチャのファミリを設計する。
これらのネットワークは,ノイズ観測から不連続な接触事象をデータ効率良く学習できることを示す。
以上の結果から,タッチフィードバックの理想化形態は,この学習課題を扱いやすくするための重要な要素であることが示唆された。
論文 参考訳(メタデータ) (2021-02-22T17:33:51Z) - Hyperbolic Neural Networks++ [66.16106727715061]
ニューラルネットワークの基本成分を1つの双曲幾何モデル、すなわちポアンカーの球モデルで一般化する。
実験により, 従来の双曲成分と比較してパラメータ効率が優れ, ユークリッド成分よりも安定性と性能が優れていた。
論文 参考訳(メタデータ) (2020-06-15T08:23:20Z) - An Overview of Neural Network Compression [2.550900579709111]
近年、モデル圧縮技術、特に深層畳み込みニューラルネットワークやTransformerのような自己注意型ネットワークの復活が進んでいる。
本稿では, プルーニング, 量子化, テンソル分解, 知識蒸留, それらの組み合わせを含む, ディープニューラルネットワークの古い圧縮技術と現在の圧縮技術について, タイムリーに概説する。
論文 参考訳(メタデータ) (2020-06-05T20:28:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。