論文の概要: Hyperbolic Convolutional Neural Networks
- arxiv url: http://arxiv.org/abs/2308.15639v1
- Date: Tue, 29 Aug 2023 21:20:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-31 15:22:54.729466
- Title: Hyperbolic Convolutional Neural Networks
- Title（参考訳）: 双曲畳み込みニューラルネットワーク
- Authors: Andrii Skliar, Maurice Weiler
- Abstract要約: データを埋め込みするために非ユークリッド空間を使用すると、より堅牢で説明可能なモデルが得られる。
我々は、データ内の階層をキャプチャする双曲空間の能力は、より良いパフォーマンスをもたらすと仮定する。
- 参考スコア（独自算出の注目度）: 14.35618845900589
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep Learning is mostly responsible for the surge of interest in Artificial
Intelligence in the last decade. So far, deep learning researchers have been
particularly successful in the domain of image processing, where Convolutional
Neural Networks are used. Although excelling at image classification,
Convolutional Neural Networks are quite naive in that no inductive bias is set
on the embedding space for images. Similar flaws are also exhibited by another
type of Convolutional Networks - Graph Convolutional Neural Networks. However,
using non-Euclidean space for embedding data might result in more robust and
explainable models. One example of such a non-Euclidean space is hyperbolic
space. Hyperbolic spaces are particularly useful due to their ability to fit
more data in a low-dimensional space and tree-likeliness properties. These
attractive properties have been previously used in multiple papers which
indicated that they are beneficial for building hierarchical embeddings using
shallow models and, recently, using MLPs and RNNs.
However, no papers have yet suggested a general approach to using Hyperbolic
Convolutional Neural Networks for structured data processing, although these
are the most common examples of data used. Therefore, the goal of this work is
to devise a general recipe for building Hyperbolic Convolutional Neural
Networks. We hypothesize that ability of hyperbolic space to capture hierarchy
in the data would lead to better performance. This ability should be
particularly useful in cases where data has a tree-like structure. Since this
is the case for many existing datasets \citep{wordnet, imagenet, fb15k}, we
argue that such a model would be advantageous both in terms of applications and
future research prospects.
- Abstract（参考訳）: ディープラーニングは、この10年で人工知能への関心の高まりの原因となっている。
これまでのところ、畳み込みニューラルネットワークが使用される画像処理の分野では、ディープラーニング研究者が特に成功している。
画像分類に長けているが、畳み込みニューラルネットワークは、画像の埋め込み空間に誘導バイアスが設定されないという点で極めて単純である。
同様の欠陥は、別のタイプの畳み込みニューラルネットワーク(Graph Convolutional Neural Networks)によっても示される。
しかし、データ埋め込みに非ユークリッド空間を用いると、より堅牢で説明可能なモデルが得られる。
そのような非ユークリッド空間の例は双曲空間である。
双曲空間は、低次元空間により多くのデータが収まる能力と木に類似した性質のため、特に有用である。
これらの魅力的な性質は、より浅いモデルを用いて階層的な埋め込みを構築するのに有用であることを示す複数の論文や、近年ではMLPやRNNを用いている。
しかし、ハイパーボリック畳み込みニューラルネットワークを構造化データ処理に利用する一般的なアプローチはまだ提案されていないが、これらは最も一般的なデータの例である。
したがって、この研究の目的は、双曲畳み込みニューラルネットワークを構築するための一般的なレシピを考案することである。
我々は、データ内の階層をキャプチャする双曲空間の能力がより良いパフォーマンスをもたらすと仮定する。
この機能は、データにツリーのような構造がある場合に特に有用である。
これは、既存のデータセット \citep{wordnet, imagenet, fb15k} に当てはまるため、そのようなモデルが応用と将来の研究の両面で有利であると主張する。
関連論文リスト
- On the Universal Statistical Consistency of Expansive Hyperbolic Deep Convolutional Neural Networks [14.904264782690639]
本稿では,Poincar'e Discに基づくHyperbolic DCNNを提案する。
双曲空間における拡張的畳み込みの普遍的一貫性に関する広範な理論的洞察を提供する。
結果、双曲的畳み込み構造はユークリッド構造よりも可換なマージンで優れていることが明らかとなった。
論文 参考訳（メタデータ） (2024-11-15T12:01:03Z) - Riemannian Residual Neural Networks [58.925132597945634]
残余ニューラルネットワーク(ResNet)の拡張方法を示す。
ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
論文 参考訳（メタデータ） (2023-10-16T02:12:32Z) - Dynamical systems' based neural networks [0.7874708385247353]
我々は、適切な、構造保存、数値的な時間分散を用いてニューラルネットワークを構築する。
ニューラルネットワークの構造は、ODEベクトル場の特性から推定される。
2つの普遍近似結果を示し、ニューラルネットワークに特定の特性を課す方法を示す。
論文 参考訳（メタデータ） (2022-10-05T16:30:35Z) - Convolutional Neural Networks on Manifolds: From Graphs and Back [122.06927400759021]
本稿では,多様体畳み込みフィルタと点次非線形性からなる多様体ニューラルネットワーク(MNN)を提案する。
要約すると、我々は大きなグラフの極限として多様体モデルに焦点を合わせ、MNNを構築するが、それでもMNNの離散化によってグラフニューラルネットワークを復活させることができる。
論文 参考訳（メタデータ） (2022-10-01T21:17:39Z) - Transfer Learning with Deep Tabular Models [66.67017691983182]
上流データにより、グラフニューラルネットワークはGBDTモデルよりも決定的な優位性を示す。
そこで本研究では,表在化学習のための現実的な診断ベンチマークを提案する。
上流と下流の特徴セットが異なる場合の擬似特徴法を提案する。
論文 参考訳（メタデータ） (2022-06-30T14:24:32Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳（メタデータ） (2021-10-12T23:22:45Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳（メタデータ） (2021-07-31T10:25:26Z) - Deep Polynomial Neural Networks [77.70761658507507]
$Pi$Netsは拡張に基づいた関数近似の新しいクラスである。
$Pi$Netsは、画像生成、顔検証、および3Dメッシュ表現学習という3つの困難なタスクで、最先端の結果を生成する。
論文 参考訳（メタデータ） (2020-06-20T16:23:32Z) - An Overview of Neural Network Compression [2.550900579709111]
近年、モデル圧縮技術、特に深層畳み込みニューラルネットワークやTransformerのような自己注意型ネットワークの復活が進んでいる。
本稿では, プルーニング, 量子化, テンソル分解, 知識蒸留, それらの組み合わせを含む, ディープニューラルネットワークの古い圧縮技術と現在の圧縮技術について, タイムリーに概説する。
論文 参考訳（メタデータ） (2020-06-05T20:28:56Z) - Localized convolutional neural networks for geospatial wind forecasting [0.0]
畳み込みニューラルネットワーク(CNN)は多くの空間データに関して正の特性を有する。
本研究では,CNNがグローバルな特徴に加えて,局所的な特徴を学習することのできる局所畳み込みニューラルネットワークを提案する。
どのような畳み込みレイヤにも追加可能で、簡単にエンドツーエンドのトレーニングが可能で、最小限の複雑さを導入でき、CNNは必要な範囲でそのメリットの大部分を維持できる。
論文 参考訳（メタデータ） (2020-05-12T17:14:49Z) - A Convolutional Neural Network into graph space [5.6326241162252755]
本稿では,グラフ空間に直接定義した新しい畳み込みニューラルネットワークアーキテクチャを提案する。
我々はそのユーザビリティをバックプロパゲーションの文脈で示す。
グラフ領域の変化と他のユークリッドおよび非ユークリッドの畳み込みアーキテクチャの改善に関して堅牢性を示す。
論文 参考訳（メタデータ） (2020-02-20T15:14:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。