論文の概要: On the Locality of the Natural Gradient for Deep Learning
- arxiv url: http://arxiv.org/abs/2005.10791v1
- Date: Thu, 21 May 2020 17:17:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-30 22:54:53.774396
- Title: On the Locality of the Natural Gradient for Deep Learning
- Title（参考訳）: 深層学習における自然勾配の局所性について
- Authors: Nihat Ay
- Abstract要約: ニューラルネットワークを含むディープベイズネットワークにおける学習の自然な勾配法について検討する。
自然勾配の2つのバージョンの関係を研究するための理論を開発する。
本手法は,深層ネットワークにおける自然勾配法を効率的に適用するための補助モデルとして認識モデルを組み込むことを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the natural gradient method for learning in deep Bayesian networks,
including neural networks. There are two natural geometries associated with
such learning systems consisting of visible and hidden units. One geometry is
related to the full system, the other one to the visible sub-system. These two
geometries imply different natural gradients. In a first step, we demonstrate a
great simplification of the natural gradient with respect to the first
geometry, due to locality properties of the Fisher information matrix. This
simplification does not directly translate to a corresponding simplification
with respect to the second geometry. We develop the theory for studying the
relation between the two versions of the natural gradient and outline a method
for the simplification of the natural gradient with respect to the second
geometry based on the first one. This method suggests to incorporate a
recognition model as an auxiliary model for the efficient application of the
natural gradient method in deep networks.
- Abstract（参考訳）: ニューラルネットワークを含む深ベイズネットワークにおける自然勾配学習法について検討した。
視界と隠れた単位からなる学習システムに関連付けられた2つの自然測地が存在する。
1つの幾何学は全体系、もう1つは可視部分系と関連している。
これら2つの測地は、自然勾配を暗示する。
第1のステップでは,フィッシャー情報行列の局所性により,第1の幾何学における自然勾配の単純化が図られる。
この単純化は、第2の幾何学に関して対応する単純化に直接は翻訳されない。
自然勾配の2つのバージョンの関係を研究するための理論を開発し、第1のモデルに基づく第2の幾何学に関する自然勾配の単純化方法の概要を述べる。
本手法は,深層ネットワークにおける自然勾配法の効率的な適用のための補助モデルとして認識モデルを組み込むことを提案する。
関連論文リスト
- Representation Learning of Geometric Trees [9.280083998326285]
幾何学木に適した表現学習フレームワークを提案する。
最初はユニークなメッセージパッシングニューラルネットワークを備えており、これは幾何的構造を復元可能であり、回転変換不変である。
提案手法の有効性を実世界の8つのデータセットで検証し,幾何学木を表現できることを実証した。
論文 参考訳（メタデータ） (2024-08-16T15:16:35Z) - Neural Geometry Processing via Spherical Neural Surfaces [29.30952578277242]
ニューラルサーフェス表現上でコア幾何学演算子を直接計算する方法を示す。
これらの演算子によって、ニューラル表現に直接作用する幾何学的処理ツールが作成できます。
我々は、(神経)スペクトル分析、熱流、平均曲率流におけるイラストラティブな応用を実証する。
論文 参考訳（メタデータ） (2024-07-10T15:28:02Z) - DeepBranchTracer: A Generally-Applicable Approach to Curvilinear
Structure Reconstruction Using Multi-Feature Learning [12.047523258256088]
本稿では,外部画像の特徴と内部幾何学的特徴の両方を学習し,曲線構造を再構築するDeepBranchTracerを紹介する。
既存のセグメンテーション法や再構成法よりも優れた性能を示すため,2次元データセットと3次元データセットの両方でモデルを広範囲に評価した。
論文 参考訳（メタデータ） (2024-02-02T07:13:07Z) - Unsupervised Multimodal Surface Registration with Geometric Deep
Learning [3.3403308469369577]
GeoMorphは、皮質表面の画像登録用に設計された新しい幾何学的深層学習フレームワークである。
よりスムーズな変形によるアライメントの改善により,GeoMorphは既存のディープラーニング手法よりも優れていることを示す。
このような汎用性と堅牢性は、様々な神経科学応用に強い可能性を示唆している。
論文 参考訳（メタデータ） (2023-11-21T22:05:00Z) - GraphCSPN: Geometry-Aware Depth Completion via Dynamic GCNs [49.55919802779889]
本稿では,グラフ畳み込みに基づく空間伝搬ネットワーク(GraphCSPN)を提案する。
本研究では、幾何学的表現学習において、畳み込みニューラルネットワークとグラフニューラルネットワークを相補的に活用する。
提案手法は,数段の伝搬ステップのみを使用する場合と比較して,最先端の性能を実現する。
論文 参考訳（メタデータ） (2022-10-19T17:56:03Z) - Optimization-Based Separations for Neural Networks [57.875347246373956]
本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。
これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
論文 参考訳（メタデータ） (2021-12-04T18:07:47Z) - Dist2Cycle: A Simplicial Neural Network for Homology Localization [66.15805004725809]
単純複体は多方向順序関係を明示的にエンコードするグラフの高次元一般化と見なすことができる。
単体錯体の$k$-homological特徴によってパラメータ化された関数のグラフ畳み込みモデルを提案する。
論文 参考訳（メタデータ） (2021-10-28T14:59:41Z) - Localized Persistent Homologies for more Effective Deep Learning [60.78456721890412]
ネットワークトレーニング中の位置を考慮に入れた新しいフィルタ機能を利用する手法を提案する。
この方法で訓練されたネットワークが抽出した曲線構造のトポロジを回復するのに役立つ道路の2次元画像と神経過程の3次元画像スタックを実験的に実証した。
論文 参考訳（メタデータ） (2021-10-12T19:28:39Z) - Emergence of Lie symmetries in functional architectures learned by CNNs [63.69764116066748]
本研究では,自然画像の学習において,畳み込みニューラルネットワーク(CNN)の初期層における対称性の自発的発達について検討する。
私たちのアーキテクチャは、生体視覚システムの初期段階を模倣するために構築されています。
論文 参考訳（メタデータ） (2021-04-17T13:23:26Z) - PUGeo-Net: A Geometry-centric Network for 3D Point Cloud Upsampling [103.09504572409449]
PUGeo-Netと呼ばれる新しいディープニューラルネットワークを用いた一様高密度点雲を生成する手法を提案する。
その幾何学中心の性質のおかげで、PUGeo-Netはシャープな特徴を持つCADモデルとリッチな幾何学的詳細を持つスキャンされたモデルの両方でうまく機能する。
論文 参考訳（メタデータ） (2020-02-24T14:13:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。