論文の概要: Poincar\'e ResNet

• arxiv url: http://arxiv.org/abs/2303.14027v1
• Date: Fri, 24 Mar 2023 14:37:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-27 14:21:44.448685
• Title: Poincar\'e ResNet
• Title（参考訳）: Poincar\'e ResNet
• Authors: Max van Spengler, Erwin Berkhout, Pascal Mettes
• Abstract要約: 本稿では,双曲空間のポアンカー球モデルで完全に動作するエンドツーエンド残差ネットワークを提案する。 すべての視覚表現は、依然として標準ユークリッドネットワークを通して学習されている。
• 参考スコア（独自算出の注目度）: 14.077390476222659
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces an end-to-end residual network that operates entirely on the Poincar\'e ball model of hyperbolic space. Hyperbolic learning has recently shown great potential for visual understanding, but is currently only performed in the penultimate layer(s) of deep networks. All visual representations are still learned through standard Euclidean networks. In this paper we investigate how to learn hyperbolic representations of visual data directly from the pixel-level. We propose Poincar\'e ResNet, a hyperbolic counterpart of the celebrated residual network, starting from Poincar\'e 2D convolutions up to Poincar\'e residual connections. We identify three roadblocks for training convolutional networks entirely in hyperbolic space and propose a solution for each: (i) Current hyperbolic network initializations collapse to the origin, limiting their applicability in deeper networks. We provide an identity-based initialization that preserves norms over many layers. (ii) Residual networks rely heavily on batch normalization, which comes with expensive Fr\'echet mean calculations in hyperbolic space. We introduce Poincar\'e midpoint batch normalization as a faster and equally effective alternative. (iii) Due to the many intermediate operations in Poincar\'e layers, we lastly find that the computation graphs of deep learning libraries blow up, limiting our ability to train on deep hyperbolic networks. We provide manual backward derivations of core hyperbolic operations to maintain manageable computation graphs.
• Abstract（参考訳）: 本稿では,双曲空間のPoincar\'e球モデルで完全に動作するエンドツーエンド残差ネットワークを提案する。 双曲学習は近年、視覚的理解に大きな可能性を示しているが、現在はディープネットワークの最後尾層でのみ実施されている。 すべての視覚的表現は、標準ユークリッドネットワークを通じて学習される。 本稿では,視覚データの双曲表現をピクセルレベルから直接学習する方法を検討する。 我々は,Poincar\'e 2Dコンボリューションから,Poincar\'e残コネクションまで,有名な残留ネットワークの双曲的対向であるPoincar\'e ResNetを提案する。 畳み込みネットワークを完全に双曲空間で訓練するための3つの障害を特定し,それぞれに解を提案する。 (i)現在の双曲的ネットワークの初期化は原点に崩壊し、より深いネットワークでの適用性が制限される。 多くの層にまたがって標準を保存するアイデンティティベースの初期化を提供する。 (II)残差ネットワークは高額なFr'echet平均計算を双曲空間で行うバッチ正規化に大きく依存する。 poincar\'e 中間点バッチ正規化を高速かつ均等に有効な代替として導入する。 3) Poincar\'e 層における多くの中間処理により,ディープラーニングライブラリの計算グラフが爆発的に爆発し,深層双曲ネットワークのトレーニング能力が制限されることがわかった。 我々は、管理可能な計算グラフを維持するために、コア双曲演算を手動で逆向きに導出する。

関連論文リスト

• Deep Loss Convexification for Learning Iterative Models [11.36644967267829]
  点雲登録のための反復的最近点(ICP)のような反復的手法は、しばしば悪い局所最適性に悩まされる。 我々は,各地真実の周囲に凸景観を形成する学習を提案する。
  論文  参考訳（メタデータ） (2024-11-16T01:13:04Z)
• (PASS) Visual Prompt Locates Good Structure Sparsity through a Recurrent HyperNetwork [60.889175951038496]
  大規模ニューラルネットワークは、視覚や言語処理など、さまざまな領域で顕著なパフォーマンスを示している。 構造的刈り込みの鍵となる問題のひとつは、チャネルの意義を見積もる方法である。 我々は,新しいアルゴリズムフレームワーク,すなわち textttPASS を提案する。 視覚的プロンプトとネットワーク重み統計の両方を入力とし、繰り返し的に層ワイドチャネル間隔を出力するように調整されたハイパーネットワークである。
  論文  参考訳（メタデータ） (2024-07-24T16:47:45Z)
• Globally Gated Deep Linear Networks [3.04585143845864]
  我々はGGDLN(Globally Gated Deep Linear Networks)を導入する。 有限幅熱力学極限におけるこれらのネットワークの一般化特性の正確な方程式を導出する。 我々の研究は、有限幅の非線形ネットワークの族における学習に関する最初の正確な理論解である。
  論文  参考訳（メタデータ） (2022-10-31T16:21:56Z)
• GraphCSPN: Geometry-Aware Depth Completion via Dynamic GCNs [49.55919802779889]
  本稿では,グラフ畳み込みに基づく空間伝搬ネットワーク(GraphCSPN)を提案する。 本研究では、幾何学的表現学習において、畳み込みニューラルネットワークとグラフニューラルネットワークを相補的に活用する。 提案手法は,数段の伝搬ステップのみを使用する場合と比較して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-10-19T17:56:03Z)
• A Unification Framework for Euclidean and Hyperbolic Graph Neural Networks [8.080621697426997]
  ハイパーボリックニューラルネットワークは、グラフデータセット固有の階層を効果的にキャプチャする。 層内の複数の非連続(ジャイロ-)ベクトル空間を絡み合わせることで、一般化と拡張性の観点から制限される。 検索空間としてPoincareディスクモデルを提案し,ディスク上にすべての近似を適用する。 我々のモデルは、解釈可能性や様々なモデルコンポーネントの効率的な実行といったユークリッドネットワークのパワーを利用するだけでなく、様々なベンチマークにおいてユークリッドと双曲の双方よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-09T05:33:02Z)
• Fully Hyperbolic Neural Networks [63.22521652077353]
  ローレンツモデルに基づく双曲型ネットワークを構築するための,完全双曲型フレームワークを提案する。 提案手法は,浅層ネットワークと深層ネットワークの両方を構築する上で,優れた性能を示す。
  論文  参考訳（メタデータ） (2021-05-31T03:36:49Z)
• Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
  動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。 ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
  論文  参考訳（メタデータ） (2020-10-02T16:50:26Z)
• An Improved Dilated Convolutional Network for Herd Counting in Crowded Scenes [1.7358040670413502]
  本稿では,2つの双方向畳み込み型ディープラーニングアーキテクチャからなる正確なモニタリングシステムを提案する。 提案モデルでは,最先端手法よりも30%高速に収束することが示されている。 上海データセットに適用すると、平均絶対誤差(MAE)が20%低い。
  論文  参考訳（メタデータ） (2020-08-17T12:31:10Z)
• Doubly infinite residual neural networks: a diffusion process approach [8.642603456626393]
  ディープResNetは望ましくないフォワードプロパゲーション特性に悩まされないことを示す。 我々は2つの無限完全接続 ResNet に焦点を当て、i.i.d を考える。 我々の結果は、未スケールのネットワークのパラメータが i.d. であり、残余ブロックが浅い場合、ResNetの2倍の表現力に制限があることを示している。
  論文  参考訳（メタデータ） (2020-07-07T07:45:34Z)
• ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
  簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。 本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
  論文  参考訳（メタデータ） (2020-06-28T23:09:27Z)
• Differentiating through the Fr\'echet Mean [51.32291896926807]
  フレット平均(Fr'echet mean)はユークリッド平均の一般化である。 任意のリーマン多様体に対して Fr'echet 平均を微分する方法を示す。 これにより、Fr'echet平均を双曲型ニューラルネットワークパイプラインに完全に統合する。
  論文  参考訳（メタデータ） (2020-02-29T19:49:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。