論文の概要: Geometric Inductive Biases of Deep Networks: The Role of Data and Architecture

• arxiv url: http://arxiv.org/abs/2410.12025v1
• Date: Tue, 15 Oct 2024 19:46:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:41:48.841159
• Title: Geometric Inductive Biases of Deep Networks: The Role of Data and Architecture
• Title（参考訳）: 深層ネットワークの幾何学的帰納的バイアス:データとアーキテクチャの役割
• Authors: Sajad Movahedi, Antonio Orvieto, Seyed-Mohsen Moosavi-Dezfooli,
• Abstract要約: ニューラルネットワークをトレーニングする場合、入力空間の曲率はそのアーキテクチャによって決定される変換の下で不変である。 平均幾何が低ランクである場合(例えばResNetの場合)、幾何学は入力空間の部分集合にのみ変化する。
• 参考スコア（独自算出の注目度）: 22.225213114532533
• License:
• Abstract: In this paper, we propose the $\textit{geometric invariance hypothesis (GIH)}$, which argues that when training a neural network, the input space curvature remains invariant under transformation in certain directions determined by its architecture. Starting with a simple non-linear binary classification problem residing on a plane in a high dimensional space, we observe that while an MLP can solve this problem regardless of the orientation of the plane, this is not the case for a ResNet. Motivated by this example, we define two maps that provide a compact $\textit{architecture-dependent}$ summary of the input space geometry of a neural network and its evolution during training, which we dub the $\textbf{average geometry}$ and $\textbf{average geometry evolution}$, respectively. By investigating average geometry evolution at initialization, we discover that the geometry of a neural network evolves according to the projection of data covariance onto average geometry. As a result, in cases where the average geometry is low-rank (such as in a ResNet), the geometry only changes in a subset of the input space. This causes an architecture-dependent invariance property in input-space curvature, which we dub GIH. Finally, we present extensive experimental results to observe the consequences of GIH and how it relates to generalization in neural networks.
• Abstract（参考訳）: 本稿では、ニューラルネットワークをトレーニングする際、入力空間曲率はそのアーキテクチャによって決定される特定の方向の変換の下で不変であると主張する、$\textit{geometric invariance hypothesis (GIH)}$を提案する。 高次元空間の平面上に存在する単純な非線形二元分類問題から始めると、MLPは平面の向きに関係なくこの問題を解くことができるが、ResNetではそうではない。 この例により、我々は、コンパクトな $\textit{architecture-dependent}$ ニューラルネットワークの入力空間幾何学とそのトレーニング中の進化の要約を提供する2つの写像を定義し、それぞれ $\textbf{average geometry}$ と $\textbf{average geometry evolution}$ をダブする。 初期化時の平均幾何進化を調べることで、平均幾何へのデータ共分散の投影に従って、ニューラルネットワークの幾何が進化することを発見する。 その結果、平均幾何学が低ランクである場合(ResNetなど)、幾何学は入力空間の部分集合でのみ変化する。 これにより、入力空間曲率におけるアーキテクチャ依存の不変性が生じ、GIH をダブする。 最後に、GIHの結果と、それがニューラルネットワークの一般化とどのように関連しているかを観察するために、広範な実験結果を示す。

関連論文リスト

• Deep Learning as Ricci Flow [38.27936710747996]
  ディープニューラルネットワーク(DNN)は、複雑なデータの分布を近似する強力なツールである。 分類タスク中のDNNによる変換は、ハミルトンのリッチ流下で期待されるものと類似していることを示す。 本研究の成果は, 微分幾何学や離散幾何学から, 深層学習における説明可能性の問題まで, ツールの利用を動機づけるものである。
  論文  参考訳（メタデータ） (2024-04-22T15:12:47Z)
• A Hitchhiker's Guide to Geometric GNNs for 3D Atomic Systems [87.30652640973317]
  原子系の計算モデリングの最近の進歩は、これらを3次元ユークリッド空間のノードとして埋め込まれた原子を含む幾何学的グラフとして表現している。 Geometric Graph Neural Networksは、タンパク質構造予測から分子シミュレーション、物質生成まで、幅広い応用を駆動する機械学習アーキテクチャとして好まれている。 本稿では,3次元原子システムのための幾何学的GNNの分野について,包括的で自己完結した概要を述べる。
  論文  参考訳（メタデータ） (2023-12-12T18:44:19Z)
• From Complexity to Clarity: Analytical Expressions of Deep Neural Network Weights via Clifford's Geometric Algebra and Convexity [54.01594785269913]
  我々は,標準正規化損失のトレーニングにおいて,深部ReLUニューラルネットワークの最適重みがトレーニングサンプルのウェッジ積によって与えられることを示した。 トレーニング問題は、トレーニングデータセットの幾何学的構造をエンコードするウェッジ製品機能よりも凸最適化に還元される。
  論文  参考訳（メタデータ） (2023-09-28T15:19:30Z)
• Towards General-Purpose Representation Learning of Polygonal Geometries [62.34832826705641]
  我々は,多角形形状を埋め込み空間に符号化できる汎用多角形符号化モデルを開発した。 1)MNISTに基づく形状分類,2)DBSR-46KとDBSR-cplx46Kという2つの新しいデータセットに基づく空間関係予測を行う。 以上の結果から,NUFTspec と ResNet1D は,既存のベースラインよりも有意なマージンで優れていた。
  論文  参考訳（メタデータ） (2022-09-29T15:59:23Z)
• Plane Geometry Diagram Parsing [29.921409628478152]
  深層学習とグラフ推論に基づく強力な図式を提案する。 幾何学的プリミティブを抽出する修正インスタンスセグメンテーション法を提案する。 グラフニューラルネットワーク(GNN)を利用して、関係解析と原始分類を実現する。
  論文  参考訳（メタデータ） (2022-05-19T07:47:01Z)
• Revisiting Transformation Invariant Geometric Deep Learning: Are Initial Representations All You Need? [80.86819657126041]
  変換不変および距離保存初期表現は変換不変性を達成するのに十分であることを示す。 具体的には、多次元スケーリングを変更することで、変換不変かつ距離保存された初期点表現を実現する。 我々は、TinvNNが変換不変性を厳密に保証し、既存のニューラルネットワークと組み合わせられるほど汎用的で柔軟なことを証明した。
  論文  参考訳（メタデータ） (2021-12-23T03:52:33Z)
• A singular Riemannian geometry approach to Deep Neural Networks II. Reconstruction of 1-D equivalence classes [78.120734120667]
  入力空間における出力多様体内の点の事前像を構築する。 我々は、n-次元実空間から(n-1)-次元実空間へのニューラルネットワークマップの場合の簡易性に焦点をあてる。
  論文  参考訳（メタデータ） (2021-12-17T11:47:45Z)
• PUGeo-Net: A Geometry-centric Network for 3D Point Cloud Upsampling [103.09504572409449]
  PUGeo-Netと呼ばれる新しいディープニューラルネットワークを用いた一様高密度点雲を生成する手法を提案する。 その幾何学中心の性質のおかげで、PUGeo-Netはシャープな特徴を持つCADモデルとリッチな幾何学的詳細を持つスキャンされたモデルの両方でうまく機能する。
  論文  参考訳（メタデータ） (2020-02-24T14:13:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。