論文の概要: Geometric Inductive Biases of Deep Networks: The Role of Data and Architecture

• arxiv url: http://arxiv.org/abs/2410.12025v2
• Date: Sun, 02 Mar 2025 12:20:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-04 13:04:34.056820
• Title: Geometric Inductive Biases of Deep Networks: The Role of Data and Architecture
• Title（参考訳）: 深層ネットワークの幾何学的帰納的バイアス:データとアーキテクチャの役割
• Authors: Sajad Movahedi, Antonio Orvieto, Seyed-Mohsen Moosavi-Dezfooli,
• Abstract要約: ニューラルネットワークの入力空間曲率が不変であることを示す。 また,GIHの結果を観察するための実験結果も提示した。
• 参考スコア（独自算出の注目度）: 22.225213114532533
• License:
• Abstract: In this paper, we propose the $\textit{geometric invariance hypothesis (GIH)}$, which argues that the input space curvature of a neural network remains invariant under transformation in certain architecture-dependent directions during training. We investigate a simple, non-linear binary classification problem residing on a plane in a high dimensional space and observe that$\unicode{x2014}$unlike MPLs$\unicode{x2014}$ResNets fail to generalize depending on the orientation of the plane. Motivated by this example, we define a neural network's $\textbf{average geometry}$ and $\textbf{average geometry evolution}$ as compact $\textit{architecture-dependent}$ summaries of the model's input-output geometry and its evolution during training. By investigating the average geometry evolution at initialization, we discover that the geometry of a neural network evolves according to the data covariance projected onto its average geometry. This means that the geometry only changes in a subset of the input space when the average geometry is low-rank, such as in ResNets. This causes an architecture-dependent invariance property in the input space curvature, which we dub GIH. Finally, we present extensive experimental results to observe the consequences of GIH and how it relates to generalization in neural networks.
• Abstract（参考訳）: 本稿では、ニューラルネットワークの入力空間曲率が、トレーニング中の特定のアーキテクチャ依存方向の変換の下で不変であると主張する、$\textit{geometric invariance hypothesis (GIH)}$を提案する。 高次元空間の平面上に存在する単純で非線形な二項分類問題を調べ、MPLs$\unicode{x2014}$unlike MPLs$\unicode{x2014}$ResNetsが平面の向きによって一般化できないことを観察する。 この例によって動機付けられたニューラルネットワークの$\textbf{average geometry}$と$\textbf{average geometry evolution}$をコンパクトな$\textit{architecture-dependent}$モデルの入力出力幾何学とそのトレーニング中の進化の要約として定義する。 初期化時の平均幾何進化を調べることで、ニューラルネットワークの幾何はその平均幾何上に投影されるデータ共分散に従って進化することがわかった。 これは、平均幾何学がResNetsのような低ランクであるときのみ、入力空間のサブセットで幾何学が変化することを意味する。 これにより、入力空間曲率におけるアーキテクチャ依存の不変性が生じ、GIH をダブする。 最後に、GIHの結果と、それがニューラルネットワークの一般化とどのように関連しているかを観察するために、広範な実験結果を示す。

関連論文リスト

• Deep Learning as Ricci Flow [38.27936710747996]
  ディープニューラルネットワーク(DNN)は、複雑なデータの分布を近似する強力なツールである。 分類タスク中のDNNによる変換は、ハミルトンのリッチ流下で期待されるものと類似していることを示す。 本研究の成果は, 微分幾何学や離散幾何学から, 深層学習における説明可能性の問題まで, ツールの利用を動機づけるものである。
  論文  参考訳（メタデータ） (2024-04-22T15:12:47Z)
• A Hitchhiker's Guide to Geometric GNNs for 3D Atomic Systems [87.30652640973317]
  原子系の計算モデリングの最近の進歩は、これらを3次元ユークリッド空間のノードとして埋め込まれた原子を含む幾何学的グラフとして表現している。 Geometric Graph Neural Networksは、タンパク質構造予測から分子シミュレーション、物質生成まで、幅広い応用を駆動する機械学習アーキテクチャとして好まれている。 本稿では,3次元原子システムのための幾何学的GNNの分野について,包括的で自己完結した概要を述べる。
  論文  参考訳（メタデータ） (2023-12-12T18:44:19Z)
• From Complexity to Clarity: Analytical Expressions of Deep Neural Network Weights via Clifford's Geometric Algebra and Convexity [54.01594785269913]
  我々は,標準正規化損失のトレーニングにおいて,深部ReLUニューラルネットワークの最適重みがトレーニングサンプルのウェッジ積によって与えられることを示した。 トレーニング問題は、トレーニングデータセットの幾何学的構造をエンコードするウェッジ製品機能よりも凸最適化に還元される。
  論文  参考訳（メタデータ） (2023-09-28T15:19:30Z)
• Towards General-Purpose Representation Learning of Polygonal Geometries [62.34832826705641]
  我々は,多角形形状を埋め込み空間に符号化できる汎用多角形符号化モデルを開発した。 1)MNISTに基づく形状分類,2)DBSR-46KとDBSR-cplx46Kという2つの新しいデータセットに基づく空間関係予測を行う。 以上の結果から,NUFTspec と ResNet1D は,既存のベースラインよりも有意なマージンで優れていた。
  論文  参考訳（メタデータ） (2022-09-29T15:59:23Z)
• Plane Geometry Diagram Parsing [29.921409628478152]
  深層学習とグラフ推論に基づく強力な図式を提案する。 幾何学的プリミティブを抽出する修正インスタンスセグメンテーション法を提案する。 グラフニューラルネットワーク(GNN)を利用して、関係解析と原始分類を実現する。
  論文  参考訳（メタデータ） (2022-05-19T07:47:01Z)
• Revisiting Transformation Invariant Geometric Deep Learning: Are Initial Representations All You Need? [80.86819657126041]
  変換不変および距離保存初期表現は変換不変性を達成するのに十分であることを示す。 具体的には、多次元スケーリングを変更することで、変換不変かつ距離保存された初期点表現を実現する。 我々は、TinvNNが変換不変性を厳密に保証し、既存のニューラルネットワークと組み合わせられるほど汎用的で柔軟なことを証明した。
  論文  参考訳（メタデータ） (2021-12-23T03:52:33Z)
• A singular Riemannian geometry approach to Deep Neural Networks II. Reconstruction of 1-D equivalence classes [78.120734120667]
  入力空間における出力多様体内の点の事前像を構築する。 我々は、n-次元実空間から(n-1)-次元実空間へのニューラルネットワークマップの場合の簡易性に焦点をあてる。
  論文  参考訳（メタデータ） (2021-12-17T11:47:45Z)
• PUGeo-Net: A Geometry-centric Network for 3D Point Cloud Upsampling [103.09504572409449]
  PUGeo-Netと呼ばれる新しいディープニューラルネットワークを用いた一様高密度点雲を生成する手法を提案する。 その幾何学中心の性質のおかげで、PUGeo-Netはシャープな特徴を持つCADモデルとリッチな幾何学的詳細を持つスキャンされたモデルの両方でうまく機能する。
  論文  参考訳（メタデータ） (2020-02-24T14:13:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。