論文の概要: Recursive Self-Similarity in Deep Weight Spaces of Neural Architectures: A Fractal and Coarse Geometry Perspective

• arxiv url: http://arxiv.org/abs/2503.14298v1
• Date: Tue, 18 Mar 2025 14:41:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-19 14:16:37.774004
• Title: Recursive Self-Similarity in Deep Weight Spaces of Neural Architectures: A Fractal and Coarse Geometry Perspective
• Title（参考訳）: ニューラルネットワークの重み空間における再帰的自己相似性:フラクタルかつ粗い幾何学的視点
• Authors: Ambarish Moharil, Indika Kumara, Damian Andrew Tamburri, Majid Mohammadi, Willem-Jan van den Heuvel,
• Abstract要約: 本稿では,Deep Weight Spacesを,離散整数スケールで観測可能な階層的,フラクタル的,粗い幾何学構造として概念化する。 我々は、フラクタル変換と呼ばれる粗い群作用、$T_r_k $を導入し、対称性群 $G = (mathbbZ, +) $ の下で作用する。 この観点は、一般に物理的構造の階層的およびスケール関連幾何学を評価するために使用されるボックスカウント技術を採用する。
• 参考スコア（独自算出の注目度）: 2.9130383514140292
• License:
• Abstract: This paper conceptualizes the Deep Weight Spaces (DWS) of neural architectures as hierarchical, fractal-like, coarse geometric structures observable at discrete integer scales through recursive dilation. We introduce a coarse group action termed the fractal transformation, $T_{r_k} $, acting under the symmetry group $G = (\mathbb{Z}, +) $, to analyze neural parameter matrices or tensors, by segmenting the underlying discrete grid $\Omega$ into $N(r_k)$ fractals across varying observation scales $ r_k $. This perspective adopts a box count technique, commonly used to assess the hierarchical and scale-related geometry of physical structures, which has been extensively formalized under the topic of fractal geometry. We assess the structural complexity of neural layers by estimating the Hausdorff-Besicovitch dimension of their layers and evaluating a degree of self-similarity. The fractal transformation features key algebraic properties such as linearity, identity, and asymptotic invertibility, which is a signature of coarse structures. We show that the coarse group action exhibits a set of symmetries such as Discrete Scale Invariance (DSI) under recursive dilation, strong invariance followed by weak equivariance to permutations, alongside respecting the scaling equivariance of activation functions, defined by the intertwiner group relations. Our framework targets large-scale structural properties of DWS, deliberately overlooking minor inconsistencies to focus on significant geometric characteristics of neural networks. Experiments on CIFAR-10 using ResNet-18, VGG-16, and a custom CNN validate our approach, demonstrating effective fractal segmentation and structural analysis.
• Abstract（参考訳）: 本稿では,ニューラルアーキテクチャの重み空間(DWS)を,再帰的拡張を通じて離散整数スケールで観測可能な階層的,フラクタル的,粗い幾何学構造として概念化する。 フラクタル変換と呼ばれる粗い群作用である$T_{r_k} $を対称性群$G = (\mathbb{Z}, +) $で作用させ、下層の離散格子$\Omega$を様々な観測尺度$r_k$に分割することにより、神経パラメータ行列やテンソルを解析する。 この観点は、一般に、フラクタル幾何学のトピックの下で広く形式化された物理構造の階層的およびスケール関連幾何学を評価するために使用されるボックスカウント技術を採用する。 本研究では, ニューラル層の構造的複雑さを, ハウスドルフ・ベシコヴィッチ次元を推定し, 自己相似度を評価することによって評価する。 フラクタル変換は、線形性、恒等性、漸近的可逆性などの重要な代数的性質を特徴としており、これは粗い構造の符号である。 粗い群作用は、再帰的拡張の下で離散スケール不変度 (DSI) のような一連の対称性を示し、強い不変度が続き、置換に対する弱同値が続き、群間関係によって定義されるアクティベーション関数のスケーリング同値が尊重されることを示す。 我々のフレームワークはDWSの大規模構造特性を目標としており、ニューラルネットワークの幾何学的特徴に焦点をあてるため、意図的に小さな矛盾を見落としている。 ResNet-18, VGG-16, カスタムCNNを用いたCIFAR-10の実験により, フラクタル分割と構造解析の有効性が確認された。

関連論文リスト

• Relative Representations: Topological and Geometric Perspectives [53.88896255693922]
  相対表現はゼロショットモデルの縫合に対する確立されたアプローチである。 相対変換において正規化手順を導入し、非等方的再スケーリングや置換に不変となる。 第二に、クラス内のクラスタリングを促進するトポロジカル正規化損失である、微調整された相対表現におけるトポロジカルデシフィケーションの展開を提案する。
  論文  参考訳（メタデータ） (2024-09-17T08:09:22Z)
• Representing Topological Self-Similarity Using Fractal Feature Maps for Accurate Segmentation of Tubular Structures [12.038095281876071]
  本研究では,FDをピクセルレベルまで拡張することにより,フラクタル特徴を深層学習モデルに組み込む。 得られたフラクタル特徴写像(FFM)はモデルへの追加入力と損失関数の重み付けとして組み込まれる。 5つの管状構造データセットの実験は、我々のアプローチの有効性とロバスト性を検証する。
  論文  参考訳（メタデータ） (2024-07-20T05:22:59Z)
• Geometric Generative Models based on Morphological Equivariant PDEs and GANs [3.6498648388765513]
  群畳み込みニューラルネットワーク(G-CNN)のための等変偏微分方程式(PDE)に基づく幾何学的生成モデルを提案する。 提案手法は, PDE-G-CNNにおける形態的同変畳み込みを用いて, GM-GAN (Geological morphological GAN) を求める。 予備的な結果は、GM-GANモデルが古典的GANより優れていることを示している。
  論文  参考訳（メタデータ） (2024-03-22T01:02:09Z)
• Information-Theoretic Thresholds for Planted Dense Cycles [52.076657911275525]
  本研究では,社会科学や生物科学においてユビキタスな小世界ネットワークのランダムグラフモデルについて検討する。 植え込み高密度サイクルの検出と回復の両面において、情報理論の閾値を$n$, $tau$、エッジワイド信号対雑音比$lambda$で特徴づける。
  論文  参考訳（メタデータ） (2024-02-01T03:39:01Z)
• Affine Invariance in Continuous-Domain Convolutional Neural Networks [6.019182604573028]
  本研究では,連続領域畳み込みニューラルネットワークにおけるアフィン不変性について検討する。 アフィン変換における2つの入力信号の類似性を評価するための新しい基準を導入する。 私たちの研究は最終的には、実用的なディープラーニングパイプラインが扱える幾何学的変換の範囲を広げることができます。
  論文  参考訳（メタデータ） (2023-11-13T14:17:57Z)
• Geometric Clifford Algebra Networks [53.456211342585824]
  本稿では,動的システムのモデリングのためのGeometric Clifford Algebra Networks (GCANs)を提案する。 GCANは幾何学的(クリフォード)代数を用いた対称性群変換に基づいている。
  論文  参考訳（メタデータ） (2023-02-13T18:48:33Z)
• Deep Learning Symmetries and Their Lie Groups, Algebras, and Subalgebras from First Principles [55.41644538483948]
  ラベル付きデータセットに存在する連続した対称性群の検出と同定のためのディープラーニングアルゴリズムを設計する。 完全に接続されたニューラルネットワークを用いて、変換対称性と対応するジェネレータをモデル化する。 また,Lie群とその性質の数学的研究に機械学習アプローチを使うための扉を開く。
  論文  参考訳（メタデータ） (2023-01-13T16:25:25Z)
• Dist2Cycle: A Simplicial Neural Network for Homology Localization [66.15805004725809]
  単純複体は多方向順序関係を明示的にエンコードするグラフの高次元一般化と見なすことができる。 単体錯体の$k$-homological特徴によってパラメータ化された関数のグラフ畳み込みモデルを提案する。
  論文  参考訳（メタデータ） (2021-10-28T14:59:41Z)
• Geometric Deep Learning and Equivariant Neural Networks [0.9381376621526817]
  幾何学的深層学習の数学的基礎を調査し,群同変とゲージ同変ニューラルネットワークに着目した。 任意の多様体 $mathcalM$ 上のゲージ同変畳み込みニューラルネットワークを、構造群 $K$ の主バンドルと、関連するベクトルバンドルの切断間の同変写像を用いて開発する。 セマンティックセグメンテーションやオブジェクト検出ネットワークなど,このフォーマリズムのいくつかの応用を解析する。
  論文  参考訳（メタデータ） (2021-05-28T15:41:52Z)
• Invariant Deep Compressible Covariance Pooling for Aerial Scene Categorization [80.55951673479237]
  本研究では,空気シーン分類におけるニュアンス変動を解決するために,新しい不変な深部圧縮性共分散プール (IDCCP) を提案する。 本研究では,公開空間画像データセットに関する広範な実験を行い,最先端の手法と比較して,この手法の優位性を実証する。
  論文  参考訳（メタデータ） (2020-11-11T11:13:07Z)
• Fractal Gaussian Networks: A sparse random graph model based on Gaussian Multiplicative Chaos [12.096252285460814]
  フラクタルガウスネットワーク(FGN)と呼ばれる新しいネットワークモデルを提案する。 FGNはよく定義され解析的に抽出可能なフラクタル構造を具現化する。
  論文  参考訳（メタデータ） (2020-08-07T08:37:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。