論文の概要: Heterogeneous Connectivity in Sparse Networks: Fan-in Profiles, Gradient Hierarchy, and Topological Equilibria

• arxiv url: http://arxiv.org/abs/2604.10560v1
• Date: Sun, 12 Apr 2026 10:04:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.100916
• Title: Heterogeneous Connectivity in Sparse Networks: Fan-in Profiles, Gradient Hierarchy, and Topological Equilibria
• Title（参考訳）: スパースネットワークにおける不均一接続性:ファンインプロファイル、勾配階層、トポロジカル平衡
• Authors: Nikodem Tomczak,
• Abstract要約: Profiled Sparse Networks (PSN) は、一様接続を決定論的で不均一なファンインプロファイルに置き換える。 90%の間隔で、全ての静的プロファイルは、データセットの密度の高いベースラインの0.2-0.6%以内の精度を達成する。 この結果は、スパーシリティレベル(80-99.9%)、プロファイル形状(8つのパラメトリック族、対数正規、パワーロー)、ファンイン係数が0から2.5である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Profiled Sparse Networks (PSN) replace uniform connectivity with deterministic, heterogeneous fan-in profiles defined by continuous, nonlinear functions, creating neurons with both dense and sparse receptive fields. We benchmark PSN across four classification datasets spanning vision and tabular domains, input dimensions from 54 to 784, and network depths of 2--3 hidden layers. At 90% sparsity, all static profiles, including the uniform random baseline, achieve accuracy within 0.2-0.6% of dense baselines on every dataset, demonstrating that heterogeneous connectivity provides no accuracy advantage when hub placement is arbitrary rather than task-aligned. This result holds across sparsity levels (80-99.9%), profile shapes (eight parametric families, lognormal, and power-law), and fan-in coefficients of variation from 0 to 2.5. Internal gradient analysis reveals that structured profiles create a 2-5x gradient concentration at hub neurons compared to the ~1x uniform distribution in random baselines, with the hierarchy strength predicted by fan-in coefficient of variation ($r = 0.93$). When PSN fan-in distributions are used to initialise RigL dynamic sparse training, lognormal profiles matched to the equilibrium fan-in distribution consistently outperform standard ERK initialisation, with advantages growing on harder tasks, achieving +0.16% on Fashion-MNIST ($p = 0.036$, $d = 1.07$), +0.43% on EMNIST, and +0.49% on Forest Cover. RigL converges to a characteristic fan-in distribution regardless of initialisation. Starting at this equilibrium allows the optimiser to refine weights rather than rearrange topology. Which neurons become hubs matters more than the degree of connectivity variance, i.e., random hub placement provides no advantage, while optimisation-driven placement does.
• Abstract（参考訳）: プロファイルスパースネットワーク(PSN)は、連続的、非線形機能によって定義される決定論的、不均一なファンインプロファイルと一様接続を置き換え、密度とスパースの両方の受容野を持つニューロンを生成する。 視覚領域と表領域にまたがる4つの分類データセット,54から784までの入力次元,2～3層のネットワーク深さを比較検討した。 90%の間隔で、均一なランダムベースラインを含む全ての静的プロファイルは、各データセット上の密度の高いベースラインの0.2-0.6%以内の精度を達成する。 この結果は、スパーシリティレベル(80-99.9%)、プロファイル形状(8つのパラメトリック族、対数正規、パワーロー)、ファンイン係数が0から2.5である。 内部勾配解析により、構成されたプロファイルは、ランダムベースラインの1倍の均一分布と比較してハブニューロンにおいて2～5倍の勾配濃度を生じ、階層強度は変動のファンイン係数により予測される(r = 0.93$)。 PSNファンイン分布を用いてRigLダイナミックスパーストレーニングを初期化する場合、対数正規分布は標準ERKの初期化よりも一貫して優れており、Fashion-MNIST(p = 0.036$, $d = 1.07$), +0.43%, EMNIST(英語版)では +0.49%, フォレスト・カバーでは +0.49% である。 RigLは初期化に関係なく、特徴的なファンイン分布に収束する。 この平衡から始めると、オプティマイザは再配置トポロジーよりも重みを洗練できる。 どのニューロンがハブとなるかは接続のばらつきの程度以上に重要であり、すなわち、ランダムなハブ配置は利点がなく、最適化駆動配置は有利である。

関連論文リスト

• FI-KAN: Fractal Interpolation Kolmogorov-Arnold Networks [0.0]
  Kolmogorov-Arnold Networks (KAN) は、固定格子上のB-スプラインベースを使用し、非滑らか関数近似に固有のマルチスケール分解を提供しない。 本稿では,反復関数系 (IFS) 理論から学習可能なフラクタル関数 (FIF) 基底を包含するフラクタル補間カン (FI-KAN) について紹介する。 Pure FI-KANはB-splineを完全にFIFベースに置き換え、Hybrid FI-KANはB-splineパスを保持し、学習可能なフラクタル補正を追加する。
  論文  参考訳（メタデータ） (2026-03-30T11:09:07Z)
• The Coordinate System Problem in Persistent Structural Memory for Neural Architectures [0.0]
  そこで我々はDual-View Pheromone Pathway Network (DPPN)を紹介した。 永続メモリは安定した座標系を必要とする。 コントラスト的な更新,マルチソース蒸留,ハンガリーのアライメント,セマンティックな分解は,スクラッチから埋め込みが学習された場合の不安定性を解消しないことを示す。
  論文  参考訳（メタデータ） (2026-03-24T06:51:59Z)
• Spline Dimensional Decomposition with Interpolation-based Optimal Knot Selection for Stochastic Dynamic Analysis [6.407952035735354]
  スプライン次元(SDD)は、結び目配置を介して入力座標を分割することで非滑らかまたは局所非線形挙動に対処する。 SDDにおける最適結び目選択のための計算効率が高く,計算コストが高い手法を提案する。 低制御アームのモーダル解析により、提案した結び目付きSDDは、一様またはランダムに配置された結び目付きSDDよりも高い精度が得られることが示された。
  論文  参考訳（メタデータ） (2025-05-19T09:08:39Z)
• Machine learning in and out of equilibrium [58.88325379746631]
  我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。 我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。 本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T09:12:49Z)
• Bounding the Width of Neural Networks via Coupled Initialization -- A Worst Case Analysis [121.9821494461427]
  2層ReLUネットワークに必要なニューロン数を著しく削減する方法を示す。 また、事前の作業を改善するための新しい下位境界を証明し、ある仮定の下では、最善を尽くすことができることを証明します。
  論文  参考訳（メタデータ） (2022-06-26T06:51:31Z)
• Predicting the Stability of Hierarchical Triple Systems with Convolutional Neural Networks [68.8204255655161]
  本稿では,階層型三重項の安定性を予測する畳み込みニューラルネットワークモデルを提案する。 すべてのトレーニングされたモデルは公開されており、純粋な$N$-bodyメソッドよりも200ドルの速さで階層的な3重システムの安定性を予測することができる。
  論文  参考訳（メタデータ） (2022-06-24T17:58:13Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Decentralized Sparse Linear Regression via Gradient-Tracking: Linear Convergence and Statistical Guarantees [23.256961881716595]
  エージェントネットワーク上の疎線形回帰を非指向グラフとしてモデル化し,サーバノードを持たない。 分布予測勾配追跡に基づくアルゴリズムの収束率と統計的保証を解析する。
  論文  参考訳（メタデータ） (2022-01-21T01:26:08Z)
• Federated Functional Gradient Boosting [75.06942944563572]
  フェデレーション学習における機能最小化に関する研究 FFGB.C と FFGB.L は、特徴分布がより均一になるにつれて収束半径が 0 に縮まる。
  論文  参考訳（メタデータ） (2021-03-11T21:49:19Z)
• Optimizing Mode Connectivity via Neuron Alignment [84.26606622400423]
  経験的に、損失関数の局所ミニマは、損失がほぼ一定であるようなモデル空間の学習曲線で接続することができる。 本稿では,ネットワークの重み変化を考慮し,対称性がランドスケープ・コネクティビティに与える影響を明らかにするための,より一般的な枠組みを提案する。
  論文  参考訳（メタデータ） (2020-09-05T02:25:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。