論文の概要: Compositional Sparsity as an Inductive Bias for Neural Architecture Design

• arxiv url: http://arxiv.org/abs/2605.14764v1
• Date: Thu, 14 May 2026 12:26:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 21:45:34.817886
• Title: Compositional Sparsity as an Inductive Bias for Neural Architecture Design
• Title（参考訳）: ニューラルアーキテクチャ設計のためのインダクティブバイアスとしての組成空間
• Authors: Hongyu Lin, Antonio Briola, Yuanrong Wang, Tomaso Aste,
• Abstract要約: 我々は、ディープニューラルネットワークが次元の呪いを克服できる構造的先行性を特定する。 本稿では,階層的な構成によって抽象化が生じる解釈可能なパイプラインを提案する。 現実世界のデータセットの幅広いスイートの中で、HNNは、はるかに少ないパラメータを使用しながら、常に密なベースラインにマッチまたは性能を向上する。
• 参考スコア（独自算出の注目度）: 35.06894725394093
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Identifying the structural priors that enable Deep Neural Networks (DNNs) to overcome the curse of dimensionality is a fundamental challenge in machine learning theory. Existing literature suggests that effective high-dimensional learning is driven by compositional sparsity, where target functions decompose into constituents supported on low-dimensional variable subsets. To investigate this hypothesis, we combine Information Filtering Networks (IFNs), which extract sparse dependency structures via constrained information maximisation, with Homological Neural Networks (HNNs), which map the inferred topology into fixed-wiring sparse neural graphs. We formalise the design principles underlying this construction and present an interpretable pipeline in which abstraction emerges through hierarchical composition. HNNs are orders of magnitude sparser than standard DNNs and require only minimal hyperparameter tuning. On synthetic tasks with known sparse hierarchies, HNNs recover the underlying compositional structure and remain stable in regimes where dense alternatives degrade as dimensionality increases. Across a broad suite of real-world datasets, HNNs consistently match or outperform dense baselines while using far fewer parameters, exhibiting lower variance and showing reduced sensitivity to hyperparameters.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)が次元性の呪いを克服できる構造的前提を特定することは、機械学習理論における根本的な課題である。 既存の文献では、実効的な高次元学習は、対象関数が低次元の変数部分集合で支持される構成要素に分解される構成的空間性によって駆動されることが示唆されている。 この仮説を考察するために、制約情報最大化によるスパース依存構造を抽出するIFN(Information Filtering Networks)と、推定トポロジを固定配線スパースニューラルネットワークにマッピングするHNN(Homological Neural Networks)を組み合わせる。 この構築の基礎となる設計原則を定式化し、階層的な構成を通して抽象が現れる解釈可能なパイプラインを示す。 HNNは標準のDNNよりも桁違いで、最小限のハイパーパラメータチューニングしか必要としない。 既知のスパース階層を持つ合成タスクにおいて、HNNは基礎となる構成構造を回復し、次元が増加するにつれて高密度な代替品が劣化するレジームにおいて安定である。 現実世界のデータセットの広いスイート全体で、HNNは、非常に少ないパラメータを使用しながら、密度の高いベースラインに一貫してマッチまたは性能を向上し、低分散を示し、ハイパーパラメータに対する感度を低下させる。

関連論文リスト

• Mathematical Modeling and Convergence Analysis of Deep Neural Networks with Dense Layer Connectivities in Deep Learning [1.5516092077598485]
  ディープラーニングでは、ディープニューラルネットワーク(DNN)において、高密度層接続が重要な設計原則となっている。 本研究では, 密結合DNNを数学的にモデル化し, 深層限界における学習問題を解析する。
  論文  参考訳（メタデータ） (2025-10-02T14:22:51Z)
• Spatiotemporal Graph Learning with Direct Volumetric Information Passing and Feature Enhancement [62.91536661584656]
  本稿では,CeFeGNN(CeFeGNN)とCell-embeddedとFeature-enhanced Graph Neural Networkを学習用として提案する。 学習可能なセル属性を共通ノードエッジメッセージパッシングプロセスに埋め込むことで,地域特性の空間依存性をよりよく把握する。 各種PDEシステムと1つの実世界のデータセットを用いた実験により、CeFeGNNは他のベースラインと比較して優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-09-26T16:22:08Z)
• On Characterizing the Evolution of Embedding Space of Neural Networks using Algebraic Topology [9.537910170141467]
  特徴埋め込み空間のトポロジがベッチ数を介してよく訓練されたディープニューラルネットワーク(DNN)の層を通過するとき、どのように変化するかを検討する。 深度が増加するにつれて、トポロジカルに複雑なデータセットが単純なデータセットに変換され、ベッチ数はその最小値に達することが示される。
  論文  参考訳（メタデータ） (2023-11-08T10:45:12Z)
• MuseGNN: Forming Scalable, Convergent GNN Layers that Minimize a Sampling-Based Energy [27.328628715885287]
  グラフニューラルネットワーク(GNN)アーキテクチャは、クロスインスタンス関係でデータをモデル化することができる。 このアーキテクチャの重要なサブクラスは、フォワードパスが関心のグラフ正規化エネルギー関数を反復的に還元するように設計された層を含む。 本稿では, ある設定における収束保証によって導かれる, サンプリングベースエネルギー関数と拡張性のあるGNN層を反復的に削減する手法を提案する。 また、これらの設計に基づいて完全なGNNアーキテクチャをインスタンス化し、1TBを超える最大公用ノード分類ベンチマークに適用した場合の競合精度とスケーラビリティを実現する。
  論文  参考訳（メタデータ） (2023-10-19T04:30:14Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
  近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。 スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。 この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
  論文  参考訳（メタデータ） (2022-06-21T09:42:30Z)
• STN: Scalable Tensorizing Networks via Structure-Aware Training and Adaptive Compression [10.067082377396586]
  本稿では,モデルサイズと分解構造を適応的に調整するスケーラビリティネットワーク(STN)を提案する。 STNは任意のネットワークアーキテクチャと互換性があり、他のテンソル化バージョンよりも高い圧縮性能と柔軟性を実現する。
  論文  参考訳（メタデータ） (2022-05-30T15:50:48Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。