論文の概要: Position: A Theory of Deep Learning Must Include Compositional Sparsity

• arxiv url: http://arxiv.org/abs/2507.02550v1
• Date: Thu, 03 Jul 2025 11:49:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-04 15:37:16.187219
• Title: Position: A Theory of Deep Learning Must Include Compositional Sparsity
• Title（参考訳）: 位置: 構成空間を含む深層学習の理論
• Authors: David A. Danhofer, Davide D'Ascenzo, Rafael Dubach, Tomaso Poggio,
• Abstract要約: 我々は、DNNが目的関数の組成的に粗い構造を活用できることが、その成功を駆動していると論じている。 本研究では,この特性がチューリング計算可能な関数全てで共有されることを示し,現在の学習問題すべてに存在する可能性が極めて高いことを示す。
• 参考スコア（独自算出の注目度）: 1.7570777893613145
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Overparametrized Deep Neural Networks (DNNs) have demonstrated remarkable success in a wide variety of domains too high-dimensional for classical shallow networks subject to the curse of dimensionality. However, open questions about fundamental principles, that govern the learning dynamics of DNNs, remain. In this position paper we argue that it is the ability of DNNs to exploit the compositionally sparse structure of the target function driving their success. As such, DNNs can leverage the property that most practically relevant functions can be composed from a small set of constituent functions, each of which relies only on a low-dimensional subset of all inputs. We show that this property is shared by all efficiently Turing-computable functions and is therefore highly likely present in all current learning problems. While some promising theoretical insights on questions concerned with approximation and generalization exist in the setting of compositionally sparse functions, several important questions on the learnability and optimization of DNNs remain. Completing the picture of the role of compositional sparsity in deep learning is essential to a comprehensive theory of artificial, and even general, intelligence.
• Abstract（参考訳）: 過度にパラメータ化されたDeep Neural Networks (DNN) は、次元性の呪いの対象となる古典的な浅層ネットワークにおいて、多種多様なドメインにおいて顕著な成功を収めている。 しかし、DNNの学習力学を支配する基本原理に関するオープンな疑問が残る。 本稿では,DNNが目的関数の組成的に疎結合な構造を活用できることを論じる。 したがって、DNNは、最も実践的に関係のある関数は、全ての入力の低次元部分集合にのみ依存する小さな構成関数の集合から構成できるという性質を利用することができる。 本研究では,この特性がチューリング計算可能な関数全てで共有されることを示し,現在の学習問題すべてに存在する可能性が極めて高いことを示す。 構成的疎度関数の設定には近似と一般化に関するいくつかの有望な理論的知見が存在するが、DNNの学習可能性と最適化に関する重要な疑問が残されている。 深層学習における構成空間の役割の描写を補完することは、人工的、さらには汎用的な知性という包括的理論に不可欠である。

関連論文リスト

• Copresheaf Topological Neural Networks: A Generalized Deep Learning Framework [10.470880055362406]
  我々は,多種多様なディープラーニングアーキテクチャをカプセル化した,強力かつ統一的なフレームワークであるCTNNを紹介する。 CTNNは、特定のタスクやデータタイプに適したニューラルネットワークアーキテクチャの原則設計に対処する。 構造化データベンチマークによる実験結果から,CTNNは従来のベースラインを一貫して上回っていることが示された。
  論文  参考訳（メタデータ） (2025-05-27T14:28:50Z)
• Global Convergence and Rich Feature Learning in $L$-Layer Infinite-Width Neural Networks under $μ$P Parametrization [66.03821840425539]
  本稿では, テンソル勾配プログラム(SGD)フレームワークを用いた$L$層ニューラルネットワークのトレーニング力学について検討する。 SGDにより、これらのネットワークが初期値から大きく逸脱する線形独立な特徴を学習できることを示す。 このリッチな特徴空間は、関連するデータ情報をキャプチャし、トレーニングプロセスの収束点が世界最小であることを保証する。
  論文  参考訳（メタデータ） (2025-03-12T17:33:13Z)
• Spring-block theory of feature learning in deep neural networks [11.396919965037636]
  特徴学習深度ネットが、定期的に低次元の幾何学にどのように崩壊するかを示す。 本稿では,図を再現し,階層間の特徴学習と一般化をリンクするマクロ力学的理論を提案する。
  論文  参考訳（メタデータ） (2024-07-28T00:07:20Z)
• From Alexnet to Transformers: Measuring the Non-linearity of Deep Neural Networks with Affine Optimal Transport [32.39176908225668]
  本稿では,DNNの非線形性シグネチャの概念を紹介する。これはディープニューラルネットワークの非線形性を測定するための,理論上初めての音響解である。 提案した非線形署名の実用性を明らかにするための実験結果について述べる。
  論文  参考訳（メタデータ） (2023-10-17T17:50:22Z)
• Universal approximation property of invertible neural networks [76.95927093274392]
  Invertible Neural Network (INN) は、設計によって可逆性を持つニューラルネットワークアーキテクチャである。 その可逆性とヤコビアンのトラクタビリティのおかげで、IGNは確率的モデリング、生成的モデリング、表現的学習など、さまざまな機械学習応用がある。
  論文  参考訳（メタデータ） (2022-04-15T10:45:26Z)
• Interplay between depth of neural networks and locality of target functions [5.33024001730262]
  対象関数の深度と局所性の間に顕著な相互作用を報告した。 深度は局所関数の学習には有益であるが,グローバル関数の学習には有害であることがわかった。
  論文  参考訳（メタデータ） (2022-01-28T12:41:24Z)
• Learning and Generalization in RNNs [11.107204912245841]
  単純なリカレントニューラルネットワークがシーケンスの関数を学習できることを実証する。 新しいアイデアは、我々の証明でRNNの隠れた状態から情報を抽出することを可能にする。
  論文  参考訳（メタデータ） (2021-05-31T18:27:51Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Geometric Deep Learning: Grids, Groups, Graphs, Geodesics, and Gauges [50.22269760171131]
  過去10年間、データサイエンスと機械学習の実験的な革命が、ディープラーニングの手法によって生まれた。 このテキストは、統一幾何学的原理によって事前に定義された規則性を公開することに関するものである。 CNN、RNN、GNN、Transformersなど、最も成功したニューラルネットワークアーキテクチャを研究するための一般的な数学的フレームワークを提供する。
  論文  参考訳（メタデータ） (2021-04-27T21:09:51Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• A Chain Graph Interpretation of Real-World Neural Networks [58.78692706974121]
  本稿では,NNを連鎖グラフ(CG)、フィードフォワードを近似推論手法として識別する別の解釈を提案する。 CG解釈は、確率的グラフィカルモデルのリッチな理論的枠組みの中で、各NNコンポーネントの性質を規定する。 我々は,CG解釈が様々なNN技術に対する新しい理論的支援と洞察を提供することを示す具体例を実例で示す。
  論文  参考訳（メタデータ） (2020-06-30T14:46:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。