論文の概要: Learning Sparse Compositional Functions with Norm-Constrained Neural Networks

• arxiv url: http://arxiv.org/abs/2605.25608v1
• Date: Mon, 25 May 2026 09:02:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:19.538474
• Title: Learning Sparse Compositional Functions with Norm-Constrained Neural Networks
• Title（参考訳）: ノルム制約ニューラルネットワークによるスパース構成関数の学習
• Authors: Shuo Huang, Lorenzo Fiorito, Lorenzo Rosasco, Tomaso Poggio,
• Abstract要約: 深層ネットワークは対象関数の構成構造を活用でき、次元性の呪い(CoD)を効果的に回避できることを示す。 チューリング計算可能な全ての関数はスパース構成表現を許容するので、我々の結果は幅広い適用性を持つ。
• 参考スコア（独自算出の注目度）: 8.967327976469653
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The ability of deep neural networks to learn hierarchical features is widely regarded as a key mechanism underlying their success in high-dimensional learning. Existing theory partially supports this view by establishing approximation rates based on parameter counts and sample complexity guarantees for compositional models without incurring the curse of dimensionality (CoD). To study overparameterized regimes, where the number of parameters exceeds the sample size, we develop a framework that measures complexity via the parameter norm. Within this approach, we establish approximation rates and excess risk bounds for learning sparse compositional functions whose compositional structure is represented by directed acyclic graphs (DAGs), using Frobenius norm-constrained deep neural networks. Our results have broad applicability since every function that is efficiently Turing computable admits sparse compositional representations. In particular, we cover a range of representative models, including multi-index models, binary tree structures, and general compositional architectures. The rates we derive show that deep networks can exploit the compositional structure of the target functions, effectively avoiding the CoD through hierarchical representations.
• Abstract（参考訳）: 階層的な特徴を学習するディープニューラルネットワークの能力は、高次元学習の成功の根底にある重要なメカニズムとして広く見なされている。 既存の理論はこの見解を部分的に支持し、パラメータ数に基づく近似率と、次元性の呪い(CoD)を生じさせることなく構成モデルに対するサンプル複雑性を保証する。 パラメータの数がサンプルサイズを超える過パラメータ化レシスタンスを研究するために,パラメータノルムを通した複雑性を測定するフレームワークを開発する。 提案手法では,Frobeniusノルム制約深部ニューラルネットワークを用いて,直交非巡回グラフ (DAG) で構成構造を表現したスパース構成関数を学習するための近似率と過剰リスク境界を確立する。 チューリング計算可能な全ての関数はスパース構成表現を許容するので、我々の結果は幅広い適用性を持つ。 特に、マルチインデックスモデル、バイナリツリー構造、一般的な構成アーキテクチャなど、さまざまな代表モデルをカバーする。 私たちが導いたレートは、ディープネットワークがターゲット関数の構成構造を活用できることを示し、階層的表現によるCoDを効果的に回避する。

関連論文リスト

• Compositional Sparsity as an Inductive Bias for Neural Architecture Design [35.06894725394093]
  我々は、ディープニューラルネットワークが次元の呪いを克服できる構造的先行性を特定する。 本稿では,階層的な構成によって抽象化が生じる解釈可能なパイプラインを提案する。 現実世界のデータセットの幅広いスイートの中で、HNNは、はるかに少ないパラメータを使用しながら、常に密なベースラインにマッチまたは性能を向上する。
  論文  参考訳（メタデータ） (2026-05-14T12:26:50Z)
• Every Feedforward Neural Network Definable in an o-Minimal Structure Has Finite Sample Complexity [15.786915433105868]
  フィードフォワードニューラルネットワークの幅広いクラスは、PACモデルで学習する(有限サンプルの複雑さを持つ)ことを示す。 その結果, 有限サンプルPAC学習能力は, 微分器ではなく, ベースラインとして再構成された。
  論文  参考訳（メタデータ） (2026-05-08T01:26:25Z)
• KVNN: Learnable Multi-Kernel Volterra Neural Networks [6.550684951976901]
  カーネル化されたVolterra Neural Network (kVNN) ビデオ行動認識と画像認知の2つの代表的なタスクに関する実験。 大規模な事前トレーニングを行わずに、スクラッチからトレーニングした場合でも、結果は維持される。
  論文  参考訳（メタデータ） (2026-04-16T15:18:48Z)
• Instruction-Guided Autoregressive Neural Network Parameter Generation [49.800239140036496]
  本稿では,多種多様なタスクやアーキテクチャにまたがるパラメータ合成を統一する自動回帰フレームワークIGPGを提案する。 ニューラルネットワーク重みのトークンを自動回帰的に生成することにより、IGPGは層間コヒーレンスを確保し、モデルとデータセット間の効率的な適応を可能にする。 複数のデータセットの実験により、IGPGは様々な事前訓練されたモデルを単一の柔軟な生成フレームワークに統合することを示した。
  論文  参考訳（メタデータ） (2025-04-02T05:50:19Z)
• Defining Neural Network Architecture through Polytope Structures of Dataset [53.512432492636236]
  本稿では, ニューラルネットワーク幅の上下境界を定義し, 問題となるデータセットのポリトープ構造から情報を得る。 本研究では,データセットのポリトープ構造を学習したニューラルネットワークから推定できる逆条件を探索するアルゴリズムを開発した。 MNIST、Fashion-MNIST、CIFAR10といった一般的なデータセットは、顔の少ない2つ以上のポリトップを用いて効率的にカプセル化できることが確立されている。
  論文  参考訳（メタデータ） (2024-02-04T08:57:42Z)
• How Deep Neural Networks Learn Compositional Data: The Random Hierarchy Model [47.617093812158366]
  言語と画像の階層構造にインスパイアされた合成タスクのファミリーであるランダム階層モデルを紹介する。 深層ネットワークは、等価なグループを交換するために不変な内部表現を開発することでタスクを学習する。 この結果から, ネットワークは次元の呪いを克服し, 不変表現を構築できることが示唆された。
  論文  参考訳（メタデータ） (2023-07-05T09:11:09Z)
• Reframing Neural Networks: Deep Structure in Overcomplete Representations [41.84502123663809]
  本稿では,構造化過剰フレームを用いた表現学習のための統一フレームワークであるdeep frame approximationを提案する。 表現一意性と安定性に関連付けられたデータ非依存的なコヒーレンス尺度であるdeep frame potentialとの構造的差異を定量化する。 この超完全表現の確立された理論への接続は、原理化されたディープネットワークアーキテクチャ設計の新たな方向性を示唆している。
  論文  参考訳（メタデータ） (2021-03-10T01:15:14Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)
• Generalising Recursive Neural Models by Tensor Decomposition [12.069862650316262]
  テンソル型定式化を利用した構造文脈のモデルアグリゲーションに対する一般的なアプローチを提案する。 パラメータ空間の大きさの指数関数的成長は、タッカー分解に基づく近似によって制御できることを示す。 これにより、隠れたサイズ、計算複雑性、モデル一般化によって制御される符号化の表現性の間のトレードオフを効果的に制御できる。
  論文  参考訳（メタデータ） (2020-06-17T17:28:19Z)
• Supervised Learning for Non-Sequential Data: A Canonical Polyadic Decomposition Approach [85.12934750565971]
  特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。 この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。 表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
  論文  参考訳（メタデータ） (2020-01-27T22:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。