論文の概要: Deep Learning of Compositional Targets with Hierarchical Spectral Methods

• arxiv url: http://arxiv.org/abs/2602.10867v1
• Date: Wed, 11 Feb 2026 13:54:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-12 21:44:01.949045
• Title: Deep Learning of Compositional Targets with Hierarchical Spectral Methods
• Title（参考訳）: 階層スペクトル法による構成対象の深層学習
• Authors: Hugo Tabanelli, Yatin Dandi, Luca Pesce, Florent Krzakala,
• Abstract要約: なぜ深度が浅い方法よりも真の計算上の優位性をもたらすのかは、学習理論の中心的な疑問である。 本研究では, 合成対象関数に着目し, 制御された高次元設定でこの問題を考察する。 層ワイドスペクトル推定器を用いて学習した3層フィッティングモデルを用いて学習可能性を分析する。
• 参考スコア（独自算出の注目度）: 19.741463287401697
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Why depth yields a genuine computational advantage over shallow methods remains a central open question in learning theory. We study this question in a controlled high-dimensional Gaussian setting, focusing on compositional target functions. We analyze their learnability using an explicit three-layer fitting model trained via layer-wise spectral estimators. Although the target is globally a high-degree polynomial, its compositional structure allows learning to proceed in stages: an intermediate representation reveals structure that is inaccessible at the input level. This reduces learning to simpler spectral estimation problems, well studied in the context of multi-index models, whereas any shallow estimator must resolve all components simultaneously. Our analysis relies on Gaussian universality, leading to sharp separations in sample complexity between two and three-layer learning strategies.
• Abstract（参考訳）: なぜ深度が浅い方法よりも真の計算上の優位性をもたらすのかは、学習理論の中心的な疑問である。 本研究では, 合成対象関数に着目した高次元ガウス設定法を用いてこの問題を考察する。 層ワイドスペクトル推定器を用いて訓練した明示的な3層フィッティングモデルを用いて学習可能性を分析する。 対象は全世界的に高次多項式であるが、その構成構造は学習を段階的に進めることができる:中間表現は入力レベルでは到達できない構造を明らかにする。 これにより、より単純なスペクトル推定問題への学習を減らし、マルチインデックスモデルの文脈でよく研究される一方、浅い推定器は全ての成分を同時に解決しなければならない。 我々の分析はガウスの普遍性に依存しており、2層と3層の学習戦略の間でサンプルの複雑さが急激に分離される。

関連論文リスト

• Provable Learning of Random Hierarchy Models and Hierarchical Shallow-to-Deep Chaining [58.69016084278948]
  我々は、arXiv:2307.02129によって導入された階層的な文脈自由文法を考察し、深層ネットワークと浅層ネットワークの分離を予想する。 弱い条件下では、深い畳み込みネットワークを効率的に訓練し、この関数クラスを学習できることを証明した。
  論文  参考訳（メタデータ） (2026-01-27T16:19:54Z)
• Fundamental computational limits of weak learnability in high-dimensional multi-index models [30.501140910531017]
  本稿では, 1次反復アルゴリズムを用いて低次元構造を弱めに復元するために必要な最小サンプル複雑性に着目した。 i) 自明な部分空間が任意の$alpha!>!0$; (ii) 自明な部分空間が空であれば、簡単な部分空間の存在に必要な必要十分条件を提供する。 限定的だが興味深い厳密な方向の集合において、-パリティ問題に似て-$alpha_c$が見つかる
  論文  参考訳（メタデータ） (2024-05-24T11:59:02Z)
• Provable Guarantees for Nonlinear Feature Learning in Three-Layer Neural Networks [44.31729147722701]
  3層ニューラルネットワークは,2層ネットワークよりも特徴学習能力が豊富であることを示す。 この研究は、特徴学習体制における2層ネットワーク上の3層ニューラルネットワークの証明可能なメリットを理解するための前進である。
  論文  参考訳（メタデータ） (2023-05-11T17:19:30Z)
• On Interpretable Approaches to Cluster, Classify and Represent Multi-Subspace Data via Minimum Lossy Coding Length based on Rate-Distortion Theory [0.0]
  クラスタリング、分類、表現は、本質的な構造を持つ高次元データから学習する3つの基本的な目的である。 本稿では,3つの解釈可能なアプローチ,すなわち,最小ロッシー符号化長基準によるセグメンテーション(クラスタリング),最小インクリメンタル符号化長基準による分類,最大符号化レート削減基準による表現を紹介する。
  論文  参考訳（メタデータ） (2023-02-21T01:15:08Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)
• Towards Understanding Mixture of Experts in Deep Learning [95.27215939891511]
  ニューラルネットワーク学習におけるMoE層の性能向上について検討する。 この結果から,基礎となる問題のクラスタ構造と専門家の非線形性は,MoEの成功に欠かせないことが示唆された。
  論文  参考訳（メタデータ） (2022-08-04T17:59:10Z)
• Spectral Analysis Network for Deep Representation Learning and Image Clustering [53.415803942270685]
  本稿ではスペクトル分析に基づく教師なし深層表現学習のための新しいネットワーク構造を提案する。 パッチレベルで画像間の局所的な類似性を識別できるため、閉塞に対してより堅牢である。 クラスタリングに親しみやすい表現を学習し、データサンプル間の深い相関を明らかにすることができる。
  論文  参考訳（メタデータ） (2020-09-11T05:07:15Z)
• Understanding Deep Architectures with Reasoning Layer [60.90906477693774]
  本研究では,アルゴリズムの収束,安定性,感度といった特性が,エンドツーエンドモデルの近似と一般化能力と密接に関連していることを示す。 私たちの理論は、深いアーキテクチャを推論層で設計するための有用なガイドラインを提供することができます。
  論文  参考訳（メタデータ） (2020-06-24T00:26:35Z)
• Towards Better Generalization: Joint Depth-Pose Learning without PoseNet [36.414471128890284]
  自己教師型共同深層学習におけるスケール不整合の本質的問題に対処する。 既存の手法の多くは、全ての入力サンプルで一貫した深さとポーズを学習できると仮定している。 本稿では,ネットワーク推定からスケールを明示的に切り離す新しいシステムを提案する。
  論文  参考訳（メタデータ） (2020-04-03T00:28:09Z)
• Convolutional Spectral Kernel Learning [21.595130250234646]
  逆フーリエ変換に基づく解釈可能な畳み込みスペクトルカーネルネットワーク(textttCSKN)を構築する。 一般化誤差境界を導出し、性能を改善するために2つの正規化器を導入する。 実世界のデータセットを用いた実験は、学習フレームワークの有効性を検証する。
  論文  参考訳（メタデータ） (2020-02-28T14:35:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。