論文の概要: Provable Learning of Random Hierarchy Models and Hierarchical Shallow-to-Deep Chaining

• arxiv url: http://arxiv.org/abs/2601.19756v1
• Date: Tue, 27 Jan 2026 16:19:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-28 15:26:51.390885
• Title: Provable Learning of Random Hierarchy Models and Hierarchical Shallow-to-Deep Chaining
• Title（参考訳）: ランダム階層モデルの確率的学習と階層的浅層-深層結合
• Authors: Yunwei Ren, Yatin Dandi, Florent Krzakala, Jason D. Lee,
• Abstract要約: 我々は、arXiv:2307.02129によって導入された階層的な文脈自由文法を考察し、深層ネットワークと浅層ネットワークの分離を予想する。 弱い条件下では、深い畳み込みネットワークを効率的に訓練し、この関数クラスを学習できることを証明した。
• 参考スコア（独自算出の注目度）: 58.69016084278948
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The empirical success of deep learning is often attributed to deep networks' ability to exploit hierarchical structure in data, constructing increasingly complex features across layers. Yet despite substantial progress in deep learning theory, most optimization results sill focus on networks with only two or three layers, leaving the theoretical understanding of hierarchical learning in genuinely deep models limited. This leads to a natural question: can we prove that deep networks, trained by gradient-based methods, can efficiently exploit hierarchical structure? In this work, we consider Random Hierarchy Models -- a hierarchical context-free grammar introduced by arXiv:2307.02129 and conjectured to separate deep and shallow networks. We prove that, under mild conditions, a deep convolutional network can be efficiently trained to learn this function class. Our proof builds on a general observation: if intermediate layers can receive clean signal from the labels and the relevant features are weakly identifiable, then layerwise training each individual layer suffices to hierarchically learn the target function.
• Abstract（参考訳）: ディープ・ラーニングの実証的な成功は、ディープ・ネットワークが階層的なデータ構造を活用でき、層をまたいでますます複雑な機能を構築することに起因することが多い。 しかし、ディープラーニング理論のかなりの進歩にもかかわらず、ほとんどの最適化結果は2層か3層しか持たないネットワークに集中し、真の深層モデルにおける階層的学習の理論的理解は限られている。 勾配に基づく手法で訓練されたディープネットワークが、階層構造を効率的に活用できることを証明できますか? 本研究では、arXiv:2307.02129によって導入された階層的文脈自由文法であるランダム階層モデルについて考察する。 弱い条件下では、深い畳み込みネットワークを効率的に訓練し、この関数クラスを学習できることを証明した。 中間層がラベルからクリーンな信号を受信でき、関連する特徴が弱い場合、各層は階層的に目標関数を学習するのに十分である。

関連論文リスト

• Understanding Deep Representation Learning via Layerwise Feature Compression and Discrimination [33.273226655730326]
  深層線形ネットワークの各層は、幾何速度でクラス内特徴を徐々に圧縮し、線形速度でクラス間特徴を識別することを示す。 これは、ディープ線形ネットワークの階層的表現における特徴進化の最初の定量的評価である。
  論文  参考訳（メタデータ） (2023-11-06T09:00:38Z)
• How Deep Neural Networks Learn Compositional Data: The Random Hierarchy Model [47.617093812158366]
  言語と画像の階層構造にインスパイアされた合成タスクのファミリーであるランダム階層モデルを紹介する。 深層ネットワークは、等価なグループを交換するために不変な内部表現を開発することでタスクを学習する。 この結果から, ネットワークは次元の呪いを克服し, 不変表現を構築できることが示唆された。
  論文  参考訳（メタデータ） (2023-07-05T09:11:09Z)
• Provable Guarantees for Nonlinear Feature Learning in Three-Layer Neural Networks [44.31729147722701]
  3層ニューラルネットワークは,2層ネットワークよりも特徴学習能力が豊富であることを示す。 この研究は、特徴学習体制における2層ネットワーク上の3層ニューラルネットワークの証明可能なメリットを理解するための前進である。
  論文  参考訳（メタデータ） (2023-05-11T17:19:30Z)
• Learning Structures for Deep Neural Networks [99.8331363309895]
  我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。 スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。 公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
  論文  参考訳（メタデータ） (2021-05-27T12:27:24Z)
• Understanding Deep Architectures with Reasoning Layer [60.90906477693774]
  本研究では,アルゴリズムの収束,安定性,感度といった特性が,エンドツーエンドモデルの近似と一般化能力と密接に関連していることを示す。 私たちの理論は、深いアーキテクチャを推論層で設計するための有用なガイドラインを提供することができます。
  論文  参考訳（メタデータ） (2020-06-24T00:26:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。