論文の概要: Learning with Shallow Neural Networks on Cluster-Structured Features

• arxiv url: http://arxiv.org/abs/2605.14927v1
• Date: Thu, 14 May 2026 15:02:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 21:45:34.896971
• Title: Learning with Shallow Neural Networks on Cluster-Structured Features
• Title（参考訳）: クラスタ構造特徴量に基づく浅層ニューラルネットワークの学習
• Abstract要約: 浅層ニューラルネットワーク上での勾配降下学習における空間的相関が学習の複雑さに与える影響について検討した。 階層的に勾配差が変化する変種の場合、サンプルの複雑さは隠れ変数の数とともにスケールすることを示す。 合成データと実データの両方で理論的知見を実証的に検証する。
• 参考スコア（独自算出の注目度）: 13.080485957000464
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The success of deep learning in high-dimensional settings is often attributed to the presence of low-dimensional structure in real-world data. While standard theoretical models typically assume that this structure lies in the target function, projecting unstructured inputs onto a low-dimensional subspace, data such as images, text or genomic sequences exhibit strong spatial correlations within the input space itself. In this paper, we propose a tractable model to study how these correlations affect the sample complexity of learning with gradient descent on shallow neural networks. Specifically, we consider targets that depend on a small number of latent Boolean variables, and input features grouped into clusters and correlated with the latent variables. Under an identifiability assumption, we show that for a layerwise gradient-descent variant, the sample complexity scales with the number of hidden variables and, when the signal-to-noise ratio is sufficiently high, is independent of the input dimension, up to logarithmic terms. We empirically test our theoretical findings on both synthetic and real data.
• Abstract（参考訳）: 高次元設定におけるディープラーニングの成功は、実世界のデータに低次元構造が存在することに起因することが多い。 標準的な理論モデルでは、この構造はターゲット関数内にあると仮定され、非構造的な入力を低次元の部分空間に投影するが、画像、テキスト、ゲノム配列などのデータは入力空間自体に強い空間的相関を示す。 本稿では,これらの相関関係が,浅層ニューラルネットワーク上での勾配降下を伴う学習の複雑さにどのように影響するかを抽出可能なモデルを提案する。 具体的には、少数の潜在ブール変数に依存するターゲットと、クラスタにグループ化され、潜在変数と相関する入力特徴を考察する。 同定可能性の仮定の下では、階層的な勾配-退化変法では、サンプルの複雑性は隠れ変数の数とともにスケールし、信号-雑音比が十分に高い場合、対数項まで入力次元とは独立であることを示す。 合成データと実データの両方で理論的知見を実証的に検証する。

関連論文リスト

• Critical Percolation as a Synthetic Data Model for Interpretability [0.0]
  臨界平均場パーコレーションクラスタ上で定義された階層関数からなる合成データセット群を紹介する。 分類学的階層をモデル化する潜在変数は、各データポイントのターゲット値を生成する。 ニューラルネットワークのアクティベーションから,モデルの基本トラス潜伏変数を線形に復号化できることが判明した。
  論文  参考訳（メタデータ） (2026-06-18T15:15:57Z)
• Asymptotic Learning Curves for Diffusion Models with Random Features Score and Manifold Data [7.047721358838963]
  本研究では,デノナイジングスコアマッチングの理論的挙動について検討する。 高次元の限界におけるテスト、トレーニング、スコアの正確な表現を導出します。
  論文  参考訳（メタデータ） (2026-03-24T08:58:12Z)
• Unsupervised detection of semantic correlations in big data [47.201377047286215]
  本稿では,2進数として表される高次元データにおける意味的相関を検出する手法を提案する。 本研究では,データ記述に必要な独立座標の最小個数を定量化するデータセットの2値固有次元を推定する。 提案アルゴリズムは, いわゆる次元の呪いとは無関係であり, ビッグデータ解析に利用することができる。
  論文  参考訳（メタデータ） (2024-11-04T14:37:07Z)
• Learning with Hidden Factorial Structure [2.474908349649168]
  近年の進歩は、テキストと画像データがそのような隠された構造を含んでいることを示唆しており、次元の呪いを和らげるのに役立つ。 ニューラルネットワークが実際にそのような「隠れた因子構造」を活用できるかどうかをテストするための制御された実験フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-02T22:32:53Z)
• On Characterizing the Evolution of Embedding Space of Neural Networks using Algebraic Topology [9.537910170141467]
  特徴埋め込み空間のトポロジがベッチ数を介してよく訓練されたディープニューラルネットワーク(DNN)の層を通過するとき、どのように変化するかを検討する。 深度が増加するにつれて、トポロジカルに複雑なデータセットが単純なデータセットに変換され、ベッチ数はその最小値に達することが示される。
  論文  参考訳（メタデータ） (2023-11-08T10:45:12Z)
• Gradient-Based Feature Learning under Structured Data [57.76552698981579]
  異方性設定では、一般的に使用される球面勾配力学は真の方向を回復できないことがある。 バッチ正規化を連想させる適切な重み正規化は、この問題を軽減することができることを示す。 特に、スパイクモデルの下では、勾配に基づくトレーニングのサンプルの複雑さは情報指数とは独立にできる。
  論文  参考訳（メタデータ） (2023-09-07T16:55:50Z)
• Homological Convolutional Neural Networks [4.615338063719135]
  本稿では,トポロジ的に制約されたネットワーク表現を通じて,データ構造構造を利用した新しいディープラーニングアーキテクチャを提案する。 5つの古典的な機械学習モデルと3つのディープラーニングモデルに対して、18のベンチマークデータセットでモデルをテストします。
  論文  参考訳（メタデータ） (2023-08-26T08:48:51Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)
• Amortized Inference for Causal Structure Learning [72.84105256353801]
  因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。 本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。 我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
  論文  参考訳（メタデータ） (2022-05-25T17:37:08Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Multi-scale Feature Learning Dynamics: Insights for Double Descent [71.91871020059857]
  一般化誤差の「二重降下」現象について検討する。 二重降下は、異なるスケールで学習される異なる特徴に起因する可能性がある。
  論文  参考訳（メタデータ） (2021-12-06T18:17:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。