論文の概要: A Noise Sensitivity Exponent Controls Large Statistical-to-Computational Gaps in Single- and Multi-Index Models

• arxiv url: http://arxiv.org/abs/2603.17896v1
• Date: Wed, 18 Mar 2026 16:26:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-19 18:32:57.821836
• Title: A Noise Sensitivity Exponent Controls Large Statistical-to-Computational Gaps in Single- and Multi-Index Models
• Title（参考訳）: 単一・複数インデックスモデルにおける大規模統計的-計算的ギャップに対する雑音感度指数制御
• Authors: Leonardo Defilippis, Florent Krzakala, Bruno Loureiro, Antoine Maillard,
• Abstract要約: ノイズ感度指数 (NSE) が統計的-計算的ギャップの存在と大きさを制御していることを示す。 本研究は,NSEを高次元学習における雑音頑健性,計算硬度,特徴特化をリンクする統一特性として同定した。
• 参考スコア（独自算出の注目度）: 28.495611422425238
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding when learning is statistically possible yet computationally hard is a central challenge in high-dimensional statistics. In this work, we investigate this question in the context of single- and multi-index models, classes of functions widely studied as benchmarks to probe the ability of machine learning methods to discover features in high-dimensional data. Our main contribution is to show that a Noise Sensitivity Exponent (NSE) - a simple quantity determined by the activation function - governs the existence and magnitude of statistical-to-computational gaps within a broad regime of these models. We first establish that, in single-index models with large additive noise, the onset of a computational bottleneck is fully characterized by the NSE. We then demonstrate that the same exponent controls a statistical-computational gap in the specialization transition of large separable multi-index models, where individual components become learnable. Finally, in hierarchical multi-index models, we show that the NSE governs the optimal computational rate in which different directions are sequentially learned. Taken together, our results identify the NSE as a unifying property linking noise robustness, computational hardness, and feature specialization in high-dimensional learning.
• Abstract（参考訳）: 学習が統計的に可能であるが、計算的に難しい場合の理解は、高次元統計学における中心的な課題である。 本研究では,高次元データの特徴を探索する機械学習手法の能力を探索するベンチマークとして広く研究されている,単一および複数インデックスモデルの文脈において,この問題を考察する。 我々の主な貢献は、アクティベーション関数によって決定される単純な量であるノイズ感度指数(NSE)が、これらのモデルの範囲内での統計的-計算的ギャップの存在と大きさを制御していることを示すことである。 まず,大きな付加雑音を持つ単一インデックスモデルにおいて,計算ボトルネックの開始はNSEによって完全に特徴づけられることを示す。 次に、同じ指数が、個々のコンポーネントが学習可能な大きな分離可能なマルチインデックスモデルの特殊化遷移における統計的-計算的ギャップを制御していることを示す。 最後に、階層的マルチインデックスモデルにおいて、NSEは、異なる方向が逐次的に学習される最適な計算速度を制御していることを示す。 その結果,NSEは雑音の頑健性,計算硬度,高次元学習における特徴特化をリンクする統一特性であることがわかった。

関連論文リスト

• Meta-Statistical Learning: Supervised Learning of Statistical Inference [59.463430294611626]
  この研究は、大きな言語モデル(LLM)の成功を駆動するツールと原則が、分散レベルのタスクに取り組むために再利用可能であることを実証している。 本稿では,統計的推論タスクを教師付き学習問題として再構成するマルチインスタンス学習に触発されたメタ統計学習を提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:04:39Z)
• Low-dimensional Functions are Efficiently Learnable under Randomly Biased Distributions [12.410304632874531]
  第一モーメントのランダムシフトにより、データ分布に小さなランダムな摂動を導入することで、任意のガウス指標モデルを線形関数として容易に学習できることを証明した。 この結果をマルチインデックスモデル、すなわちスパースブール関数のクラス、つまりユンタス(Juntas)に拡張する。
  論文  参考訳（メタデータ） (2025-02-10T13:19:30Z)
• How Feature Learning Can Improve Neural Scaling Laws [79.59705237659547]
  我々は,カーネル限界を超えたニューラルスケーリング法則の解法モデルを開発する。 モデルのサイズ、トレーニング時間、利用可能なデータの総量によるパフォーマンスのスケールアップ方法を示す。
  論文  参考訳（メタデータ） (2024-09-26T14:05:32Z)
• Repetita Iuvant: Data Repetition Allows SGD to Learn High-Dimensional Multi-Index Functions [20.036783417617652]
  勾配に基づくアルゴリズムを用いて学習した2層浅層ニューラルネットワークのトレーニング力学について検討する。 理想化シングルパス勾配勾配学習シナリオの簡単な修正により,その計算効率が大幅に向上することを示す。 この結果から,ネットワークが事前処理なしでデータから関連構造を学習できることが示唆された。
  論文  参考訳（メタデータ） (2024-05-24T11:34:31Z)
• Efficient Model-Free Exploration in Low-Rank MDPs [76.87340323826945]
  低ランクマルコフ決定プロセスは、関数近似を持つRLに対して単純だが表現力のあるフレームワークを提供する。 既存のアルゴリズムは、(1)計算的に抽出可能であるか、または(2)制限的な統計的仮定に依存している。 提案手法は,低ランクMPPの探索のための最初の実証可能なサンプル効率アルゴリズムである。
  論文  参考訳（メタデータ） (2023-07-08T15:41:48Z)
• Balancing Explainability-Accuracy of Complex Models [8.402048778245165]
  我々は,コリレーションの影響に基づき,複雑なモデルに対する新しいアプローチを提案する。 独立機能と依存機能の両方のシナリオに対するアプローチを提案する。 従属特徴に対する提案手法の複雑さの上限を提供する。
  論文  参考訳（メタデータ） (2023-05-23T14:20:38Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。