論文の概要: Low-dimensional Functions are Efficiently Learnable under Randomly Biased Distributions

• arxiv url: http://arxiv.org/abs/2502.06443v1
• Date: Mon, 10 Feb 2025 13:19:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:35:04.846624
• Title: Low-dimensional Functions are Efficiently Learnable under Randomly Biased Distributions
• Title（参考訳）: 低次元関数はランダムなバイアス分布の下で効率的に学習できる
• Authors: Elisabetta Cornacchia, Dan Mikulincer, Elchanan Mossel,
• Abstract要約: 第一モーメントのランダムシフトにより、データ分布に小さなランダムな摂動を導入することで、任意のガウス指標モデルを線形関数として容易に学習できることを証明した。 この結果をマルチインデックスモデル、すなわちスパースブール関数のクラス、つまりユンタス(Juntas)に拡張する。
• 参考スコア（独自算出の注目度）: 12.410304632874531
• License:
• Abstract: The problem of learning single index and multi index models has gained significant interest as a fundamental task in high-dimensional statistics. Many recent works have analysed gradient-based methods, particularly in the setting of isotropic data distributions, often in the context of neural network training. Such studies have uncovered precise characterisations of algorithmic sample complexity in terms of certain analytic properties of the target function, such as the leap, information, and generative exponents. These properties establish a quantitative separation between low and high complexity learning tasks. In this work, we show that high complexity cases are rare. Specifically, we prove that introducing a small random perturbation to the data distribution--via a random shift in the first moment--renders any Gaussian single index model as easy to learn as a linear function. We further extend this result to a class of multi index models, namely sparse Boolean functions, also known as Juntas.
• Abstract（参考訳）: シングルインデックスとマルチインデックスモデルを学習する問題は、高次元統計学の基本的な課題として大きな関心を集めている。 近年の多くの研究は、特に等方性データ分布の設定において、勾配に基づく手法をニューラルネットワークトレーニングの文脈で分析している。 このような研究は、跳躍、情報、生成指数といった対象関数の特定の解析的性質の観点から、アルゴリズム的なサンプルの複雑さの正確な特徴を明らかにしている。 これらの性質は、低複雑性と高複雑性の学習タスクを定量的に分離する。 本研究では,複雑性の高い症例は稀であることを示す。 具体的には、第1モーメントのランダムシフトを通じて、データ分布に小さなランダム摂動を導入することで、任意のガウス単索引モデルを線形関数として容易に学習できることを証明する。 さらに、この結果をマルチインデックスモデル、すなわちスパースブール関数のクラス、つまりユンタス(Juntas)に拡張する。

関連論文リスト

• Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
  単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。 我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
  論文  参考訳（メタデータ） (2024-03-08T18:50:19Z)
• Gradient-Based Feature Learning under Structured Data [57.76552698981579]
  異方性設定では、一般的に使用される球面勾配力学は真の方向を回復できないことがある。 バッチ正規化を連想させる適切な重み正規化は、この問題を軽減することができることを示す。 特に、スパイクモデルの下では、勾配に基づくトレーニングのサンプルの複雑さは情報指数とは独立にできる。
  論文  参考訳（メタデータ） (2023-09-07T16:55:50Z)
• Learning Single-Index Models with Shallow Neural Networks [43.6480804626033]
  我々は、浅層ニューラルネットワークの自然なクラスを導入し、勾配流を通して単一インデックスモデルを学習する能力について研究する。 対応する最適化ランドスケープが良性であることを示し、それによって専用半パラメトリック手法の準最適サンプル複雑性に一致するような一般化保証が得られることを示す。
  論文  参考訳（メタデータ） (2022-10-27T17:52:58Z)
• Learning and generalization of one-hidden-layer neural networks, going beyond standard Gaussian data [14.379261299138147]
  本稿では,入力特徴がガウス混合モデルに従えば,一層ニューラルネットワークの収束と反復を解析する。 本論文は,入力分布がサンプルに与える影響と学習率に与える影響を初めて特徴付ける。
  論文  参考訳（メタデータ） (2022-07-07T23:27:44Z)
• Amortized Inference for Causal Structure Learning [72.84105256353801]
  因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。 本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。 我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
  論文  参考訳（メタデータ） (2022-05-25T17:37:08Z)
• Equivariance Allows Handling Multiple Nuisance Variables When Analyzing Pooled Neuroimaging Datasets [53.34152466646884]
  本稿では,構造空間上でインスタンス化された同変表現学習における最近の結果と,因果推論における古典的結果の簡易な利用が,いかに効果的に実現されたかを示す。 いくつかの仮定の下で、我々のモデルが複数のニュアンス変数を扱えることを実証し、そうでなければサンプルの大部分を取り除く必要のあるシナリオにおいて、プールされた科学データセットの分析を可能にする。
  論文  参考訳（メタデータ） (2022-03-29T04:54:06Z)
• Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness [68.97830259849086]
  ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。 本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。 他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。 驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
  論文  参考訳（メタデータ） (2021-10-21T07:28:11Z)
• Function Approximation via Sparse Random Features [23.325877475827337]
  本稿では,圧縮センシングの手法を用いて無作為特徴モデルを学習する分散ランダム特徴量法を提案する。 分散ランダム特徴法は,十分に構造化された機能や科学的機械学習タスクへの応用において,浅層ネットワークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-03-04T17:53:54Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Generalisation error in learning with random features and the hidden manifold model [23.71637173968353]
  合成データセットの一般線形回帰と分類について検討した。 我々は,高次元構造を考察し,統計物理学からのレプリカ法を用いる。 閾値をピークとしたロジスティック回帰のためのいわゆる二重降下挙動を得る方法を示す。 隠れ多様体モデルにより生成されたデータにおいて相関関係が果たす役割について論じる。
  論文  参考訳（メタデータ） (2020-02-21T14:49:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。