論文の概要: Storage capacity of perceptron with variable selection

• arxiv url: http://arxiv.org/abs/2512.01861v1
• Date: Mon, 01 Dec 2025 16:44:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 19:46:34.964853
• Title: Storage capacity of perceptron with variable selection
• Title（参考訳）: 可変選択型パーセプトロンの貯蔵容量
• Authors: Yingying Xu, Masayuki Ohzeki, Yoshiyuki Kabashima,
• Abstract要約: 機械学習における中心的な課題は、高次元データにおける真の構造と確率相関を区別することである。 単純なパーセプトロンは$N$変数から$M = N$変数を最適に選択することで、$P = N$ランダムパターンを完全に分類できることを示す。 これは、データの真の構造と急激な正規性とを区別するための定量的な基準を提供するだけでなく、連想記憶モデルの記憶能力ももたらします。
• 参考スコア（独自算出の注目度）: 10.64866985260943
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A central challenge in machine learning is to distinguish genuine structure from chance correlations in high-dimensional data. In this work, we address this issue for the perceptron, a foundational model of neural computation. Specifically, we investigate the relationship between the pattern load $α$ and the variable selection ratio $ρ$ for which a simple perceptron can perfectly classify $P = αN$ random patterns by optimally selecting $M = ρN$ variables out of $N$ variables. While the Cover--Gardner theory establishes that a random subset of $ρN$ dimensions can separate $αN$ random patterns if and only if $α< 2ρ$, we demonstrate that optimal variable selection can surpass this bound by developing a method, based on the replica method from statistical mechanics, for enumerating the combinations of variables that enable perfect pattern classification. This not only provides a quantitative criterion for distinguishing true structure in the data from spurious regularities, but also yields the storage capacity of associative memory models with sparse asymmetric couplings.
• Abstract（参考訳）: 機械学習における中心的な課題は、高次元データにおける真の構造と確率相関を区別することである。 本稿では,ニューラルネットワークの基本モデルであるパーセプトロンについて,この問題に対処する。 具体的には、パターンロード$α$と、単純なパーセプトロンが$P = αN$ランダムパターンを完全に分類できる変数選択比$ρ$の関係を、$N$変数から$M = ρN$変数を最適に選択することで検討する。 Cover-Gardner理論は、$ρN$次元のランダム部分集合が$αN$ランダムパターンを分離できることと、$α<2ρ$の場合に限り、最適な変数選択が、完全なパターン分類を可能にする変数の組み合わせを列挙する統計力学のレプリカ法に基づく方法を開発することによって、この境界を超えることを証明している。 これは、データの真の構造を急激な正規性と区別するための定量的な基準を提供するだけでなく、疎非対称結合を持つ連想記憶モデルの記憶能力も提供する。

関連論文リスト

• DISCO: Diversifying Sample Condensation for Efficient Model Evaluation [59.01400190971061]
  コスト評価は傾向を低下させ、イノベーションのサイクルを遅くし、環境への影響を悪化させる。 モデル応答の多様性を最大化するサンプルを選択することが重要となる。 我々のメソッドである$textbfDiversifying Sample Condensation (DISCO)$は、最も大きなモデル不一致を持つトップkサンプルを選択します。
  論文  参考訳（メタデータ） (2025-10-09T08:53:59Z)
• Learning Compositional Functions with Transformers from Easy-to-Hard Data [63.96562216704653]
  我々は、$k$入力置換と$k$隠れ置換のインターリーブ構成を計算しなければならない$k$フォールド合成タスクの学習可能性について検討する。 この関数クラスは、$O(log k)$-depth変換器への勾配降下により、実行時とサンプルを$k$で効率的に学習できることを示す。
  論文  参考訳（メタデータ） (2025-05-29T17:22:00Z)
• Is Supervised Learning Really That Different from Unsupervised? [12.424687747519037]
  教師あり学習を2段階の手順に分解する方法を実証する。 線形およびカーネルリッジの回帰、スムーズなスプライン、ニューラルネットワークは、yにアクセスせずにトレーニングされ、標準のyベースと同等に動作することを示す。
  論文  参考訳（メタデータ） (2025-05-16T08:51:44Z)
• Let's Think Var-by-Var: Large Language Models Enable Ad Hoc Probabilistic Reasoning [15.568698101627088]
  大規模言語モデル(LLM)から共通感覚を抽出することを提案する。 私たちは、$textitguesstimation$の質問に焦点を合わせています。 我々のフレームワークは、そのような疑問に$textitad hoc$probabilistic modelで答える。
  論文  参考訳（メタデータ） (2024-12-03T01:53:06Z)
• Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
  単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。 我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
  論文  参考訳（メタデータ） (2024-03-08T18:50:19Z)
• EM for Mixture of Linear Regression with Clustered Data [6.948976192408852]
  分散データにおけるクラスタ構造をどのように活用して学習手法を改善するかについて議論する。 我々は、既知の期待値最大化(EM)法を用いて、依存サンプルの$m$バッチから最大値パラメータを推定する。 構造化データ上のEMが適切であれば、$m$が$eo(n)$になる限り、同じ統計的精度に達するのに$O(1)$しか必要としないことを示す。
  論文  参考訳（メタデータ） (2023-08-22T15:47:58Z)
• Conformalization of Sparse Generalized Linear Models [2.1485350418225244]
  等角予測法は、任意の有限サンプルサイズに対して有効である$y_n+1$の信頼セットを推定する。 魅力的ではあるが、そのような集合の計算は多くの回帰問題において計算不可能である。 経路追従アルゴリズムが共形予測集合を正確に近似する方法を示す。
  論文  参考訳（メタデータ） (2023-07-11T08:36:12Z)
• On the Identifiability and Estimation of Causal Location-Scale Noise Models [122.65417012597754]
  位置スケール・異方性雑音モデル(LSNM)のクラスについて検討する。 症例によっては, 因果方向が同定可能であることが示唆された。 我々は,LSNMの2つの推定器を提案し,その1つは(非線形)特徴写像に基づく推定器と,1つはニューラルネットワークに基づく推定器を提案する。
  論文  参考訳（メタデータ） (2022-10-13T17:18:59Z)
• $p$-Generalized Probit Regression and Scalable Maximum Likelihood Estimation via Sketching and Coresets [74.37849422071206]
  本稿では, 2次応答に対する一般化線形モデルである,$p$一般化プロビット回帰モデルについて検討する。 p$の一般化されたプロビット回帰に対する最大可能性推定器は、大容量データ上で$(1+varepsilon)$の係数まで効率的に近似できることを示す。
  論文  参考訳（メタデータ） (2022-03-25T10:54:41Z)
• Efficient and robust high-dimensional sparse logistic regression via nonlinear primal-dual hybrid gradient algorithms [0.0]
  弾性ネットペナルティによって正規化されるロジスティック回帰問題に対する解を確実に計算する反復アルゴリズムを提案する。 この結果は、一階最適化法に対して$O(min(m2n,mn2)log (1/epsilon))$の既知の複雑性境界を改善する。
  論文  参考訳（メタデータ） (2021-11-30T14:16:48Z)
• Improving Robustness and Generality of NLP Models Using Disentangled Representations [62.08794500431367]
  スーパービジョンニューラルネットワークはまず入力$x$を単一の表現$z$にマップし、次に出力ラベル$y$にマッピングする。 本研究では,非交叉表現学習の観点から,NLPモデルの堅牢性と汎用性を改善する手法を提案する。 提案した基準でトレーニングしたモデルは、広範囲の教師付き学習タスクにおいて、より堅牢性とドメイン適応性を向上することを示す。
  論文  参考訳（メタデータ） (2020-09-21T02:48:46Z)
• Neural Bayes: A Generic Parameterization Method for Unsupervised Representation Learning [175.34232468746245]
  本稿ではニューラルベイズと呼ばれるパラメータ化手法を提案する。 これは一般に計算が難しい統計量の計算を可能にする。 このパラメータ化のための2つの独立したユースケースを示す。
  論文  参考訳（メタデータ） (2020-02-20T22:28:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。