論文の概要: Random Features Outperform Linear Models: Effect of Strong Input-Label Correlation in Spiked Covariance Data

• arxiv url: http://arxiv.org/abs/2409.20250v1
• Date: Mon, 30 Sep 2024 12:40:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-02 11:58:29.538556
• Title: Random Features Outperform Linear Models: Effect of Strong Input-Label Correlation in Spiked Covariance Data
• Title（参考訳）: 線形モデル上でのランダム特徴:スパイク共分散データにおける強入力-ラベル相関の影響
• Authors: Samet Demir, Zafer Dogan,
• Abstract要約: 入力とラベルの間に高い相関関係があることが,RAMが線形モデルより優れていることを示す。 RFMは,入力とラベルの相関関係の強さに依存する雑音モデルと等価であることを示す。
• 参考スコア（独自算出の注目度）: 0.8287206589886879
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Random Feature Model (RFM) with a nonlinear activation function is instrumental in understanding training and generalization performance in high-dimensional learning. While existing research has established an asymptotic equivalence in performance between the RFM and noisy linear models under isotropic data assumptions, empirical observations indicate that the RFM frequently surpasses linear models in practical applications. To address this gap, we ask, "When and how does the RFM outperform linear models?" In practice, inputs often have additional structures that significantly influence learning. Therefore, we explore the RFM under anisotropic input data characterized by spiked covariance in the proportional asymptotic limit, where dimensions diverge jointly while maintaining finite ratios. Our analysis reveals that a high correlation between inputs and labels is a critical factor enabling the RFM to outperform linear models. Moreover, we show that the RFM performs equivalent to noisy polynomial models, where the polynomial degree depends on the strength of the correlation between inputs and labels. Our numerical simulations validate these theoretical insights, confirming the performance-wise superiority of RFM in scenarios characterized by strong input-label correlation.
• Abstract（参考訳）: 非線形アクティベーション関数を持つランダム特徴モデル(RFM)は,高次元学習におけるトレーニングと一般化性能の理解に有効である。 既往の研究は、等方的データ仮定の下でのRAMとノイズのある線形モデルのパフォーマンスの漸近的等価性を確立しているが、経験的観測は、RAMが実際的な応用においてしばしば線形モデルを上回ることを示唆している。 このギャップに対処するために、我々は「いつ、どのようにRCMが線形モデルを上回るのか?」と尋ねる。 実際には、入力は学習に大きな影響を与える追加構造を持つことが多い。 そこで, 比例漸近限界におけるスパイク共分散を特徴とする異方性入力データに基づくRCMの探索を行った。 解析の結果,入力とラベルの相関性が高いことが,RAMが線形モデルより優れる重要な要因であることが判明した。 さらに, RFM は雑音多項式モデルと等価であり, 多項式次数は入力とラベルの相関関係の強さに依存することを示す。 我々の数値シミュレーションはこれらの理論的知見を検証し、強い入力-ラベル相関を特徴とするシナリオにおけるRCMの性能的優越性を検証した。

関連論文リスト

• Learning Divergence Fields for Shift-Robust Graph Representations [73.11818515795761]
  本研究では,相互依存データに対する問題に対して,学習可能な分散場を持つ幾何学的拡散モデルを提案する。 因果推論によって新たな学習目標が導出され、ドメイン間で無神経な相互依存の一般化可能なパターンを学習するためのモデルが導出される。
  論文  参考訳（メタデータ） (2024-06-07T14:29:21Z)
• Deep Latent Force Models: ODE-based Process Convolutions for Bayesian Deep Learning [0.0]
  深潜力モデル (DLFM) は、各層に物理インフォームドカーネルを持つ深いガウス過程である。 我々はDLFMの非線形実世界の時系列データに現れるダイナミクスを捉える能力の実証的証拠を提示する。 DLFMは,非物理インフォームド確率モデルに匹敵する性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2023-11-24T19:55:57Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Accuracy on the Curve: On the Nonlinear Correlation of ML Performance Between Data Subpopulations [24.579430688134185]
  サブポピュレーションシフトでは, 分布内(ID)と分布外(OOD)のアキュラシーの相関が増大することが示唆された。 本研究は,異なるサブ集団におけるモデル改良の非線形効果の理解の重要性を強調した。
  論文  参考訳（メタデータ） (2023-05-04T17:00:17Z)
• Biases in Inverse Ising Estimates of Near-Critical Behaviour [0.0]
  逆推論は、ペアワイズ相互作用を経験的相関から再構成することを可能にする。 Pseudo-likelihood (PLM) などの推定値に偏りが認められた。 データ駆動法は神経科学による機能的磁気共鳴イメージング(fMRI)データセットに研究され応用された。
  論文  参考訳（メタデータ） (2023-01-13T14:01:43Z)
• A Bayesian Framework on Asymmetric Mixture of Factor Analyser [0.0]
  本稿では、スキュー正規(無制限)一般化双曲型(SUNGH)分布のリッチで柔軟なクラスを持つMFAモデルを提案する。 SUNGHファミリーは、様々な方向の歪みをモデル化する柔軟性と、重み付きデータを可能にする。 因子分析モデルを考慮すると、SUNGHファミリーは誤差成分と因子スコアの両方の歪みと重みを許容する。
  論文  参考訳（メタデータ） (2022-11-01T20:19:52Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Optimal regularizations for data generation with probabilistic graphical models [0.0]
  経験的に、よく調和された正規化スキームは、推論されたモデルの品質を劇的に改善する。 生成的ペアワイドグラフィカルモデルの最大Aポストエリオーリ(MAP)推論におけるL2とL1の正規化について検討する。
  論文  参考訳（メタデータ） (2021-12-02T14:45:16Z)
• Accuracy on the Line: On the Strong Correlation Between Out-of-Distribution and In-Distribution Generalization [89.73665256847858]
  分布外性能は,広範囲なモデルと分布シフトに対する分布内性能と強く相関していることを示す。 具体的には,CIFAR-10 と ImageNet の変種に対する分布内分布と分布外分布性能の強い相関関係を示す。 また,CIFAR-10-Cと組織分類データセットCamelyon17-WILDSの合成分布の変化など,相関が弱いケースについても検討した。
  論文  参考訳（メタデータ） (2021-07-09T19:48:23Z)
• Quaternion Factorization Machines: A Lightweight Solution to Intricate Feature Interaction Modelling [76.89779231460193]
  factorization machine(fm)は、機能間の高次インタラクションを自動的に学習し、手動の機能エンジニアリングを必要とせずに予測を行うことができる。 本研究では,スパース予測解析のためのQFM(Quaternion factorization Machine)とQNFM(Quaternion neural factorization Machine)を提案する。
  論文  参考訳（メタデータ） (2021-04-05T00:02:36Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。