論文の概要: Exact Dynamics and Finite-Sample Trajectory Recovery of Linear Recursive Feature Machines

• arxiv url: http://arxiv.org/abs/2610.09196v1
• Date: Tue, 06 Oct 2026 22:45:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.639905
• Title: Exact Dynamics and Finite-Sample Trajectory Recovery of Linear Recursive Feature Machines
• Title（参考訳）: 線形再帰的特徴マシンのエクササイズダイナミクスと有限サンプル軌道復元
• Abstract要約: 等方的サブガウス入力データを用いた雑音多重出力回帰における線形RAMの力学と統計について検討する。 学習した特徴行列は、各イテレーションにおいてその無限データ理想行列に近づいたままであることを示す。
• 参考スコア（独自算出の注目度）: 11.765397639291786
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recursive feature machines (RFMs) learn representations of data by alternating between fitting a predictor to a dataset and updating features of that predictor using the average gradient outer product (AGOP). Connections between AGOPs and feature learning in neural networks motivate linear RFMs as a simple setting for analyzing how representations evolve during training. Here, we study the dynamics and statistics of linear RFM in noisy multi-output regression with isotropic sub-Gaussian input data and targets generated by a low-rank teacher matrix of dimension $d$. We extend the known connection between linear RFM and iteratively reweighted least squares from the interpolating setting to ridge-regularized multi-output regression with noise. We show that the learned feature matrix remains close to its infinite-data ideal counterpart at every iteration. Namely, for $n$ samples, we show the error in the feature matrix decays as $O(\sqrt{d/n})$ with high probability. Experiments on real-world text and single-cell gene-expression data illustrate the features learned by this simple linear model.
• Abstract（参考訳）: 再帰的特徴マシン(RFM)は、予測器をデータセットに適合させることと、平均勾配外積(AGOP)を使用して予測器の特徴を更新することで、データの表現を学習する。 AGOPとニューラルネットワークにおける特徴学習の関連性は、トレーニング中に表現がどのように進化するかを分析するための単純な設定として線形RAMを動機付けている。 本稿では、等方的なサブガウス入力データと、次元$d$の低ランクの教師行列によって生成されるターゲットを用いて、雑音の多いマルチアウトプット回帰における線形RAMのダイナミクスと統計について検討する。 我々は、線形RAMと繰り返し再重み付けされた最小二乗の既知接続を補間設定から、雑音を伴うリッジ正規化多重出力回帰まで拡張する。 学習した特徴行列は、各反復において無限データ理想行列に近づいたままであることを示す。 すなわち、$n$サンプルの場合、特徴行列の誤差は、高い確率で$O(\sqrt{d/n})$として崩壊する。 実世界のテキストと単細胞遺伝子の発現データを用いた実験は、この単純な線形モデルによって得られた特徴を示している。

関連論文リスト

• Disordered Dynamics in High Dimensions: Connections to Random Matrices and Machine Learning [52.26396748560348]
  ランダム行列によって駆動される高次元力学系について概説する。 機械学習理論における学習と一般化の単純なモデルへの応用に焦点を当てる。
  論文  参考訳（メタデータ） (2026-01-03T00:12:32Z)
• Highly Adaptive Ridge [84.38107748875144]
  直交可積分な部分微分を持つ右連続函数のクラスにおいて,$n-2/3$自由次元L2収束率を達成する回帰法を提案する。 Harは、飽和ゼロオーダーテンソル積スプライン基底展開に基づいて、特定のデータ適応型カーネルで正確にカーネルリッジレグレッションを行う。 我々は、特に小さなデータセットに対する最先端アルゴリズムよりも経験的性能が優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-03T17:06:06Z)
• Generalized Regression with Conditional GANs [2.4171019220503402]
  本稿では,学習データセットにおける特徴ラベルペアと,対応する入力と組み合わせて出力を区別できない予測関数を学習することを提案する。 回帰に対するこのアプローチは、私たちが適合するデータの分布に対する仮定を減らし、表現能力が向上することを示す。
  論文  参考訳（メタデータ） (2024-04-21T01:27:47Z)
• Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
  単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。 我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
  論文  参考訳（メタデータ） (2024-03-08T18:50:19Z)
• Linear Recursive Feature Machines provably recover low-rank matrices [17.530511273384786]
  我々は、RFMが次元還元を行うための最初の理論的保証を開発する。 反復重み付き最小二乗法 (IRLS) アルゴリズムを一般化する。 我々の結果は、ニューラルネットワークにおける特徴学習と古典的なスパースリカバリアルゴリズムの関連性に光を当てた。
  論文  参考訳（メタデータ） (2024-01-09T13:44:12Z)
• Learning from aggregated data with a maximum entropy model [73.63512438583375]
  我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。 我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
  論文  参考訳（メタデータ） (2022-10-05T09:17:27Z)
• uGLAD: Sparse graph recovery by optimizing deep unrolled networks [11.48281545083889]
  深層ネットワークを最適化してスパースグラフ復元を行う新しい手法を提案する。 我々のモデルであるuGLADは、最先端モデルGLADを教師なし設定に構築し、拡張します。 我々は, 遺伝子調節ネットワークから生成した合成ガウスデータ, 非ガウスデータを用いて, モデル解析を行い, 嫌気性消化の事例研究を行った。
  論文  参考訳（メタデータ） (2022-05-23T20:20:27Z)
• Evaluation of Tree Based Regression over Multiple Linear Regression for Non-normally Distributed Data in Battery Performance [0.5735035463793008]
  本研究では,機械学習モデル構築におけるデータ正規性の影響について検討する。 木に基づく回帰モデルと複数の線形回帰モデルは、それぞれ高度に歪んだ非正規データセットから構築される。
  論文  参考訳（メタデータ） (2021-11-03T20:28:24Z)
• Fast Approximate Multi-output Gaussian Processes [6.6174748514131165]
  提案手法のトレーニングには、$N×n$固有関数行列と$n×n$逆数しか必要とせず、$n$は選択された固有値の数である。 提案手法は,複数の出力に対して回帰し,任意の順序の回帰器の導関数を推定し,それらの相関関係を学習することができる。
  論文  参考訳（メタデータ） (2020-08-22T14:34:45Z)
• Improved guarantees and a multiple-descent curve for Column Subset Selection and the Nystr\"om method [76.73096213472897]
  我々は,データ行列のスペクトル特性を利用して近似保証を改良する手法を開発した。 我々のアプローチは、特異値減衰の既知の速度を持つデータセットのバウンダリが大幅に向上する。 RBFパラメータを変更すれば,改良された境界線と多重発振曲線の両方を実データセット上で観測できることが示される。
  論文  参考訳（メタデータ） (2020-02-21T00:43:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。