論文の概要: On the Generalization Properties of Learning the Random Feature Models with Learnable Activation Functions

• arxiv url: http://arxiv.org/abs/2510.15327v1
• Date: Fri, 17 Oct 2025 05:29:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-20 20:17:34.481158
• Title: On the Generalization Properties of Learning the Random Feature Models with Learnable Activation Functions
• Title（参考訳）: 学習可能な活性化関数を持つランダム特徴モデルの学習の一般化特性について
• Authors: Zailin Ma, Jiansheng Yang, Yaodong Yang,
• Abstract要約: 我々は最近提案されたカーネル手法である学習可能活性化関数を用いたランダム特徴モデル(RFLAF)の一般化特性について検討した。 特徴量生成にデータ依存型サンプリング方式を適用することにより、回帰処理と分類処理の両方において、RAFAFを学習するために必要な特徴量に、はるかに厳しい制約を課すことができる。 重み付きRAFFは, 通常のRAFAFと比較すると, 特徴量が少なく, 同じ性能を達成できることが示される。
• 参考スコア（独自算出の注目度）: 13.5257960837278
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper studies the generalization properties of a recently proposed kernel method, the Random Feature models with Learnable Activation Functions (RFLAF). By applying a data-dependent sampling scheme for generating features, we provide by far the sharpest bounds on the required number of features for learning RFLAF in both the regression and classification tasks. We provide a unified theorem that describes the complexity of the feature number $s$, and discuss the results for the plain sampling scheme and the data-dependent leverage weighted scheme. Through weighted sampling, the bound on $s$ in the MSE loss case is improved from $\Omega(1/\epsilon^2)$ to $\tilde{\Omega}((1/\epsilon)^{1/t})$ in general $(t\geq 1)$, and even to $\Omega(1)$ when the Gram matrix has a finite rank. For the Lipschitz loss case, the bound is improved from $\Omega(1/\epsilon^2)$ to $\tilde{\Omega}((1/\epsilon^2)^{1/t})$. To learn the weighted RFLAF, we also propose an algorithm to find an approximate kernel and then apply the leverage weighted sampling. Empirical results show that the weighted RFLAF achieves the same performances with a significantly fewer number of features compared to the plainly sampled RFLAF, validating our theories and the effectiveness of this method.
• Abstract（参考訳）: 本稿では,最近提案されたカーネル手法であるRandom Feature Model with Learnable Activation Function (RFLAF)の一般化特性について検討する。 特徴量生成にデータ依存型サンプリング方式を適用することにより、回帰処理と分類処理の両方において、RAFAFを学習するために必要な特徴量に、はるかに厳しい制約を課すことができる。 本稿では,特徴数$s$の複雑さを記述した統一定理を提案し,平易なサンプリングスキームとデータ依存レバレッジ重み付けスキームの結果について議論する。 加重サンプリングにより、MSE損失の場合の$s$の上限は$\Omega(1/\epsilon^2)$から$\tilde{\Omega}((1/\epsilon)^{1/t})$に改善される。 リプシッツ損失の場合、境界は$\Omega(1/\epsilon^2)$から$\tilde{\Omega(1/\epsilon^2)^{1/t})$に改善される。 また、重み付きRAFFを学習するために、近似カーネルを探索し、重み付きサンプリングを適用するアルゴリズムを提案する。 実験結果から, 重み付きRAFFは, 通常のRAFAFと比較すると, 非常に少ない特徴で同じ性能を達成し, 理論と本手法の有効性を検証した。

関連論文リスト

• Theoretical limits of descending $\ell_0$ sparse-regression ML algorithms [0.0]
  本研究では,emphmaximum-likelihood (ML)デコーディングの性能解析プログラムを開発した。 ML性能パラメータの鍵となるのは、残留エンフェロ平均二乗誤差(textbfRMSE$)を発見し、いわゆるエンフェロ遷移(PT)現象を示す。 Fl RDTの具体的実装と実用的妥当性は、典型的には、基礎となる数値評価のサイズのセットを実行する能力に依存している。
  論文  参考訳（メタデータ） (2024-10-10T06:33:41Z)
• Model-adapted Fourier sampling for generative compressed sensing [7.130302992490975]
  測定行列が一意行列からランダムにサブサンプリングされたとき, 生成的圧縮センシングについて検討した。 我々は,textitO(kd| boldsymbolalpha|_22)$の測定精度を改良したモデル適応サンプリング戦略を構築した。
  論文  参考訳（メタデータ） (2023-10-08T03:13:16Z)
• Improved Sample Complexity for Reward-free Reinforcement Learning under Low-rank MDPs [43.53286390357673]
  本稿では,低ランクMDPモデルによる報酬なし強化学習に焦点を当てた。 我々はまず、低ランクのMDPの下での任意のアルゴリズムに対して、最初の既知のサンプル複雑性の低い境界を提供する。 次に、RAFFLEと呼ばれる新しいモデルベースアルゴリズムを提案し、$epsilon$-optimal Policyを見つけ、$epsilon$-accurate system IDを実現できることを示す。
  論文  参考訳（メタデータ） (2023-03-20T04:39:39Z)
• Breaking the Sample Complexity Barrier to Regret-Optimal Model-Free Reinforcement Learning [52.76230802067506]
  漸進的強化学習における後悔を最小限に抑えるために,新しいモデルフリーアルゴリズムを提案する。 提案アルゴリズムは、2つのQ-ラーニングシーケンスの助けを借りて、初期設定された参照更新ルールを用いる。 初期の分散還元法の設計原理は、他のRL設定とは独立した関心を持つかもしれない。
  論文  参考訳（メタデータ） (2021-10-09T21:13:48Z)
• Sharp Analysis of Random Fourier Features in Classification [9.383533125404755]
  ランダムなフーリエ特徴分類が,Omega(sqrtn log n)$機能のみで,O(sqrtn)$学習率を達成できることを初めて示す。
  論文  参考訳（メタデータ） (2021-09-22T09:49:27Z)
• Towards Sample-Optimal Compressive Phase Retrieval with Sparse and Generative Priors [59.33977545294148]
  O(k log L)$サンプルは振幅に基づく経験損失関数を最小化する任意のベクトルに信号が近いことを保証するのに十分であることを示す。 この結果はスパース位相検索に適応し、基底信号が$s$-sparseおよび$n$-dimensionalである場合、$O(s log n)$サンプルは同様の保証に十分であることを示す。
  論文  参考訳（メタデータ） (2021-06-29T12:49:54Z)
• Randomized Exploration for Reinforcement Learning with General Value Function Approximation [122.70803181751135]
  本稿では,ランダム化最小二乗値反復(RLSVI)アルゴリズムに着想を得たモデルレス強化学習アルゴリズムを提案する。 提案アルゴリズムは,スカラーノイズを用いたトレーニングデータを簡易に摂動させることにより,探索を促進する。 我々はこの理論を、既知の困難な探査課題にまたがる実証的な評価で補完する。
  論文  参考訳（メタデータ） (2021-06-15T02:23:07Z)
• Tightening the Dependence on Horizon in the Sample Complexity of Q-Learning [59.71676469100807]
  この研究は、同期Q-ラーニングのサンプルの複雑さを、任意の$0varepsilon 1$に対して$frac|mathcalS| (1-gamma)4varepsilon2$の順序に絞る。 計算やストレージを余分に必要とせずに、高速なq-learningにマッチするvanilla q-learningの有効性を明らかにした。
  論文  参考訳（メタデータ） (2021-02-12T14:22:05Z)
• Model-Based Multi-Agent RL in Zero-Sum Markov Games with Near-Optimal Sample Complexity [67.02490430380415]
  モデルに基づくMARLは、Nash平衡値(NE)を求めるために$tilde O(|S||B|(gamma)-3epsilon-2)$のサンプル複雑性を実現する。 また、アルゴリズムが報酬に依存しない場合、そのようなサンプル境界は最小値(対数因子まで)であり、アルゴリズムは報酬知識のない遷移サンプルを問合せする。
  論文  参考訳（メタデータ） (2020-07-15T03:25:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。