論文の概要: Learning Expressive Random Feature Models via Parametrized Activations

• arxiv url: http://arxiv.org/abs/2411.19468v3
• Date: Wed, 05 Nov 2025 06:51:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-06 20:32:09.351048
• Title: Learning Expressive Random Feature Models via Parametrized Activations
• Title（参考訳）: パラメタライズドアクティベーションによる表現的ランダム特徴モデルの学習
• Authors: Zailin Ma, Jiansheng Yang, Yaodong Yang,
• Abstract要約: 学習可能活性化関数(RFLAF)を用いたランダム特徴モデルを提案する。 RFLAFは、アクティベーション関数をランダム特徴フレームワーク内の基底関数の重み付け和としてパラメータ化する。 学習可能なアクティベーション成分を持つRAFFが表される関数空間を大きく広げていることを示す。
• 参考スコア（独自算出の注目度）: 13.5257960837278
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Random feature (RF) method is a powerful kernel approximation technique, but is typically equipped with fixed activation functions, limiting its adaptability across diverse tasks. To overcome this limitation, we introduce the Random Feature Model with Learnable Activation Functions (RFLAF), a novel statistical model that parameterizes activation functions as weighted sums of basis functions within the random feature framework. Examples of basis functions include radial basis functions, spline functions, polynomials, and so forth. For theoretical results, we consider RBFs as representative basis functions. We start with a single RBF as the activation, and then extend the results to multiple RBFs, demonstrating that RF models with learnable activation component largely expand the represented function space. We provide estimates on the required number of samples and random features to achieve low excess risks. For experiments, we test RFLAF with three types of bases: radial basis functions, spline functions and polynomials. Experimental results show that RFLAFs with RBFs and splines consistently outperform other RF models, where RBFs show 3 times faster computational efficiency than splines. We then unfreeze the first-layer parameters and retrain the models, validating the expressivity advantage of learnable activation components on regular two-layer neural networks. Our work provides a deeper understanding of the component of learnable activation functions within modern neural network architectures.
• Abstract（参考訳）: ランダム機能(RF)法は強力なカーネル近似法であるが、通常、様々なタスクに適応性を制限する固定活性化関数を備えている。 この制限を克服するために、ランダム機能フレームワーク内の基底関数の重み付け和としてアクティベーション関数をパラメータ化する新しい統計モデル、RFLAF(Random Feature Model with Learnable Activation Function)を導入する。 基底関数の例としては、放射基底関数、スプライン関数、多項式などがある。 理論的には、RBFを代表基底関数とみなす。 まず1つのRBFを活性化とし、結果を複数のRBFに拡張し、学習可能なアクティベーション成分を持つRFモデルが表される関数空間を大きく拡張することを示した。 余剰リスクを低く抑えるために,必要なサンプル数とランダムな特徴を推定する。 実験では、ラジアル基底関数、スプライン関数、多項式の3種類の基底を用いてRAFAFを試験する。 実験の結果,RBFよりも3倍高速な計算効率を示すRBFやスプラインを用いたRAFFは,他のRFモデルよりも一貫して優れていた。 次に、第1層のパラメータを解凍し、モデルを再訓練し、通常の2層ニューラルネットワーク上での学習可能なアクティベーション成分の表現性を検証した。 私たちの研究は、現代のニューラルネットワークアーキテクチャにおける学習可能なアクティベーション機能のコンポーネントについて、より深く理解します。

関連論文リスト

• Toward Improving fNIRS Classification: A Study on Activation Functions in Deep Neural Architectures [7.243563999211656]
  機能的近赤外分光法(fNIRS)のような領域における深部ニューラルネットワークの性能には活性化関数が不可欠である 本研究では,複数のディープラーニングアーキテクチャを用いて,fNIRS分類タスクに対する従来型およびフィールド固有のアクティベーション機能の評価を行った。
  論文  参考訳（メタデータ） (2025-07-15T15:58:36Z)
• FuncGenFoil: Airfoil Generation and Editing Model in Function Space [63.274584650021744]
  本稿では,FuncGenFoilについて紹介する。FuncGenFoilは,翼形状を関数曲線として直接再構成する関数空間生成モデルである。 実証的な評価は、FuncGenFoilが翼生成における最先端の手法を改善することを示している。
  論文  参考訳（メタデータ） (2025-02-15T07:56:58Z)
• LeRF: Learning Resampling Function for Adaptive and Efficient Image Interpolation [64.34935748707673]
  最近のディープニューラルネットワーク(DNN)は、学習データ前処理を導入することで、パフォーマンスを著しく向上させた。 本稿では,DNNが学習した構造的前提と局所的連続仮定の両方を活かした学習再サンプリング(Learning Resampling, LeRF)を提案する。 LeRFは空間的に異なる再サンプリング関数を入力画像ピクセルに割り当て、ニューラルネットワークを用いてこれらの再サンプリング関数の形状を予測する。
  論文  参考訳（メタデータ） (2024-07-13T16:09:45Z)
• Ensemble Deep Random Vector Functional Link Neural Network Based on Fuzzy Inference System [0.6437284704257459]
  アンサンブルディープランダムベクトル汎関数リンク(edRVFL)ニューラルネットワークは、従来の人工ニューラルネットワークの限界に対処する能力を示した。 本稿では,ファジィ推論システム(edRVFL-FIS)に基づく新しいEDRVFLを提案する。
  論文  参考訳（メタデータ） (2024-06-02T17:01:44Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Approximation of RKHS Functionals by Neural Networks [30.42446856477086]
  ニューラルネットワークを用いたHilbert空間(RKHS)を再現するカーネル上の関数の近似について検討する。 逆多重四元数、ガウス、ソボレフのカーネルによって誘導される場合の明示的な誤差境界を導出する。 ニューラルネットワークが回帰マップを正確に近似できることを示すため,機能回帰に本研究の成果を適用した。
  論文  参考訳（メタデータ） (2024-03-18T18:58:23Z)
• Extracting Reward Functions from Diffusion Models [7.834479563217133]
  意思決定拡散モデルは、低品質のデータに基づいて訓練し、報酬関数で操り、準最適軌道を生成する。 本研究では,低逆挙動をモデル化する意思決定拡散モデルと高逆挙動をモデル化するモデルを比較することで,報酬関数を抽出する問題を考察する。 提案手法は,2つの大規模画像生成拡散モデルから報酬様関数を学習することにより,シーケンシャルな意思決定を超えて一般化することを示す。
  論文  参考訳（メタデータ） (2023-06-01T17:59:12Z)
• Precise Asymptotic Analysis of Deep Random Feature Models [37.35013316704277]
  我々は、$L-$layer Deep random Feature (RF)モデルによる回帰の正確な表現を提供する。 等価ガウスモデルの異なる層における固有分布の変動を特徴付ける。
  論文  参考訳（メタデータ） (2023-02-13T09:30:25Z)
• Is Model Ensemble Necessary? Model-based RL via a Single Model with Lipschitz Regularized Value Function [23.255250192599327]
  確率力学モデルアンサンブルは、既存のモデルに基づく強化学習法で広く使われている。 値函数に対して、リプシッツ条件が強くなるほど、真の力学によって誘導されるベルマン作用素の間のギャップは小さくなる。
  論文  参考訳（メタデータ） (2023-02-02T17:27:16Z)
• Neural Estimation of Submodular Functions with Applications to Differentiable Subset Selection [50.14730810124592]
  サブモジュール関数と変種は、多様性とカバレッジを特徴付ける能力を通じて、データ選択と要約のための重要なツールとして登場した。 本稿では,モノトーンおよび非モノトーン部分モジュラー関数のためのフレキシブルニューラルネットワークであるFLEXSUBNETを提案する。
  論文  参考訳（メタデータ） (2022-10-20T06:00:45Z)
• Transformers with Learnable Activation Functions [63.98696070245065]
  我々は、Rational Activation Function (RAF) を用いて、入力データに基づいてトレーニング中の最適なアクティベーション関数を学習する。 RAFは、学習されたアクティベーション関数に従って事前学習されたモデルを分析し、解釈するための新しい研究方向を開く。
  論文  参考訳（メタデータ） (2022-08-30T09:47:31Z)
• Active Nearest Neighbor Regression Through Delaunay Refinement [79.93030583257597]
  近接回帰に基づく能動関数近似アルゴリズムを提案する。 我々のActive Nearest Neighbor Regressor (ANNR) は計算幾何学の Voronoi-Delaunay フレームワークに頼り、空間を一定の関数値のセルに分割する。
  論文  参考訳（メタデータ） (2022-06-16T10:24:03Z)
• Optimal Activation Functions for the Random Features Regression Model [7.381113319198103]
  我々は、ランダム特徴回帰モデルのテストエラーと感度の組合せを最小化する、アクティベーション関数ファミリー(AF)をクローズド形式で識別する。 最適AFSの使用がRFRモデルの確立された特性にどのように影響するかを示す。
  論文  参考訳（メタデータ） (2022-05-31T16:41:42Z)
• MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
  トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。 スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。 そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
  論文  参考訳（メタデータ） (2021-10-05T02:14:38Z)
• Modern Non-Linear Function-on-Function Regression [8.231050911072755]
  本稿では,ニューラルネットワークを用いた関数データに対する非線形関数オン関数回帰モデルを提案する。 FDNN(Functional Direct Neural Network)とFBNN(Functional Basis Neural Network)の2つのモデルフィッティング戦略を提案する。
  論文  参考訳（メタデータ） (2021-07-29T16:19:59Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• An Investigation of Potential Function Designs for Neural CRF [75.79555356970344]
  本稿では,ニューラルCRFモデルに対する一連の表現力のあるポテンシャル関数について検討する。 実験により, 隣接する2つのラベルと隣接する2つの単語のベクトル表現に基づく分解された二次ポテンシャル関数が, 常に最高の性能を達成することを示す。
  論文  参考訳（メタデータ） (2020-11-11T07:32:18Z)
• Learning Discrete Energy-based Models via Auxiliary-variable Local Exploration [130.89746032163106]
  離散構造データに対する条件付きおよび非条件付きEMMを学習するための新しいアルゴリズムであるALOEを提案する。 エネルギー関数とサンプリング器は、新しい変分型電力繰り返しにより効率よく訓練できることを示す。 本稿では、ソフトウェアテストのためのエネルギーモデルガイド付ファジィザについて、libfuzzerのようなよく設計されたファジィエンジンに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2020-11-10T19:31:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。