論文の概要: Learning Expressive Random Feature Models via Parametrized Activations

• arxiv url: http://arxiv.org/abs/2411.19468v2
• Date: Sun, 13 Jul 2025 04:13:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-15 14:36:06.743854
• Title: Learning Expressive Random Feature Models via Parametrized Activations
• Title（参考訳）: パラメタライズドアクティベーションによる表現的ランダム特徴モデルの学習
• Authors: Zailin Ma, Jiansheng Yang, Yaodong Yang,
• Abstract要約: 学習可能活性化関数(RFLAF)を用いたランダム特徴モデルを提案する。 RFLAFは、アクティベーション関数を基底関数の重み付け和としてパラメータ化することでモデル表現性を向上する。 私たちの研究は、現代のニューラルネットワークアーキテクチャにおける学習可能なアクティベーション機能のコンポーネントについて、より深く理解します。
• 参考スコア（独自算出の注目度）: 10.908603300691064
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Random feature (RF) method is a powerful kernel approximation technique, but is typically equipped with fixed activation functions, limiting its adaptability across diverse tasks. To overcome this limitation, we introduce the Random Feature Model with Learnable Activation Functions (RFLAF), which enhances the model expressivity by parameterizing activation functions as weighted sums of basis functions. Specifically, we propose to use radial basis functions (RBFs) as bases. We first analyze the RF model with a single RBF activation, deriving a novel kernel and presenting its theoretical properties. Extending this to multiple RBFs, we show that RFLAF significantly expands the function space of RF models while maintaining parameter efficiency. Experimental results across multiple tasks demonstrate that RFLAF consistently outperforms standard RF models with minimal extra computational cost. Furthermore, RFLAF showcases the ability of recovering the optimal activation function directly from data. Our work provides a deeper understanding of the component of learnable activation functions within modern neural networks architectures.
• Abstract（参考訳）: ランダム機能(RF)法は強力なカーネル近似法であるが、通常、様々なタスクに適応性を制限する固定活性化関数を備えている。 この制限を克服するために、ベース関数の重み付け和としてアクティベーション関数をパラメータ化することでモデル表現性を向上させる、学習可能なアクティベーション関数付きランダム特徴モデル(RFLAF)を導入する。 具体的には,放射状基底関数(RBF)を基底として用いることを提案する。 まず、単一RBF活性化によるRFモデルの解析を行い、新しいカーネルを導出し、その理論的特性を示す。 これを複数のRBFに拡張することにより、RFモデルの関数空間をパラメータ効率を保ちながら大幅に拡張することを示す。 複数のタスクにまたがる実験の結果、RAFAFは計算コストを最小限に抑えて標準RFモデルより一貫して優れていた。 さらに、RAFAFはデータから直接最適なアクティベーション関数を回復する能力を示す。 私たちの研究は、現代のニューラルネットワークアーキテクチャにおける学習可能なアクティベーション機能のコンポーネントについて、より深く理解します。

関連論文リスト

• Toward Improving fNIRS Classification: A Study on Activation Functions in Deep Neural Architectures [7.243563999211656]
  機能的近赤外分光法(fNIRS)のような領域における深部ニューラルネットワークの性能には活性化関数が不可欠である 本研究では,複数のディープラーニングアーキテクチャを用いて,fNIRS分類タスクに対する従来型およびフィールド固有のアクティベーション機能の評価を行った。
  論文  参考訳（メタデータ） (2025-07-15T15:58:36Z)
• FuncGenFoil: Airfoil Generation and Editing Model in Function Space [63.274584650021744]
  本稿では,FuncGenFoilについて紹介する。FuncGenFoilは,翼形状を関数曲線として直接再構成する関数空間生成モデルである。 実証的な評価は、FuncGenFoilが翼生成における最先端の手法を改善することを示している。
  論文  参考訳（メタデータ） (2025-02-15T07:56:58Z)
• LeRF: Learning Resampling Function for Adaptive and Efficient Image Interpolation [64.34935748707673]
  最近のディープニューラルネットワーク(DNN)は、学習データ前処理を導入することで、パフォーマンスを著しく向上させた。 本稿では,DNNが学習した構造的前提と局所的連続仮定の両方を活かした学習再サンプリング(Learning Resampling, LeRF)を提案する。 LeRFは空間的に異なる再サンプリング関数を入力画像ピクセルに割り当て、ニューラルネットワークを用いてこれらの再サンプリング関数の形状を予測する。
  論文  参考訳（メタデータ） (2024-07-13T16:09:45Z)
• Ensemble Deep Random Vector Functional Link Neural Network Based on Fuzzy Inference System [0.6437284704257459]
  アンサンブルディープランダムベクトル汎関数リンク(edRVFL)ニューラルネットワークは、従来の人工ニューラルネットワークの限界に対処する能力を示した。 本稿では,ファジィ推論システム(edRVFL-FIS)に基づく新しいEDRVFLを提案する。
  論文  参考訳（メタデータ） (2024-06-02T17:01:44Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Approximation of RKHS Functionals by Neural Networks [30.42446856477086]
  ニューラルネットワークを用いたHilbert空間(RKHS)を再現するカーネル上の関数の近似について検討する。 逆多重四元数、ガウス、ソボレフのカーネルによって誘導される場合の明示的な誤差境界を導出する。 ニューラルネットワークが回帰マップを正確に近似できることを示すため,機能回帰に本研究の成果を適用した。
  論文  参考訳（メタデータ） (2024-03-18T18:58:23Z)
• Extracting Reward Functions from Diffusion Models [7.834479563217133]
  意思決定拡散モデルは、低品質のデータに基づいて訓練し、報酬関数で操り、準最適軌道を生成する。 本研究では,低逆挙動をモデル化する意思決定拡散モデルと高逆挙動をモデル化するモデルを比較することで,報酬関数を抽出する問題を考察する。 提案手法は,2つの大規模画像生成拡散モデルから報酬様関数を学習することにより,シーケンシャルな意思決定を超えて一般化することを示す。
  論文  参考訳（メタデータ） (2023-06-01T17:59:12Z)
• Precise Asymptotic Analysis of Deep Random Feature Models [37.35013316704277]
  我々は、$L-$layer Deep random Feature (RF)モデルによる回帰の正確な表現を提供する。 等価ガウスモデルの異なる層における固有分布の変動を特徴付ける。
  論文  参考訳（メタデータ） (2023-02-13T09:30:25Z)
• Is Model Ensemble Necessary? Model-based RL via a Single Model with Lipschitz Regularized Value Function [23.255250192599327]
  確率力学モデルアンサンブルは、既存のモデルに基づく強化学習法で広く使われている。 値函数に対して、リプシッツ条件が強くなるほど、真の力学によって誘導されるベルマン作用素の間のギャップは小さくなる。
  論文  参考訳（メタデータ） (2023-02-02T17:27:16Z)
• Neural Estimation of Submodular Functions with Applications to Differentiable Subset Selection [50.14730810124592]
  サブモジュール関数と変種は、多様性とカバレッジを特徴付ける能力を通じて、データ選択と要約のための重要なツールとして登場した。 本稿では,モノトーンおよび非モノトーン部分モジュラー関数のためのフレキシブルニューラルネットワークであるFLEXSUBNETを提案する。
  論文  参考訳（メタデータ） (2022-10-20T06:00:45Z)
• Transformers with Learnable Activation Functions [63.98696070245065]
  我々は、Rational Activation Function (RAF) を用いて、入力データに基づいてトレーニング中の最適なアクティベーション関数を学習する。 RAFは、学習されたアクティベーション関数に従って事前学習されたモデルを分析し、解釈するための新しい研究方向を開く。
  論文  参考訳（メタデータ） (2022-08-30T09:47:31Z)
• Active Nearest Neighbor Regression Through Delaunay Refinement [79.93030583257597]
  近接回帰に基づく能動関数近似アルゴリズムを提案する。 我々のActive Nearest Neighbor Regressor (ANNR) は計算幾何学の Voronoi-Delaunay フレームワークに頼り、空間を一定の関数値のセルに分割する。
  論文  参考訳（メタデータ） (2022-06-16T10:24:03Z)
• Optimal Activation Functions for the Random Features Regression Model [7.381113319198103]
  我々は、ランダム特徴回帰モデルのテストエラーと感度の組合せを最小化する、アクティベーション関数ファミリー(AF)をクローズド形式で識別する。 最適AFSの使用がRFRモデルの確立された特性にどのように影響するかを示す。
  論文  参考訳（メタデータ） (2022-05-31T16:41:42Z)
• MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
  トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。 スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。 そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
  論文  参考訳（メタデータ） (2021-10-05T02:14:38Z)
• Modern Non-Linear Function-on-Function Regression [8.231050911072755]
  本稿では,ニューラルネットワークを用いた関数データに対する非線形関数オン関数回帰モデルを提案する。 FDNN(Functional Direct Neural Network)とFBNN(Functional Basis Neural Network)の2つのモデルフィッティング戦略を提案する。
  論文  参考訳（メタデータ） (2021-07-29T16:19:59Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• An Investigation of Potential Function Designs for Neural CRF [75.79555356970344]
  本稿では,ニューラルCRFモデルに対する一連の表現力のあるポテンシャル関数について検討する。 実験により, 隣接する2つのラベルと隣接する2つの単語のベクトル表現に基づく分解された二次ポテンシャル関数が, 常に最高の性能を達成することを示す。
  論文  参考訳（メタデータ） (2020-11-11T07:32:18Z)
• Learning Discrete Energy-based Models via Auxiliary-variable Local Exploration [130.89746032163106]
  離散構造データに対する条件付きおよび非条件付きEMMを学習するための新しいアルゴリズムであるALOEを提案する。 エネルギー関数とサンプリング器は、新しい変分型電力繰り返しにより効率よく訓練できることを示す。 本稿では、ソフトウェアテストのためのエネルギーモデルガイド付ファジィザについて、libfuzzerのようなよく設計されたファジィエンジンに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2020-11-10T19:31:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。