論文の概要: Random Feature Models with Learnable Activation Functions

• arxiv url: http://arxiv.org/abs/2411.19468v1
• Date: Fri, 29 Nov 2024 04:38:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 20:28:07.918837
• Title: Random Feature Models with Learnable Activation Functions
• Title（参考訳）: 学習可能なアクティベーション関数を持つランダム特徴モデル
• Authors: Zailin Ma, Jiansheng Yang, Yaodong Yang,
• Abstract要約: 学習可能活性化関数(RFLAF)を用いたランダム特徴モデルを提案する。 RFLAFは従来のランダム特徴(RF)モデルの表現性と解釈可能性を大幅に向上させる。 我々のモデルは、ランダムな特徴モデル内でより表現力のある、解釈可能なフレームワークを開発するための道を開く。
• 参考スコア（独自算出の注目度）: 10.908603300691064
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current random feature models typically rely on fixed activation functions, limiting their ability to capture diverse patterns in data. To address this, we introduce the Random Feature model with Learnable Activation Functions (RFLAF), a novel model that significantly enhances the expressivity and interpretability of traditional random feature (RF) models. We begin by studying the RF model with a single radial basis function, where we discover a new kernel and provide the first theoretical analysis on it. By integrating the basis functions with learnable weights, we show that RFLAF can represent a broad class of random feature models whose activation functions belong in $C_c(\mathbb{R})$. Theoretically, we prove that the model requires only about twice the parameter number compared to a traditional RF model to achieve the significant leap in expressivity. Experimentally, RFLAF demonstrates two key advantages: (1) it performs better across various tasks compared to traditional RF model with the same number of parameters, and (2) the optimized weights offer interpretability, as the learned activation function can be directly inferred from these weights. Our model paves the way for developing more expressive and interpretable frameworks within random feature models.
• Abstract（参考訳）: 現在のランダムな特徴モデルは、通常、固定されたアクティベーション関数に依存し、データのさまざまなパターンをキャプチャする能力を制限する。 そこで本研究では,従来のランダム特徴(RF)モデルの表現性と解釈性を大幅に向上させる新しいモデルである,学習可能活性化関数(RFLAF)を用いたランダム特徴モデルを提案する。 まず1つの放射基底関数でRFモデルを研究し、そこで新しいカーネルを発見し、その上で最初の理論的解析を行う。 基底関数と学習可能なウェイトを統合することにより、活性化関数が$C_c(\mathbb{R})$に属するような、RFLAFは広い種類のランダムな特徴モデルを表現することができることを示す。 理論的には、表現率の飛躍的な飛躍を達成するために、従来のRFモデルに比べてパラメータ数が約2倍必要であることが証明される。 実験により RFLAF は,(1) 同じパラメータ数を持つ従来のRFモデルと比較して,様々なタスクに対して優れた性能を示し,(2) 最適化された重みは,これらの重みから学習活性化関数を直接推定できるため,解釈可能性を提供する。 我々のモデルは、ランダムな特徴モデル内でより表現力のある、解釈可能なフレームワークを開発するための道を開く。

関連論文リスト

• Toward Improving fNIRS Classification: A Study on Activation Functions in Deep Neural Architectures [7.243563999211656]
  機能的近赤外分光法(fNIRS)のような領域における深部ニューラルネットワークの性能には活性化関数が不可欠である 本研究では,複数のディープラーニングアーキテクチャを用いて,fNIRS分類タスクに対する従来型およびフィールド固有のアクティベーション機能の評価を行った。
  論文  参考訳（メタデータ） (2025-07-15T15:58:36Z)
• FuncGenFoil: Airfoil Generation and Editing Model in Function Space [63.274584650021744]
  本稿では,FuncGenFoilについて紹介する。FuncGenFoilは,翼形状を関数曲線として直接再構成する関数空間生成モデルである。 実証的な評価は、FuncGenFoilが翼生成における最先端の手法を改善することを示している。
  論文  参考訳（メタデータ） (2025-02-15T07:56:58Z)
• LeRF: Learning Resampling Function for Adaptive and Efficient Image Interpolation [64.34935748707673]
  最近のディープニューラルネットワーク(DNN)は、学習データ前処理を導入することで、パフォーマンスを著しく向上させた。 本稿では,DNNが学習した構造的前提と局所的連続仮定の両方を活かした学習再サンプリング(Learning Resampling, LeRF)を提案する。 LeRFは空間的に異なる再サンプリング関数を入力画像ピクセルに割り当て、ニューラルネットワークを用いてこれらの再サンプリング関数の形状を予測する。
  論文  参考訳（メタデータ） (2024-07-13T16:09:45Z)
• Ensemble Deep Random Vector Functional Link Neural Network Based on Fuzzy Inference System [0.6437284704257459]
  アンサンブルディープランダムベクトル汎関数リンク(edRVFL)ニューラルネットワークは、従来の人工ニューラルネットワークの限界に対処する能力を示した。 本稿では,ファジィ推論システム(edRVFL-FIS)に基づく新しいEDRVFLを提案する。
  論文  参考訳（メタデータ） (2024-06-02T17:01:44Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Approximation of RKHS Functionals by Neural Networks [30.42446856477086]
  ニューラルネットワークを用いたHilbert空間(RKHS)を再現するカーネル上の関数の近似について検討する。 逆多重四元数、ガウス、ソボレフのカーネルによって誘導される場合の明示的な誤差境界を導出する。 ニューラルネットワークが回帰マップを正確に近似できることを示すため,機能回帰に本研究の成果を適用した。
  論文  参考訳（メタデータ） (2024-03-18T18:58:23Z)
• Extracting Reward Functions from Diffusion Models [7.834479563217133]
  意思決定拡散モデルは、低品質のデータに基づいて訓練し、報酬関数で操り、準最適軌道を生成する。 本研究では,低逆挙動をモデル化する意思決定拡散モデルと高逆挙動をモデル化するモデルを比較することで,報酬関数を抽出する問題を考察する。 提案手法は,2つの大規模画像生成拡散モデルから報酬様関数を学習することにより,シーケンシャルな意思決定を超えて一般化することを示す。
  論文  参考訳（メタデータ） (2023-06-01T17:59:12Z)
• Precise Asymptotic Analysis of Deep Random Feature Models [37.35013316704277]
  我々は、$L-$layer Deep random Feature (RF)モデルによる回帰の正確な表現を提供する。 等価ガウスモデルの異なる層における固有分布の変動を特徴付ける。
  論文  参考訳（メタデータ） (2023-02-13T09:30:25Z)
• Is Model Ensemble Necessary? Model-based RL via a Single Model with Lipschitz Regularized Value Function [23.255250192599327]
  確率力学モデルアンサンブルは、既存のモデルに基づく強化学習法で広く使われている。 値函数に対して、リプシッツ条件が強くなるほど、真の力学によって誘導されるベルマン作用素の間のギャップは小さくなる。
  論文  参考訳（メタデータ） (2023-02-02T17:27:16Z)
• Neural Estimation of Submodular Functions with Applications to Differentiable Subset Selection [50.14730810124592]
  サブモジュール関数と変種は、多様性とカバレッジを特徴付ける能力を通じて、データ選択と要約のための重要なツールとして登場した。 本稿では,モノトーンおよび非モノトーン部分モジュラー関数のためのフレキシブルニューラルネットワークであるFLEXSUBNETを提案する。
  論文  参考訳（メタデータ） (2022-10-20T06:00:45Z)
• Transformers with Learnable Activation Functions [63.98696070245065]
  我々は、Rational Activation Function (RAF) を用いて、入力データに基づいてトレーニング中の最適なアクティベーション関数を学習する。 RAFは、学習されたアクティベーション関数に従って事前学習されたモデルを分析し、解釈するための新しい研究方向を開く。
  論文  参考訳（メタデータ） (2022-08-30T09:47:31Z)
• Active Nearest Neighbor Regression Through Delaunay Refinement [79.93030583257597]
  近接回帰に基づく能動関数近似アルゴリズムを提案する。 我々のActive Nearest Neighbor Regressor (ANNR) は計算幾何学の Voronoi-Delaunay フレームワークに頼り、空間を一定の関数値のセルに分割する。
  論文  参考訳（メタデータ） (2022-06-16T10:24:03Z)
• Optimal Activation Functions for the Random Features Regression Model [7.381113319198103]
  我々は、ランダム特徴回帰モデルのテストエラーと感度の組合せを最小化する、アクティベーション関数ファミリー(AF)をクローズド形式で識別する。 最適AFSの使用がRFRモデルの確立された特性にどのように影響するかを示す。
  論文  参考訳（メタデータ） (2022-05-31T16:41:42Z)
• MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
  トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。 スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。 そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
  論文  参考訳（メタデータ） (2021-10-05T02:14:38Z)
• Modern Non-Linear Function-on-Function Regression [8.231050911072755]
  本稿では,ニューラルネットワークを用いた関数データに対する非線形関数オン関数回帰モデルを提案する。 FDNN(Functional Direct Neural Network)とFBNN(Functional Basis Neural Network)の2つのモデルフィッティング戦略を提案する。
  論文  参考訳（メタデータ） (2021-07-29T16:19:59Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• An Investigation of Potential Function Designs for Neural CRF [75.79555356970344]
  本稿では,ニューラルCRFモデルに対する一連の表現力のあるポテンシャル関数について検討する。 実験により, 隣接する2つのラベルと隣接する2つの単語のベクトル表現に基づく分解された二次ポテンシャル関数が, 常に最高の性能を達成することを示す。
  論文  参考訳（メタデータ） (2020-11-11T07:32:18Z)
• Learning Discrete Energy-based Models via Auxiliary-variable Local Exploration [130.89746032163106]
  離散構造データに対する条件付きおよび非条件付きEMMを学習するための新しいアルゴリズムであるALOEを提案する。 エネルギー関数とサンプリング器は、新しい変分型電力繰り返しにより効率よく訓練できることを示す。 本稿では、ソフトウェアテストのためのエネルギーモデルガイド付ファジィザについて、libfuzzerのようなよく設計されたファジィエンジンに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2020-11-10T19:31:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。