論文の概要: Random Feature Models with Learnable Activation Functions

• arxiv url: http://arxiv.org/abs/2411.19468v1
• Date: Fri, 29 Nov 2024 04:38:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:19:23.884107
• Title: Random Feature Models with Learnable Activation Functions
• Title（参考訳）: 学習可能なアクティベーション関数を持つランダム特徴モデル
• Authors: Zailin Ma, Jiansheng Yang, Yaodong Yang,
• Abstract要約: 学習可能活性化関数(RFLAF)を用いたランダム特徴モデルを提案する。 RFLAFは従来のランダム特徴(RF)モデルの表現性と解釈可能性を大幅に向上させる。 我々のモデルは、ランダムな特徴モデル内でより表現力のある、解釈可能なフレームワークを開発するための道を開く。
• 参考スコア（独自算出の注目度）: 10.908603300691064
• License:
• Abstract: Current random feature models typically rely on fixed activation functions, limiting their ability to capture diverse patterns in data. To address this, we introduce the Random Feature model with Learnable Activation Functions (RFLAF), a novel model that significantly enhances the expressivity and interpretability of traditional random feature (RF) models. We begin by studying the RF model with a single radial basis function, where we discover a new kernel and provide the first theoretical analysis on it. By integrating the basis functions with learnable weights, we show that RFLAF can represent a broad class of random feature models whose activation functions belong in $C_c(\mathbb{R})$. Theoretically, we prove that the model requires only about twice the parameter number compared to a traditional RF model to achieve the significant leap in expressivity. Experimentally, RFLAF demonstrates two key advantages: (1) it performs better across various tasks compared to traditional RF model with the same number of parameters, and (2) the optimized weights offer interpretability, as the learned activation function can be directly inferred from these weights. Our model paves the way for developing more expressive and interpretable frameworks within random feature models.
• Abstract（参考訳）: 現在のランダムな特徴モデルは、通常、固定されたアクティベーション関数に依存し、データのさまざまなパターンをキャプチャする能力を制限する。 そこで本研究では,従来のランダム特徴(RF)モデルの表現性と解釈性を大幅に向上させる新しいモデルである,学習可能活性化関数(RFLAF)を用いたランダム特徴モデルを提案する。 まず1つの放射基底関数でRFモデルを研究し、そこで新しいカーネルを発見し、その上で最初の理論的解析を行う。 基底関数と学習可能なウェイトを統合することにより、活性化関数が$C_c(\mathbb{R})$に属するような、RFLAFは広い種類のランダムな特徴モデルを表現することができることを示す。 理論的には、表現率の飛躍的な飛躍を達成するために、従来のRFモデルに比べてパラメータ数が約2倍必要であることが証明される。 実験により RFLAF は,(1) 同じパラメータ数を持つ従来のRFモデルと比較して,様々なタスクに対して優れた性能を示し,(2) 最適化された重みは,これらの重みから学習活性化関数を直接推定できるため,解釈可能性を提供する。 我々のモデルは、ランダムな特徴モデル内でより表現力のある、解釈可能なフレームワークを開発するための道を開く。

関連論文リスト

• Ensemble Deep Random Vector Functional Link Neural Network Based on Fuzzy Inference System [0.6437284704257459]
  アンサンブルディープランダムベクトル汎関数リンク(edRVFL)ニューラルネットワークは、従来の人工ニューラルネットワークの限界に対処する能力を示した。 本稿では,ファジィ推論システム(edRVFL-FIS)に基づく新しいEDRVFLを提案する。
  論文  参考訳（メタデータ） (2024-06-02T17:01:44Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Extracting Reward Functions from Diffusion Models [7.834479563217133]
  意思決定拡散モデルは、低品質のデータに基づいて訓練し、報酬関数で操り、準最適軌道を生成する。 本研究では,低逆挙動をモデル化する意思決定拡散モデルと高逆挙動をモデル化するモデルを比較することで,報酬関数を抽出する問題を考察する。 提案手法は,2つの大規模画像生成拡散モデルから報酬様関数を学習することにより,シーケンシャルな意思決定を超えて一般化することを示す。
  論文  参考訳（メタデータ） (2023-06-01T17:59:12Z)
• Precise Asymptotic Analysis of Deep Random Feature Models [37.35013316704277]
  我々は、$L-$layer Deep random Feature (RF)モデルによる回帰の正確な表現を提供する。 等価ガウスモデルの異なる層における固有分布の変動を特徴付ける。
  論文  参考訳（メタデータ） (2023-02-13T09:30:25Z)
• Is Model Ensemble Necessary? Model-based RL via a Single Model with Lipschitz Regularized Value Function [23.255250192599327]
  確率力学モデルアンサンブルは、既存のモデルに基づく強化学習法で広く使われている。 値函数に対して、リプシッツ条件が強くなるほど、真の力学によって誘導されるベルマン作用素の間のギャップは小さくなる。
  論文  参考訳（メタデータ） (2023-02-02T17:27:16Z)
• Transformers with Learnable Activation Functions [63.98696070245065]
  我々は、Rational Activation Function (RAF) を用いて、入力データに基づいてトレーニング中の最適なアクティベーション関数を学習する。 RAFは、学習されたアクティベーション関数に従って事前学習されたモデルを分析し、解釈するための新しい研究方向を開く。
  論文  参考訳（メタデータ） (2022-08-30T09:47:31Z)
• MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
  トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。 スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。 そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
  論文  参考訳（メタデータ） (2021-10-05T02:14:38Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• An Investigation of Potential Function Designs for Neural CRF [75.79555356970344]
  本稿では,ニューラルCRFモデルに対する一連の表現力のあるポテンシャル関数について検討する。 実験により, 隣接する2つのラベルと隣接する2つの単語のベクトル表現に基づく分解された二次ポテンシャル関数が, 常に最高の性能を達成することを示す。
  論文  参考訳（メタデータ） (2020-11-11T07:32:18Z)
• Learning Discrete Energy-based Models via Auxiliary-variable Local Exploration [130.89746032163106]
  離散構造データに対する条件付きおよび非条件付きEMMを学習するための新しいアルゴリズムであるALOEを提案する。 エネルギー関数とサンプリング器は、新しい変分型電力繰り返しにより効率よく訓練できることを示す。 本稿では、ソフトウェアテストのためのエネルギーモデルガイド付ファジィザについて、libfuzzerのようなよく設計されたファジィエンジンに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2020-11-10T19:31:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。