論文の概要: A parametric activation function based on Wendland RBF

• arxiv url: http://arxiv.org/abs/2507.11493v1
• Date: Sat, 28 Jun 2025 11:35:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-20 22:54:22.108937
• Title: A parametric activation function based on Wendland RBF
• Title（参考訳）: ウェンドランドRBFに基づくパラメトリックアクティベーション関数
• Authors: Majid Darehmiraki,
• Abstract要約: ウェンドランド放射基底関数(RBF)は、ReLU、シグモイド、タンなどの従来の活性化関数の制限に対応するために適応される。 提案された拡張ウェンドランド活性化は、標準ウェンドランド成分と線形および指数項を組み合わせることで、調整可能な局所性、勾配伝播の改善、訓練中の安定性の向上を提供する。 その結果、ウェンドランドをベースとしたアクティベーションは、特に回帰タスクにおいて、計算効率を保ちながら、特定のシナリオにおいてより優れた精度を達成することが示された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces a novel parametric activation function based on Wendland radial basis functions (RBFs) for deep neural networks. Wendland RBFs, known for their compact support, smoothness, and positive definiteness in approximation theory, are adapted to address limitations of traditional activation functions like ReLU, sigmoid, and tanh. The proposed enhanced Wendland activation combines a standard Wendland component with linear and exponential terms, offering tunable locality, improved gradient propagation, and enhanced stability during training. Theoretical analysis highlights its mathematical properties, including smoothness and adaptability, while empirical experiments on synthetic tasks (e.g., sine wave approximation) and benchmark datasets (MNIST, Fashion-MNIST) demonstrate competitive performance. Results show that the Wendland-based activation achieves superior accuracy in certain scenarios, particularly in regression tasks, while maintaining computational efficiency. The study bridges classical RBF theory with modern deep learning, suggesting that Wendland activations can mitigate overfitting and improve generalization through localized, smooth transformations. Future directions include hybrid architectures and domain-specific adaptations.
• Abstract（参考訳）: 本稿では,深部ニューラルネットワークのためのWendland radial basis function(RBF)に基づく新しいパラメトリックアクティベーション関数を提案する。 ウェンドランドRBFは、近似理論におけるコンパクトな支持、滑らかさ、正の定性で知られており、ReLU、シグモイド、タンハといった伝統的な活性化関数の極限に適応している。 提案された拡張ウェンドランド活性化は、標準ウェンドランド成分と線形および指数項を組み合わせることで、調整可能な局所性、勾配伝播の改善、訓練中の安定性の向上を提供する。 理論解析は、滑らかさや適応性を含む数学的性質を強調し、合成タスク(例えば、正弦波近似)とベンチマークデータセット(MNIST、Fashion-MNIST)の実験的実験は、競争性能を実証している。 その結果、ウェンドランドをベースとしたアクティベーションは、特に回帰タスクにおいて、計算効率を保ちながら、特定のシナリオにおいてより優れた精度を達成することが示された。 この研究は古典的RBF理論を現代のディープラーニングに橋渡しし、ウェンドランドの活性化が局所的で滑らかな変換を通じて過度な適合を緩和し、一般化を改善することを示唆している。 今後の方向性には、ハイブリッドアーキテクチャとドメイン固有の適応が含まれる。

関連論文リスト

• Implicit Reward as the Bridge: A Unified View of SFT and DPO Connections [65.36449542323277]
  本稿では,Large Language Model (LLM) 後の学習において,SFT(Supervised Fine-Tuning) と優先学習を統合した理論フレームワークを提案する。 そこで本研究では,学習率の簡易かつ効果的な削減手法を提案する。
  論文  参考訳（メタデータ） (2025-06-15T05:42:29Z)
• Solving Nonlinear PDEs with Sparse Radial Basis Function Networks [0.0]
  本稿では,スパルスラジアル基底関数(RBF)ネットワークを用いた非線形PDEの解法を提案する。 この研究は、従来のRBFコロケーション法における長年にわたる課題と、物理インフォームドニューラルネットワーク(PINN)とガウス過程(GP)アプローチの限界によって動機付けられている。
  論文  参考訳（メタデータ） (2025-05-12T17:12:53Z)
• A Survey on Kolmogorov-Arnold Network [0.0]
  Kolmogorov-Arnold Networks(KAN)の理論的基礎、進化、応用、そして将来の可能性 Kanは、固定活性化関数の代わりに学習可能なスプラインパラメータ化関数を使用することで、従来のニューラルネットワークと区別する。 本稿では,最近のニューラルアーキテクチャにおけるkanの役割を強調し,データ集約型アプリケーションにおける計算効率,解釈可能性,拡張性を改善するための今後の方向性を概説する。
  論文  参考訳（メタデータ） (2024-11-09T05:54:17Z)
• Revisiting the Equivalence of Bayesian Neural Networks and Gaussian Processes: On the Importance of Learning Activations [1.0468715529145969]
  トレーニング可能なアクティベーションは、広範囲なBNNに対するGP前の効果的なマッピングに不可欠であることを示す。 また、設計によるグローバルな定常性を確保するためのトレーニング可能な周期的アクティベーションも導入する。
  論文  参考訳（メタデータ） (2024-10-21T08:42:10Z)
• Implicit Generative Prior for Bayesian Neural Networks [8.013264410621357]
  複雑なデータ構造のための新しいニューラルネットワーク型経験ベイズ(NA-EB)フレームワークを提案する。 NA-EBフレームワークは変分推論と勾配上昇アルゴリズムを組み合わせたものである。 各種タスクの広範囲な評価を通じて,本フレームワークの実践的応用を実証する。
  論文  参考訳（メタデータ） (2024-04-27T21:00:38Z)
• PNeRFLoc: Visual Localization with Point-based Neural Radiance Fields [54.8553158441296]
  統一された点ベース表現に基づく新しい視覚的ローカライゼーションフレームワーク PNeRFLoc を提案する。 一方、PNeRFLocは2次元特徴点と3次元特徴点をマッチングして初期ポーズ推定をサポートする。 一方、レンダリングベースの最適化を用いた新しいビュー合成によるポーズ改善も実現している。
  論文  参考訳（メタデータ） (2023-12-17T08:30:00Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Neural Characteristic Activation Analysis and Geometric Parameterization for ReLU Networks [2.2713084727838115]
  本稿では,個々のニューロンの特徴的活性化境界を調べることによって,ReLUネットワークのトレーニングダイナミクスを解析するための新しいアプローチを提案する。 提案手法は,コンバージェンス最適化におけるニューラルネットワークのパラメータ化と正規化において重要な不安定性を示し,高速収束を阻害し,性能を損なう。
  論文  参考訳（メタデータ） (2023-05-25T10:19:13Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Towards Flexibility and Interpretability of Gaussian Process State-Space Model [4.75409418039844]
  我々はTGPSSMと呼ばれる新しい確率的状態空間モデルを提案する。 TGPSSMはパラメトリック正規化フローを利用して、標準GPSSMのGPプリエントを豊かにする。 本稿では,潜在状態の変動分布に柔軟かつ最適な構造を提供するスケーラブルな変分推論アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-01-21T01:26:26Z)
• Neural Proximal/Trust Region Policy Optimization Attains Globally Optimal Policy [119.12515258771302]
  オーバーパラメトリゼーションを備えたPPOOの変種が,グローバルな最適ネットワークに収束することを示す。 我々の分析の鍵は、1次元の単調性の概念の下で無限勾配の反復であり、そこでは勾配はネットワークによって瞬く。
  論文  参考訳（メタデータ） (2019-06-25T03:20:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。