論文の概要: Fractional Concepts in Neural Networks: Enhancing Activation Functions

• arxiv url: http://arxiv.org/abs/2310.11875v2
• Date: Fri, 10 Jan 2025 10:15:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-13 15:25:17.954326
• Title: Fractional Concepts in Neural Networks: Enhancing Activation Functions
• Title（参考訳）: ニューラルネットワークにおけるフラクショナル概念:アクティベーション関数の強化
• Authors: Zahra Alijani, Vojtech Molek,
• Abstract要約: 本研究では、活性化関数のチューナブルパラメータとして分数次微分(FDO)を導入することにより、分数計算をニューラルネットワークに統合する。 各種データセットおよびネットワークアーキテクチャ上でのこれらの分数活性化関数の評価を行い、それらの性能と従来型および新しいアクティベーション関数との比較を行った。
• 参考スコア（独自算出の注目度）: 0.6445605125467574
• License:
• Abstract: Designing effective neural networks requires tuning architectural elements. This study integrates fractional calculus into neural networks by introducing fractional order derivatives (FDO) as tunable parameters in activation functions, allowing diverse activation functions by adjusting the FDO. We evaluate these fractional activation functions on various datasets and network architectures, comparing their performance with traditional and new activation functions. Our experiments assess their impact on accuracy, time complexity, computational overhead, and memory usage. Results suggest fractional activation functions, particularly fractional Sigmoid, offer benefits in some scenarios. Challenges related to consistency and efficiency remain. Practical implications and limitations are discussed.
• Abstract（参考訳）: 効果的なニューラルネットワークの設計には、アーキテクチャ要素のチューニングが必要である。 本研究では、活性化関数の調整可能なパラメータとして分数次微分(FDO)を導入し、FDOを調整することで多様な活性化機能を実現することにより、分数次計算をニューラルネットワークに統合する。 各種データセットおよびネットワークアーキテクチャ上でのこれらの分数活性化関数の評価を行い、それらの性能と従来型および新しいアクティベーション関数との比較を行った。 実験では、精度、時間的複雑さ、計算オーバーヘッド、メモリ使用量への影響を評価した。 結果は、分数的活性化関数、特に分数的シグモイドがいくつかのシナリオで利点をもたらすことを示唆している。 一貫性と効率性に関する課題が残っている。 現実的な意味と限界について論じる。

関連論文リスト

• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Manipulating Feature Visualizations with Gradient Slingshots [54.31109240020007]
  本稿では,モデルの決定過程に大きな影響を及ぼすことなく,特徴可視化(FV)を操作する新しい手法を提案する。 ニューラルネットワークモデルにおける本手法の有効性を評価し,任意の選択したニューロンの機能を隠蔽する能力を示す。
  論文  参考訳（メタデータ） (2024-01-11T18:57:17Z)
• Continual Learning via Sequential Function-Space Variational Inference [65.96686740015902]
  連続学習を逐次関数空間変動推論として定式化した目的を提案する。 ニューラルネットワークの予測を直接正規化する目的と比較して、提案した目的はより柔軟な変動分布を可能にする。 タスクシーケンスの範囲で、逐次関数空間変動推論によってトレーニングされたニューラルネットワークは、関連する手法でトレーニングされたネットワークよりも予測精度が良いことを実証した。
  論文  参考訳（メタデータ） (2023-12-28T18:44:32Z)
• ENN: A Neural Network with DCT Adaptive Activation Functions [2.2713084727838115]
  離散コサイン変換(DCT)を用いて非線形活性化関数をモデル化する新しいモデルであるExpressive Neural Network(ENN)を提案する。 このパラメータ化は、トレーニング可能なパラメータの数を低く保ち、勾配ベースのスキームに適合し、異なる学習タスクに適応する。 ENNのパフォーマンスは、いくつかのシナリオにおいて40%以上の精度のギャップを提供する、アートベンチマークの状態を上回ります。
  論文  参考訳（メタデータ） (2023-07-02T21:46:30Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Simple initialization and parametrization of sinusoidal networks via their kernel bandwidth [92.25666446274188]
  従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。 まず,このような正弦波ニューラルネットワークの簡易版を提案する。 次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
  論文  参考訳（メタデータ） (2022-11-26T07:41:48Z)
• Consensus Function from an $L_p^q-$norm Regularization Term for its Use as Adaptive Activation Functions in Neural Networks [0.0]
  本稿では,学習過程においてその形状に適応する暗黙的,パラメトリックな非線形活性化関数の定義と利用を提案する。 この事実は、ネットワーク内で最適化するパラメータの空間を増大させるが、柔軟性を高め、ニューラルネットワークの概念を一般化する。 予備的な結果は、この種の適応的アクティベーション関数によるニューラルネットワークの使用は、回帰や分類の例における誤差を減少させることを示している。
  論文  参考訳（メタデータ） (2022-06-30T04:48:14Z)
• Deep Kronecker neural networks: A general framework for neural networks with adaptive activation functions [4.932130498861987]
  我々は,適応的アクティベーション機能を持つニューラルネットワークの汎用フレームワークとして,新しいタイプのニューラルネットワークKronecker Neural Network(KNN)を提案する。 適切な条件下では、KNNはフィードフォワードネットワークによる損失よりも早く損失を減少させる。
  論文  参考訳（メタデータ） (2021-05-20T04:54:57Z)
• No one-hidden-layer neural network can represent multivariable functions [0.0]
  ニューラルネットワークによる関数近似において、各隠れ層ユニットのパラメータを最適化することにより、入力データセットを出力インデックスにマッピングする。 整列線形単位(ReLU)アクティベーション関数を持つ一隠れ層ニューラルネットワークの連続バージョンを構築することにより、パラメータとその第2の導関数に制約を与える。
  論文  参考訳（メタデータ） (2020-06-19T06:46:54Z)
• Rational neural networks [3.4376560669160394]
  我々は合理的な活性化機能を持つニューラルネットワークを考える。 有理ニューラルネットワークが指数関数的に小さいReLUネットワークよりもスムーズな関数を効率的に近似していることを証明する。
  論文  参考訳（メタデータ） (2020-04-04T10:36:11Z)
• Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
  本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。 上記の問題に対処するための特徴歪み法(Disout)を提案する。 より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
  論文  参考訳（メタデータ） (2020-02-23T13:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。