論文の概要: Fractional Concepts in Neural Networks: Enhancing Activation Functions

• arxiv url: http://arxiv.org/abs/2310.11875v2
• Date: Fri, 10 Jan 2025 10:15:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-13 15:25:17.954326
• Title: Fractional Concepts in Neural Networks: Enhancing Activation Functions
• Title（参考訳）: ニューラルネットワークにおけるフラクショナル概念:アクティベーション関数の強化
• Authors: Zahra Alijani, Vojtech Molek,
• Abstract要約: 本研究では、活性化関数のチューナブルパラメータとして分数次微分(FDO)を導入することにより、分数計算をニューラルネットワークに統合する。 各種データセットおよびネットワークアーキテクチャ上でのこれらの分数活性化関数の評価を行い、それらの性能と従来型および新しいアクティベーション関数との比較を行った。
• 参考スコア（独自算出の注目度）: 0.6445605125467574
• License:
• Abstract: Designing effective neural networks requires tuning architectural elements. This study integrates fractional calculus into neural networks by introducing fractional order derivatives (FDO) as tunable parameters in activation functions, allowing diverse activation functions by adjusting the FDO. We evaluate these fractional activation functions on various datasets and network architectures, comparing their performance with traditional and new activation functions. Our experiments assess their impact on accuracy, time complexity, computational overhead, and memory usage. Results suggest fractional activation functions, particularly fractional Sigmoid, offer benefits in some scenarios. Challenges related to consistency and efficiency remain. Practical implications and limitations are discussed.
• Abstract（参考訳）: 効果的なニューラルネットワークの設計には、アーキテクチャ要素のチューニングが必要である。 本研究では、活性化関数の調整可能なパラメータとして分数次微分(FDO)を導入し、FDOを調整することで多様な活性化機能を実現することにより、分数次計算をニューラルネットワークに統合する。 各種データセットおよびネットワークアーキテクチャ上でのこれらの分数活性化関数の評価を行い、それらの性能と従来型および新しいアクティベーション関数との比較を行った。 実験では、精度、時間的複雑さ、計算オーバーヘッド、メモリ使用量への影響を評価した。 結果は、分数的活性化関数、特に分数的シグモイドがいくつかのシナリオで利点をもたらすことを示唆している。 一貫性と効率性に関する課題が残っている。 現実的な意味と限界について論じる。

関連論文リスト

• FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
  本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-15T16:45:16Z)
• Going Beyond Neural Network Feature Similarity: The Network Feature Complexity and Its Interpretation Using Category Theory [64.06519549649495]
  機能的に等価な機能と呼ぶものの定義を提供します。 これらの特徴は特定の変換の下で等価な出力を生成する。 反復的特徴マージ(Iterative Feature Merging)というアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-10T16:27:12Z)
• ENN: A Neural Network with DCT Adaptive Activation Functions [2.2713084727838115]
  離散コサイン変換(DCT)を用いて非線形活性化関数をモデル化する新しいモデルであるExpressive Neural Network(ENN)を提案する。 このパラメータ化は、トレーニング可能なパラメータの数を低く保ち、勾配ベースのスキームに適合し、異なる学習タスクに適応する。 ENNのパフォーマンスは、いくつかのシナリオにおいて40%以上の精度のギャップを提供する、アートベンチマークの状態を上回ります。
  論文  参考訳（メタデータ） (2023-07-02T21:46:30Z)
• ASU-CNN: An Efficient Deep Architecture for Image Classification and Feature Visualizations [0.0]
  活性化関数はディープニューラルネットワークの能力を決定する上で決定的な役割を果たす。 本稿では,ASU-CNNと呼ばれる畳み込みニューラルネットワークモデルを提案する。 ネットワークは、CIFAR-10の分類のためのトレーニングデータとテストデータの両方において有望な結果を得た。
  論文  参考訳（メタデータ） (2023-05-28T16:52:25Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Unification of popular artificial neural network activation functions [0.0]
  本稿では,最も一般的なニューラルネットワーク活性化関数の統一表現について述べる。 分数計算のMittag-Leffler関数を採用することにより、フレキシブルでコンパクトな関数形式を提案する。
  論文  参考訳（メタデータ） (2023-02-21T21:20:59Z)
• Transformers with Learnable Activation Functions [63.98696070245065]
  我々は、Rational Activation Function (RAF) を用いて、入力データに基づいてトレーニング中の最適なアクティベーション関数を学習する。 RAFは、学習されたアクティベーション関数に従って事前学習されたモデルを分析し、解釈するための新しい研究方向を開く。
  論文  参考訳（メタデータ） (2022-08-30T09:47:31Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Otimizacao de pesos e funcoes de ativacao de redes neurais aplicadas na previsao de series temporais [0.0]
  本稿では,ニューラルネットワークにおける自由パラメータ非対称活性化関数群の利用を提案する。 定義された活性化関数の族は普遍近似定理の要求を満たすことを示す。 ニューラルネットワークの処理ユニット間の接続の重み付けと自由パラメータを用いたこの活性化関数系のグローバル最適化手法を用いる。
  論文  参考訳（メタデータ） (2021-07-29T23:32:15Z)
• Data-Driven Learning of Feedforward Neural Networks with Different Activation Functions [0.0]
  この研究は、フィードフォワードニューラルネットワーク(FNN)学習の新しいデータ駆動手法(D-DM)の開発に寄与する。
  論文  参考訳（メタデータ） (2021-07-04T18:20:27Z)
• Efficient Feature Transformations for Discriminative and Generative Continual Learning [98.10425163678082]
  継続的学習のための簡易タスク特化機能マップ変換戦略を提案する。 これらは新しいタスクを学習するための強力な柔軟性を提供し、ベースアーキテクチャに最小パラメータを追加することで実現される。 本手法の有効性と効率を,判別(cifar-100およびimagenet-1k)および生成的タスクの一連の実験を用いて実証する。
  論文  参考訳（メタデータ） (2021-03-25T01:48:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。