論文の概要: Exploring the Relationship: Transformative Adaptive Activation Functions in Comparison to Other Activation Functions

• arxiv url: http://arxiv.org/abs/2402.09249v1
• Date: Wed, 14 Feb 2024 15:37:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-15 14:57:21.316822
• Title: Exploring the Relationship: Transformative Adaptive Activation Functions in Comparison to Other Activation Functions
• Title（参考訳）: 関連性を探る: 変換適応活性化関数と他の活性化関数との比較
• Authors: Vladim\'ir Kunc
• Abstract要約: この研究は変換適応活性化関数(TAAF)を他の活性化関数の文脈に設定する。 TAAFは50以上の既存の活性化関数を一般化し、同様の概念を70以上の他の活性化関数として利用している。 この包括的な探索は、TAAFをニューラルネットワークへの有望で適応可能な追加として位置づけている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks are the state-of-the-art approach for many tasks and the activation function is one of the main building blocks that allow such performance. Recently, a novel transformative adaptive activation function (TAAF) allowing for any vertical and horizontal translation and scaling was proposed. This work sets the TAAF into the context of other activation functions. It shows that the TAAFs generalize over 50 existing activation functions and utilize similar concepts as over 70 other activation functions, underscoring the versatility of TAAFs. This comprehensive exploration positions TAAFs as a promising and adaptable addition to neural networks.
• Abstract（参考訳）: ニューラルネットワークは多くのタスクの最先端のアプローチであり、アクティベーション機能はそのようなパフォーマンスを実現する主要なビルディングブロックの1つである。 近年,垂直および水平の翻訳とスケーリングが可能な新しい変換適応活性化関数(TAAF)が提案されている。 この作業はTAAFを他の活性化関数のコンテキストに設定する。 TAAFは50以上の既存の活性化関数を一般化し、同様の概念を70以上の他の活性化関数として利用し、TAAFの汎用性を裏付けている。 この包括的な探索は、TAAFをニューラルネットワークへの有望で適応可能な追加として位置づけている。

関連論文リスト

• Trainable Highly-expressive Activation Functions [8.662179223772089]
  トレーニング可能な高表現能アクティベーション機能であるDiTACを紹介する。 DiTACはモデル表現性と性能を高め、しばしば大幅な改善をもたらす。 また、セマンティックセグメンテーション、画像生成、回帰問題、画像分類といったタスクにおいて、既存のアクティベーション関数(後者が固定可能かトレーニング可能かに関わらず)を上回っている。
  論文  参考訳（メタデータ） (2024-07-10T11:49:29Z)
• Going Beyond Neural Network Feature Similarity: The Network Feature Complexity and Its Interpretation Using Category Theory [64.06519549649495]
  機能的に等価な機能と呼ぶものの定義を提供します。 これらの特徴は特定の変換の下で等価な出力を生成する。 反復的特徴マージ(Iterative Feature Merging)というアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-10T16:27:12Z)
• ErfReLU: Adaptive Activation Function for Deep Neural Network [1.9336815376402716]
  近年の研究では、出力に非線形性を加えるために選択されたアクティベーション関数が、ディープラーニングネットワークの有効性に大きな影響を与えることが報告されている。 研究者は最近、学習プロセスを通してトレーニングできるアクティベーション関数の開発を始めた。 Sigmoid、ReLU、Tanhなどのアートアクティベーション機能とその特性について、簡単に説明されている。
  論文  参考訳（メタデータ） (2023-06-02T13:41:47Z)
• How important are activation functions in regression and classification? A survey, performance comparison, and future directions [0.0]
  我々は過去に採用されてきたアクティベーション機能と現在の最先端技術について調査する。 近年,科学計算に関わる問題を解くために,物理インフォームド機械学習フレームワークが登場している。
  論文  参考訳（メタデータ） (2022-09-06T17:51:52Z)
• Transformers with Learnable Activation Functions [63.98696070245065]
  我々は、Rational Activation Function (RAF) を用いて、入力データに基づいてトレーニング中の最適なアクティベーション関数を学習する。 RAFは、学習されたアクティベーション関数に従って事前学習されたモデルを分析し、解釈するための新しい研究方向を開く。
  論文  参考訳（メタデータ） (2022-08-30T09:47:31Z)
• Plug and Play, Model-Based Reinforcement Learning [60.813074750879615]
  我々は、既知のオブジェクトクラスから新しいオブジェクトをゼロショットで統合できるオブジェクトベースの表現を導入する。 これは、グローバル遷移力学を局所遷移関数の和として表現することで達成される。 実験により, 様々なセットアップにおいて, サンプル効率が達成できることが示された。
  論文  参考訳（メタデータ） (2021-08-20T01:20:15Z)
• Efficient Feature Transformations for Discriminative and Generative Continual Learning [98.10425163678082]
  継続的学習のための簡易タスク特化機能マップ変換戦略を提案する。 これらは新しいタスクを学習するための強力な柔軟性を提供し、ベースアーキテクチャに最小パラメータを追加することで実現される。 本手法の有効性と効率を,判別(cifar-100およびimagenet-1k)および生成的タスクの一連の実験を用いて実証する。
  論文  参考訳（メタデータ） (2021-03-25T01:48:14Z)
• Efficient Continual Adaptation for Generative Adversarial Networks [97.20244383723853]
  GAN(Generative Adversarial Network)に対する連続学習手法を提案する。 我々のアプローチは、グローバルパラメータとタスク固有のパラメータのセットを学習することに基づいている。 機能マップ変換に基づくアプローチは,最先端のgans手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-03-06T05:09:37Z)
• FIVES: Feature Interaction Via Edge Search for Large-Scale Tabular Data [106.76845921324704]
  本稿では,FIVES (Feature Interaction Via Edge Search) という新しい手法を提案する。 FIVESは、定義された特徴グラフ上のエッジを探すために、インタラクティブな特徴生成のタスクを定式化する。 本稿では,対話的特徴の探索を動機づける理論的証拠を提示する。
  論文  参考訳（メタデータ） (2020-07-29T03:33:18Z)
• Discovering Parametric Activation Functions [17.369163074697475]
  本稿では,アクティベーション機能を自動でカスタマイズする手法を提案する。 CIFAR-10とCIFAR-100の画像分類データセット上の4つの異なるニューラルネットワークアーキテクチャによる実験は、このアプローチが有効であることを示している。
  論文  参考訳（メタデータ） (2020-06-05T00:25:33Z)
• A survey on modern trainable activation functions [0.0]
  本稿では,訓練可能なアクティベーション関数の分類法を提案し,近年のモデルと過去のモデルの共通性と特異性を強調した。 提案手法の多くは、固定的な(訓練不能な)アクティベーション関数を使用するニューロン層の追加と等価であることを示す。
  論文  参考訳（メタデータ） (2020-05-02T12:38:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。