論文の概要: Hysteresis Activation Function for Efficient Inference

• arxiv url: http://arxiv.org/abs/2411.10573v1
• Date: Fri, 15 Nov 2024 20:46:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:36:29.830589
• Title: Hysteresis Activation Function for Efficient Inference
• Title（参考訳）: 効率的な推論のためのヒステリシス活性化関数
• Authors: Moshe Kimhi, Idan Kashani, Avi Mendelson, Chaim Baskin,
• Abstract要約: 本稿では,Hysteresis Rectified Linear Unit (HLU) を提案する。 トレーニングと推論のための固定しきい値を持つ従来のアクティベーション関数とは異なり、HLUはバックプロパゲーションを洗練させる可変しきい値を使用する。
• 参考スコア（独自算出の注目度）: 3.5223695602582614
• License:
• Abstract: The widely used ReLU is favored for its hardware efficiency, {as the implementation at inference is a one bit sign case,} yet suffers from issues such as the ``dying ReLU'' problem, where during training, neurons fail to activate and constantly remain at zero, as highlighted by Lu et al. Traditional approaches to mitigate this issue often introduce more complex and less hardware-friendly activation functions. In this work, we propose a Hysteresis Rectified Linear Unit (HeLU), an efficient activation function designed to address the ``dying ReLU'' problem with minimal complexity. Unlike traditional activation functions with fixed thresholds for training and inference, HeLU employs a variable threshold that refines the backpropagation. This refined mechanism allows simpler activation functions to achieve competitive performance comparable to their more complex counterparts without introducing unnecessary complexity or requiring inductive biases. Empirical evaluations demonstrate that HeLU enhances model generalization across diverse datasets, offering a promising solution for efficient and effective inference suitable for a wide range of neural network architectures.
• Abstract（参考訳）: 広く使われているReLUは、ハードウェア効率に好まれる; {inferenceの実装が1ビットのサインケースであるように、"dying ReLU'"問題のような問題に悩まされている。 本研究では,Hysteresis Rectified Linear Unit (HLU)を提案する。 トレーニングと推論のための固定しきい値を持つ従来のアクティベーション関数とは異なり、HLUはバックプロパゲーションを洗練させる可変しきい値を使用する。 この改良されたメカニズムにより、より単純なアクティベーション関数は、不要な複雑さや誘導バイアスを伴わずに、より複雑な機能に匹敵する競争性能を達成することができる。 実証的な評価によると、HuLはさまざまなデータセットにわたるモデル一般化を強化し、幅広いニューラルネットワークアーキテクチャに適した効率的かつ効果的な推論のための有望なソリューションを提供する。

関連論文リスト

• FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
  本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-15T16:45:16Z)
• A Method on Searching Better Activation Functions [15.180864683908878]
  深層ニューラルネットワークにおける静的活性化関数を設計するためのエントロピーに基づくアクティベーション関数最適化(EAFO)手法を提案する。 我々は、CRRELU(Correction Regularized ReLU)として知られるReLUから新しいアクティベーション関数を導出する。
  論文  参考訳（メタデータ） (2024-05-19T03:48:05Z)
• ReLU$^2$ Wins: Discovering Efficient Activation Functions for Sparse LLMs [91.31204876440765]
  本稿では、ニューロンの出力の等級と調整された等級しきい値によってニューロンの活性化を定義する一般的な方法を提案する。 スパース計算における最も効率的なアクティベーション関数を見つけるために,本手法を提案する。 我々は、ReLU、SwiGLU、ReGLU、ReLU$2$といった異なるアクティベーション機能を利用したLCMの徹底的な実験を行う。
  論文  参考訳（メタデータ） (2024-02-06T08:45:51Z)
• Stable and Robust Deep Learning By Hyperbolic Tangent Exponential Linear Unit (TeLU) [2.1485350418225244]
  本稿では,f(x) = xcdottanh(ex)$と表現された新しいニューラルネットワーク活性化関数を提案する。 TeLUは、ReLU、GELU、Mishといった従来のアクティベーション機能の制限を克服するように設計されている。 我々の理論的解析と実証評価により、TeLUは既存の活性化関数よりも安定性と堅牢性で優れていることが判明した。
  論文  参考訳（メタデータ） (2024-02-05T07:56:02Z)
• ReLU Strikes Back: Exploiting Activation Sparsity in Large Language Models [35.77063662562747]
  数十億のパラメータを持つ大規模言語モデル(LLM)は、AIアプリケーションを大幅に変革した。 推論中に要求される計算は、リソースに制約のあるデバイスに展開する上で大きな課題を提起している。 本稿では,ReLUアクティベーション関数の使用がコンバージェンスや性能に悪影響を及ぼす一方で,計算量や重量移動を著しく削減できることを実証する。
  論文  参考訳（メタデータ） (2023-10-06T20:01:33Z)
• Generalized Activation via Multivariate Projection [46.837481855573145]
  活性化関数はニューラルネットワークに非線形性を導入するのに不可欠である。 我々は、ReLU を R から非負半直線 R+ への射影とみなす。 一般化された射影作用素でReLUを2次錐(SOC)射影のような凸錐に置換することでReLUを拡張する。
  論文  参考訳（メタデータ） (2023-09-29T12:44:27Z)
• Efficient Model-Free Exploration in Low-Rank MDPs [76.87340323826945]
  低ランクマルコフ決定プロセスは、関数近似を持つRLに対して単純だが表現力のあるフレームワークを提供する。 既存のアルゴリズムは、(1)計算的に抽出可能であるか、または(2)制限的な統計的仮定に依存している。 提案手法は,低ランクMPPの探索のための最初の実証可能なサンプル効率アルゴリズムである。
  論文  参考訳（メタデータ） (2023-07-08T15:41:48Z)
• Online reinforcement learning with sparse rewards through an active inference capsule [62.997667081978825]
  本稿では,将来期待される新しい自由エネルギーを最小化するアクティブ推論エージェントを提案する。 我々のモデルは、非常に高いサンプル効率でスパース・リワード問題を解くことができる。 また、複雑な目的の表現を単純化する報奨関数から事前モデルを近似する新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-06-04T10:03:36Z)
• Learning DNN networks using un-rectifying ReLU with compressed sensing application [4.111899441919165]
  この研究におけるReLUネットワークは未修正である。 実験では, 圧縮センシングリカバリ問題に対する新しいアプローチにより, 最先端の性能が得られた。
  論文  参考訳（メタデータ） (2021-01-18T09:04:37Z)
• Jump Operator Planning: Goal-Conditioned Policy Ensembles and Zero-Shot Transfer [71.44215606325005]
  本稿では,シーケンシャルなサブゴールタスクの超指数空間における解を高速に計算するための,Jump-Operator Dynamic Programmingという新しいフレームワークを提案する。 このアプローチでは、時間的に拡張された行動として機能する、再利用可能な目標条件付き警察のアンサンブルを制御する。 すると、この部分空間上の目的関数のクラスを、解がグラウンド化に不変であるものとして特定し、最適ゼロショット移動をもたらす。
  論文  参考訳（メタデータ） (2020-07-06T05:13:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。