Fugu-MT 論文翻訳(概要): Moderate Adaptive Linear Units (MoLU)

論文の概要: Moderate Adaptive Linear Units (MoLU)

arxiv url: http://arxiv.org/abs/2302.13696v5
Date: Wed, 4 Sep 2024 10:21:32 GMT
ステータス: 処理完了
システム内更新日: 2024-09-07 07:10:38.196916
Title: Moderate Adaptive Linear Units (MoLU)
Title（参考訳）: モード適応線形ユニット(MoLU)
Authors: Hankyul Koh, Joon-hyuk Ko, Wonho Jhe,
Abstract要約: 深層ニューラルネットワークのための新しい高性能アクティベーション関数であるModrate Adaptive Linear Unit (MoLU)を提案する。 MoLUはシンプルで美しく強力なアクティベーション関数であり、数百のアクティベーション関数の中で優れたメインアクティベーション関数となる。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We propose a new high-performance activation function, Moderate Adaptive Linear Units (MoLU), for the deep neural network. The MoLU is a simple, beautiful and powerful activation function that can be a good main activation function among hundreds of activation functions. Because the MoLU is made up of the elementary functions, not only it is a diffeomorphism (i.e. analytic over whole domains), but also it reduces the training time.
Abstract（参考訳）: 深層ニューラルネットワークのための新しい高性能アクティベーション関数であるModrate Adaptive Linear Units (MoLU)を提案する。 MoLUはシンプルで美しく強力なアクティベーション関数であり、数百のアクティベーション関数の中で優れたメインアクティベーション関数となる。 MoLU は基本函数からなるので、微分同相(すなわち、全領域を解析する)であるだけでなく、訓練時間を短縮する。

関連論文リスト

Trainable Highly-expressive Activation Functions [8.662179223772089]
トレーニング可能な高表現能アクティベーション機能であるDiTACを紹介する。 DiTACはモデル表現性と性能を高め、しばしば大幅な改善をもたらす。また、セマンティックセグメンテーション、画像生成、回帰問題、画像分類といったタスクにおいて、既存のアクティベーション関数(後者が固定可能かトレーニング可能かに関わらず)を上回っている。
論文参考訳（メタデータ） (2024-07-10T11:49:29Z)
Expanded Gating Ranges Improve Activation Functions [0.0]
拡張ArcTanリニアユニット(xATLU)、拡張GELU(xGELU)、拡張SiLU(xSiLU)は、トランスアーキテクチャ内の既存のアクティベーション関数より優れていることがわかった。また、拡張ゲーティング範囲は1次ゲーティング線形ユニット(GLU)の改善に有望な結果を示すことも示している。
論文参考訳（メタデータ） (2024-05-25T09:12:17Z)
Use Your INSTINCT: INSTruction optimization for LLMs usIng Neural bandits Coupled with Transformers [66.823588073584]
大規模言語モデル (LLM) は命令追従能力に優れ、様々なアプリケーションで優れた性能を発揮している。最近の研究は、ブラックボックスLLMに与えられる命令を自動的に最適化するために、クエリ効率のよいベイズ最適化(BO)アルゴリズムを用いている。 NNサロゲートによりBOのGPを置換し,ブラックボックスLLMの命令を最適化するニューラルバンディットアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-10-02T02:01:16Z)
Saturated Non-Monotonic Activation Functions [21.16866749728754]
SGELU, SSiLU, SMishはGELU, SiLU, Mishの負の部分とReLUの正の部分から構成される。 CIFAR-100における画像分類実験の結果,提案するアクティベーション関数は,複数のディープラーニングアーキテクチャにおいて,高い有効性と,最先端のベースラインよりも優れていたことが示唆された。
論文参考訳（メタデータ） (2023-05-12T15:01:06Z)
Neural Estimation of Submodular Functions with Applications to Differentiable Subset Selection [50.14730810124592]
サブモジュール関数と変種は、多様性とカバレッジを特徴付ける能力を通じて、データ選択と要約のための重要なツールとして登場した。本稿では,モノトーンおよび非モノトーン部分モジュラー関数のためのフレキシブルニューラルネットワークであるFLEXSUBNETを提案する。
論文参考訳（メタデータ） (2022-10-20T06:00:45Z)
SMU: smooth activation function for deep networks using smoothing maximum technique [1.5267236995686555]
本稿では、Leaky ReLUのような既知のアクティベーション関数の近似に基づく新しいアクティベーション関数を提案する。 ShuffleNet V2モデルでCIFAR100データセットを6.22%改善しました。
論文参考訳（メタデータ） (2021-11-08T17:54:08Z)
Growing Cosine Unit: A Novel Oscillatory Activation Function That Can Speedup Training and Reduce Parameters in Convolutional Neural Networks [0.1529342790344802]
畳み込みニューラルネットワークは多くの社会的に重要で経済的に重要な問題を解くことに成功した。ディープネットワークのトレーニングを可能にする重要な発見は、Rectified Linear Unit (ReLU) アクティベーション機能の採用であった。新しい活性化関数 C(z) = z cos z は様々なアーキテクチャ上で Sigmoids, Swish, Mish, ReLU より優れる。
論文参考訳（メタデータ） (2021-08-30T01:07:05Z)
Submodular + Concave [53.208470310734825]
第一次最適化法が凹関数の最大目的値に収束できることはよく確立されている。本研究では、滑らかな函数凸体(英語版)の行列式を$F(x) = G(x) +C(x)$で始める。このクラスの函数は、保証がないような凹凸函数と連続DR-部分モジュラ函数の両方の拡張である。
論文参考訳（メタデータ） (2021-06-09T01:59:55Z)
Neural Function Modules with Sparse Arguments: A Dynamic Approach to Integrating Information across Layers [84.57980167400513]
Neural Function Modules (NFM)は、ディープラーニングに同じ構造機能を導入することを目的としている。トップダウンとボトムアップのフィードバックを組み合わせたフィードフォワードネットワークのコンテキストにおける作業のほとんどは、分類の問題に限られている。私たちの仕事の重要な貢献は、フレキシブルなアルゴリズムで注意、疎結合、トップダウン、ボトムアップのフィードバックを組み合わせることです。
論文参考訳（メタデータ） (2020-10-15T20:43:17Z)
Continuous Submodular Function Maximization [91.17492610120324]
連続部分モジュラリティ (continuous submodularity) は、幅広い応用を持つ関数のクラスである。連続的な部分モジュラ最適化の応用は、影響、推論のMAP、フィールドへの推論など多岐にわたる。
論文参考訳（メタデータ） (2020-06-24T04:37:31Z)
From Sets to Multisets: Provable Variational Inference for Probabilistic Integer Submodular Models [82.95892656532696]
サブモジュール関数は機械学習やデータマイニングにおいて広く研究されている。本研究では,整数部分モジュラ函数に対する連続DR-部分モジュラ拡張を提案する。整数部分モジュラー関数によって定義される新しい確率モデルを定式化する。
論文参考訳（メタデータ） (2020-06-01T22:20:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。