論文の概要: A Non-monotonic Smooth Activation Function

• arxiv url: http://arxiv.org/abs/2310.10126v1
• Date: Mon, 16 Oct 2023 07:09:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-17 15:58:36.225713
• Title: A Non-monotonic Smooth Activation Function
• Title（参考訳）: 非単調な平滑な活性化関数
• Authors: Koushik Biswas, Meghana Karri, Ula\c{s} Ba\u{g}c{\i}
• Abstract要約: 活性化関数は、ネットワークに非線形性を導入するため、ディープラーニングモデルにおいて不可欠である。 本研究では,非単調かつ滑らかな機能であるSqishと呼ばれる新しいアクティベーション関数を提案する。 分類,物体検出,セグメンテーションタスク,対向ロバストネス実験において,その優位性を示した。
• 参考スコア（独自算出の注目度）: 4.269446061678759
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Activation functions are crucial in deep learning models since they introduce non-linearity into the networks, allowing them to learn from errors and make adjustments, which is essential for learning complex patterns. The essential purpose of activation functions is to transform unprocessed input signals into significant output activations, promoting information transmission throughout the neural network. In this study, we propose a new activation function called Sqish, which is a non-monotonic and smooth function and an alternative to existing ones. We showed its superiority in classification, object detection, segmentation tasks, and adversarial robustness experiments. We got an 8.21% improvement over ReLU on the CIFAR100 dataset with the ShuffleNet V2 model in the FGSM adversarial attack. We also got a 5.87% improvement over ReLU on image classification on the CIFAR100 dataset with the ShuffleNet V2 model.
• Abstract（参考訳）: アクティベーション関数は、ネットワークに非線形性を導入し、エラーから学習し、複雑なパターンの学習に不可欠な調整を可能にするため、ディープラーニングモデルにおいて不可欠である。 アクティベーション関数の本質的な目的は、未処理の入力信号を重要な出力アクティベーションに変換し、ニューラルネットワーク全体の情報伝達を促進することである。 本研究では,非単調で滑らかな関数であり,既存の関数に代わる新しい活性化関数であるsqishを提案する。 分類,物体検出,セグメンテーションタスク,対向ロバストネス実験において,その優位性を示した。 我々は、FGSM攻撃におけるShuffleNet V2モデルを用いて、CIFAR100データセットのReLUよりも8.21%改善した。 また、ShuffleNet V2モデルによるCIFAR100データセットの画像分類では、ReLUよりも5.87%改善されています。

関連論文リスト

• Activation function optimization method: Learnable series linear units (LSLUs) [12.089173508371246]
  LSLU (Learnable Series Linear Units) と呼ばれる直列学習可能なac-tivation関数を提案する。 この方法は、精度を向上しつつ、ディープラーニングネットワークを単純化する。 CIFAR10, CIFAR100および特定のタスクデータセット(例えばSilkworm)上でのLSLUの性能を評価する。
  論文  参考訳（メタデータ） (2024-08-28T11:12:27Z)
• APALU: A Trainable, Adaptive Activation Function for Deep Learning Networks [0.0]
  APALU(Adaptive piecewise approximated activation linear unit)を新たに導入する。 実験では、様々なタスクに広く使用されるアクティベーション関数よりも大幅に改善されている。 APALUは、限られたデータセットで手話認識タスクにおいて100%精度を達成する。
  論文  参考訳（メタデータ） (2024-02-13T06:18:42Z)
• Transformers with Learnable Activation Functions [63.98696070245065]
  我々は、Rational Activation Function (RAF) を用いて、入力データに基づいてトレーニング中の最適なアクティベーション関数を学習する。 RAFは、学習されたアクティベーション関数に従って事前学習されたモデルを分析し、解釈するための新しい研究方向を開く。
  論文  参考訳（メタデータ） (2022-08-30T09:47:31Z)
• FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
  ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。 本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
  論文  参考訳（メタデータ） (2022-04-10T11:38:33Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
  グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。 本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。 我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
  論文  参考訳（メタデータ） (2022-02-13T10:54:59Z)
• SMU: smooth activation function for deep networks using smoothing maximum technique [1.5267236995686555]
  本稿では、Leaky ReLUのような既知のアクティベーション関数の近似に基づく新しいアクティベーション関数を提案する。 ShuffleNet V2モデルでCIFAR100データセットを6.22%改善しました。
  論文  参考訳（メタデータ） (2021-11-08T17:54:08Z)
• Data-Driven Learning of Feedforward Neural Networks with Different Activation Functions [0.0]
  この研究は、フィードフォワードニューラルネットワーク(FNN)学習の新しいデータ駆動手法(D-DM)の開発に寄与する。
  論文  参考訳（メタデータ） (2021-07-04T18:20:27Z)
• Learning specialized activation functions with the Piecewise Linear Unit [7.820667552233989]
  本稿では, 注意深く設計した定式化学習法を組み込んだ, 区分線形単位 (pwlu) と呼ばれる新しい活性化関数を提案する。 特殊なアクティベーション機能を学び、ImageNetやCOCOなどの大規模データセットでSOTA性能を達成できます。 PWLUは推論時に実装も簡単で効率も良く、現実世界のアプリケーションにも広く適用できる。
  論文  参考訳（メタデータ） (2021-04-08T11:29:11Z)
• Learning Invariant Representations across Domains and Tasks [81.30046935430791]
  本稿では,この教師なしタスク転送問題を解決するための新しいタスク適応ネットワーク(tan)を提案する。 ドメイン・アドバーサル・トレーニングによる伝達可能な機能を学習することに加えて、学習から学習への戦略を用いてタスクの意味を適応させる新しいタスク・セマンティクス・アダプタを提案する。 TANは最近の強いベースラインに比べてリコールとF1スコアを5.0%と7.8%大きく向上させた。
  論文  参考訳（メタデータ） (2021-03-03T11:18:43Z)
• Dynamic ReLU [74.973224160508]
  本稿では、すべてのインプット要素上のハイパー関数によって生成されるパラメータの動的入力である動的ReLU(DY-ReLU)を提案する。 静的に比較すると、DY-ReLUは余分な計算コストは無視できるが、表現能力ははるかに高い。 単にDY-ReLUをMobileNetV2に使用することで、ImageNet分類のトップ-1の精度は72.0%から76.2%に向上し、追加のFLOPは5%に留まった。
  論文  参考訳（メタデータ） (2020-03-22T23:45:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。