論文の概要: Evaluating Model Performance with Hard-Swish Activation Function Adjustments
- arxiv url: http://arxiv.org/abs/2410.06879v1
- Date: Wed, 9 Oct 2024 13:43:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-31 23:47:07.729476
- Title: Evaluating Model Performance with Hard-Swish Activation Function Adjustments
- Title（参考訳）: ハードスウィッシュ活性化関数調整によるモデル性能の評価
- Authors: Sai Abhinav Pydimarry, Shekhar Madhav Khairnar, Sofia Garces Palacios, Ganesh Sankaranarayanan, Darian Hoagland, Dmitry Nepomnayshy, Huu Phong Nguyen,
- Abstract要約: 本研究では,ReLU,Swish,Hard-Swishのアクティベーション機能を用いた画像データセット間のモデルの性能評価を行った。
CIFAR-10データセットの精度は2.06%向上し,ATLASデータセットの精度は0.30%向上した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the field of pattern recognition, achieving high accuracy is essential. While training a model to recognize different complex images, it is vital to fine-tune the model to achieve the highest accuracy possible. One strategy for fine-tuning a model involves changing its activation function. Most pre-trained models use ReLU as their default activation function, but switching to a different activation function like Hard-Swish could be beneficial. This study evaluates the performance of models using ReLU, Swish and Hard-Swish activation functions across diverse image datasets. Our results show a 2.06% increase in accuracy for models on the CIFAR-10 dataset and a 0.30% increase in accuracy for models on the ATLAS dataset. Modifying the activation functions in architecture of pre-trained models lead to improved overall accuracy.
- Abstract（参考訳）: パターン認識の分野では、高い精度を達成することが不可欠である。
異なる複雑な画像を認識するためにモデルをトレーニングする一方で、可能な限り高い精度を達成するためにモデルを微調整することが不可欠である。
モデルを微調整する1つの戦略は、アクティベーション関数を変更することである。
トレーニング済みのほとんどのモデルでは、デフォルトのアクティベーション関数としてReLUを使用しているが、Hard-Swishのような別のアクティベーション関数に切り替えることは有益である。
本研究では,ReLU,Swish,Hard-Swishのアクティベーション機能を用いた画像データセット間のモデルの性能評価を行った。
CIFAR-10データセットの精度は2.06%向上し,ATLASデータセットの精度は0.30%向上した。
事前訓練されたモデルのアーキテクチャにおけるアクティベーション関数の修正により、全体的な精度が向上する。
関連論文リスト
- Enabling Small Models for Zero-Shot Classification through Model Label Learning [50.68074833512999]
モデルと機能の間のギャップを埋める新しいパラダイムであるモデルラベル学習(MLL)を導入する。
7つの実世界のデータセットの実験により、MLLの有効性と効率が検証された。
論文 参考訳（メタデータ） (2024-08-21T09:08:26Z) - A Model Generalization Study in Localizing Indoor Cows with COw LOcalization (COLO) dataset [0.0]
本研究は,牛肉検出用YOLOv8モデルとYOLOv9モデルの屋内フリーストール納屋環境における一般化能力について検討した。
1)照明条件やカメラアングルの変化によりモデル一般化が等しく影響を受けること,(2)高次モデル複雑性はより優れた一般化性能を保証すること,(3)関連するタスクで訓練されたカスタム初期重み付き微調整は検出タスクに常に利点をもたらすこと,の3つの主要な仮説を考察する。
論文 参考訳（メタデータ） (2024-07-29T18:49:58Z) - REFRESH: Responsible and Efficient Feature Reselection Guided by SHAP Values [17.489279048199304]
REFRESHは、いくつかの新しいモデルをトレーニングすることなく、モデルパフォーマンスに望ましい追加の制約を達成できるように、機能を再選択する手法である。
REFRESHの基盤となるアルゴリズムは、SHAP値と相関解析を用いて、モデルをトレーニングすることなくモデルの予測を近似できる新しい手法である。
論文 参考訳（メタデータ） (2024-03-13T18:06:43Z) - Fine-Tuning Enhances Existing Mechanisms: A Case Study on Entity
Tracking [53.66999416757543]
本研究では,微調整が言語モデルに実装された内部メカニズムに与える影響について検討する。
微調整はモデルの機械的操作を変えるのではなく、強化する。
論文 参考訳（メタデータ） (2024-02-22T18:59:24Z) - Learn from the Past: A Proxy Guided Adversarial Defense Framework with
Self Distillation Regularization [53.04697800214848]
敵対的訓練(AT)は、ディープラーニングモデルの堅牢性を固める上で重要な要素である。
AT方式は、目標モデルの防御のために直接反復的な更新を頼りにしており、不安定な訓練や破滅的なオーバーフィッティングといった障害に頻繁に遭遇する。
汎用プロキシガイド型防衛フレームワークLAST(bf Pbf astから学ぶ)を提案する。
論文 参考訳（メタデータ） (2023-10-19T13:13:41Z) - STORM: Efficient Stochastic Transformer based World Models for
Reinforcement Learning [82.03481509373037]
近年,モデルに基づく強化学習アルゴリズムは視覚入力環境において顕著な有効性を示している。
本稿では,強力なモデリングと生成機能を組み合わせた効率的な世界モデルアーキテクチャであるTransformer-based wORld Model (STORM)を紹介する。
Stormは、Atari 100$kベンチマークで平均126.7%の人的パフォーマンスを達成し、最先端のメソッドの中で新しい記録を樹立した。
論文 参考訳（メタデータ） (2023-10-14T16:42:02Z) - Learning Objective-Specific Active Learning Strategies with Attentive
Neural Processes [72.75421975804132]
学び アクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。
能動学習問題の対称性と独立性を利用した新しい分類法を提案する。
私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
論文 参考訳（メタデータ） (2023-09-11T14:16:37Z) - A Billion-scale Foundation Model for Remote Sensing Images [5.065947993017157]
基礎モデルの事前学習における3つの重要な要因は、事前学習方法、事前学習データセットのサイズ、モデルパラメータの数である。
本稿では,下流タスクにおける基礎モデルの性能に及ぼすモデルパラメータ数の増加の影響について検討する。
我々の知る限りでは、これはリモートセンシング分野における最初の10億ドル規模の基礎モデルである。
論文 参考訳（メタデータ） (2023-04-11T13:33:45Z) - Transformers with Learnable Activation Functions [63.98696070245065]
我々は、Rational Activation Function (RAF) を用いて、入力データに基づいてトレーニング中の最適なアクティベーション関数を学習する。
RAFは、学習されたアクティベーション関数に従って事前学習されたモデルを分析し、解釈するための新しい研究方向を開く。
論文 参考訳（メタデータ） (2022-08-30T09:47:31Z) - Effects of the Nonlinearity in Activation Functions on the Performance
of Deep Learning Models [4.628405501302229]
本稿では、ReLUやL-ReLUを異なるモデルアーキテクチャやデータドメインのアクティベーション関数として使用する際のモデル性能について検討する。
モデル内のトレーニング可能なパラメータの数が比較的少ない場合,L-ReLUの適用はほとんど有効であることがわかった。
さらに, 画像分類モデルはL-ReLUと完全に連結した層でよく機能することがわかった。
論文 参考訳（メタデータ） (2020-10-14T18:48:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。