Fugu-MT 論文翻訳(概要): DSReLU: A Novel Dynamic Slope Function for Superior Model Training

論文の概要: DSReLU: A Novel Dynamic Slope Function for Superior Model Training

arxiv url: http://arxiv.org/abs/2408.09156v1
Date: Sat, 17 Aug 2024 10:01:30 GMT
ステータス: 処理完了
システム内更新日: 2024-08-20 22:01:27.389858
Title: DSReLU: A Novel Dynamic Slope Function for Superior Model Training
Title（参考訳）: DSReLU: モデルトレーニングのための新しいダイナミックスロープ機能
Authors: Archisman Chakraborti, Bidyut B Chaudhuri,
Abstract要約: このアプローチの理論的根拠は、ReLUのような従来のアクティベーション関数に関連する制限を克服することである。提案手法は,Mini-ImageNet,CIFAR-100,MIT-BIHデータセットに基づいて,分類基準と一般化能力の改善を実証した。
参考スコア（独自算出の注目度）: 2.2057562301812674
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This study introduces a novel activation function, characterized by a dynamic slope that adjusts throughout the training process, aimed at enhancing adaptability and performance in deep neural networks for computer vision tasks. The rationale behind this approach is to overcome limitations associated with traditional activation functions, such as ReLU, by providing a more flexible mechanism that can adapt to different stages of the learning process. Evaluated on the Mini-ImageNet, CIFAR-100, and MIT-BIH datasets, our method demonstrated improvements in classification metrics and generalization capabilities. These results suggest that our dynamic slope activation function could offer a new tool for improving the performance of deep learning models in various image recognition tasks.
Abstract（参考訳）: 本研究では,コンピュータビジョンタスクにおけるディープニューラルネットワークの適応性と性能の向上を目的とした,トレーニングプロセス全体を通して動的傾斜を調整した新しいアクティベーション関数を提案する。このアプローチの理論的根拠は、ReLUのような従来のアクティベーション関数に関連する制限を克服することであり、学習プロセスの異なる段階に適応可能な、より柔軟なメカニズムを提供することである。提案手法は,Mini-ImageNet,CIFAR-100,MIT-BIHデータセットに基づいて,分類基準と一般化能力の改善を実証した。これらの結果から,ダイナミックスロープアクティベーション機能により,画像認識タスクにおける深層学習モデルの性能向上が図れる可能性が示唆された。

関連論文リスト

Efficient Search for Customized Activation Functions with Gradient Descent [42.20716255578699]
異なるアクティベーション関数は、異なるディープラーニングモデルに最適である。本稿では,基本的な数学的操作と活性化関数のモデル化を組み合わせた,きめ細かい検索セルを提案する。我々のアプローチは、特別なアクティベーションの識別を可能にし、試したすべてのモデルのパフォーマンスを向上させる。
論文参考訳（メタデータ） (2024-08-13T11:27:31Z)
AggSS: An Aggregated Self-Supervised Approach for Class-Incremental Learning [17.155759991260094]
本稿では,自己指導型学習,特に画像回転が様々なクラス増分学習パラダイムに与える影響について検討する。 AggSS戦略を通じて学習する本質的なオブジェクト特徴に対するディープニューラルネットワークの注目度の変化を観察する。 AggSSは、任意のクラス増分学習フレームワークにシームレスに組み込むことができるプラグイン・アンド・プレイモジュールとして機能する。
論文参考訳（メタデータ） (2024-08-08T10:16:02Z)
Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning [113.89327264634984]
FSCIL(Few-shot class-incremental Learning)は、最小限のトレーニングサンプルを持つモデルに新しいクラスを統合するという課題に直面している。従来の手法では、固定パラメータ空間に依存する静的適応を広く採用し、逐次到着するデータから学習する。本稿では、動的適応のための中間特徴に基づいてプロジェクションパラメータを動的に調整する2つの選択型SSMプロジェクタを提案する。
論文参考訳（メタデータ） (2024-07-08T17:09:39Z)
Learning Objective-Specific Active Learning Strategies with Attentive Neural Processes [72.75421975804132]
学びアクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。能動学習問題の対称性と独立性を利用した新しい分類法を提案する。私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
論文参考訳（メタデータ） (2023-09-11T14:16:37Z)
Understanding Self-attention Mechanism via Dynamical System Perspective [58.024376086269015]
SAM(Self-attention mechanism)は、人工知能の様々な分野で広く使われている。常微分方程式(ODE)の高精度解における固有剛性現象(SP)は,高性能ニューラルネットワーク(NN)にも広く存在することを示す。 SAMは、本質的なSPを測定するためのモデルの表現能力を高めることができる剛性対応のステップサイズ適応器でもあることを示す。
論文参考訳（メタデータ） (2023-08-19T08:17:41Z)
ENN: A Neural Network with DCT Adaptive Activation Functions [2.2713084727838115]
離散コサイン変換(DCT)を用いて非線形活性化関数をモデル化する新しいモデルであるExpressive Neural Network(ENN)を提案する。このパラメータ化は、トレーニング可能なパラメータの数を低く保ち、勾配ベースのスキームに適合し、異なる学習タスクに適応する。 ENNのパフォーマンスは、いくつかのシナリオにおいて40%以上の精度のギャップを提供する、アートベンチマークの状態を上回ります。
論文参考訳（メタデータ） (2023-07-02T21:46:30Z)
Predictive Experience Replay for Continual Visual Control and Forecasting [62.06183102362871]
視覚力学モデリングのための新しい連続学習手法を提案し,その視覚制御と予測における有効性について検討する。まず,タスク固有のダイナミクスをガウスの混合で学習する混合世界モデルを提案し,その上で,破滅的な忘れを克服するための新たなトレーニング戦略を提案する。我々のモデルは,DeepMind Control と Meta-World のベンチマークにおいて,既存の連続的学習アルゴリズムと視覚的RLアルゴリズムの単純な組み合わせよりも優れている。
論文参考訳（メタデータ） (2023-03-12T05:08:03Z)
FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
論文参考訳（メタデータ） (2022-04-10T11:38:33Z)
Discovering Parametric Activation Functions [17.369163074697475]
本稿では,アクティベーション機能を自動でカスタマイズする手法を提案する。 CIFAR-10とCIFAR-100の画像分類データセット上の4つの異なるニューラルネットワークアーキテクチャによる実験は、このアプローチが有効であることを示している。
論文参考訳（メタデータ） (2020-06-05T00:25:33Z)
Dynamic Memory Induction Networks for Few-Shot Text Classification [84.88381813651971]
本稿では,テキスト分類のための動的メモリ誘導ネットワーク(DMIN)を提案する。提案したモデルでは, miniRCV1 と ODIC データセット上での新たな最先端結果を実現し,最高の性能(精度)を24%向上させる。
論文参考訳（メタデータ） (2020-05-12T12:41:14Z)
Evolutionary Optimization of Deep Learning Activation Functions [15.628118691027328]
進化的アルゴリズムは、Rectified Linear Unit(ReLU)より優れている新しいアクティベーション関数を発見できることを示す。 ReLUを活性化関数に置き換えると、統計的にネットワークの精度が向上する。これらの新しい活性化関数は、タスク間で高いパフォーマンスを達成するために一般化される。
論文参考訳（メタデータ） (2020-02-17T19:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。