論文の概要: Making Sigmoid-MSE Great Again: Output Reset Challenges Softmax Cross-Entropy in Neural Network Classification

• arxiv url: http://arxiv.org/abs/2411.11213v1
• Date: Mon, 18 Nov 2024 00:46:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:36:18.933666
• Title: Making Sigmoid-MSE Great Again: Output Reset Challenges Softmax Cross-Entropy in Neural Network Classification
• Title（参考訳）: Sigmoid-MSEを再び素晴らしいものにする: ニューラルネット分類におけるSoftmaxクロスエントロピーの出力リセットチャレンジ
• Authors: Kanishka Tyagi, Chinmay Rane, Ketaki Vaidya, Jeshwanth Challgundla, Soumitro Swapan Auddy, Michael Manry,
• Abstract要約: 本研究では,平均二乗誤差(MSE)とソフトマックスクロスエントロピー(SCE)の2つの目的関数の比較分析を行った。 MSEは、従来の回帰タスクと結びついているが、分類問題の代替手段として有効である。
• 参考スコア（独自算出の注目度）: 0.32985979395737786
• License:
• Abstract: This study presents a comparative analysis of two objective functions, Mean Squared Error (MSE) and Softmax Cross-Entropy (SCE) for neural network classification tasks. While SCE combined with softmax activation is the conventional choice for transforming network outputs into class probabilities, we explore an alternative approach using MSE with sigmoid activation. We introduce the Output Reset algorithm, which reduces inconsistent errors and enhances classifier robustness. Through extensive experiments on benchmark datasets (MNIST, CIFAR-10, and Fashion-MNIST), we demonstrate that MSE with sigmoid activation achieves comparable accuracy and convergence rates to SCE, while exhibiting superior performance in scenarios with noisy data. Our findings indicate that MSE, despite its traditional association with regression tasks, serves as a viable alternative for classification problems, challenging conventional wisdom about neural network training strategies.
• Abstract（参考訳）: 本研究では,ニューラルネットワーク分類タスクにおける平均二乗誤差(MSE)とソフトマックスクロスエントロピー(SCE)の2つの目的関数の比較分析を行った。 SCEとソフトマックスアクティベーションの組み合わせは、ネットワーク出力をクラス確率に変換するための従来の選択肢であるが、シグモイドアクティベーションを用いたMSEを用いた代替手法を探索する。 本稿では,不整合誤差を低減し,分類器の堅牢性を向上する出力リセットアルゴリズムを提案する。 ベンチマークデータセット(MNIST, CIFAR-10, Fashion-MNIST)の広範な実験を通じて、シグモイドアクティベーションを持つMSEは、ノイズの多いデータを持つシナリオにおいて優れた性能を示しながら、SCEに匹敵する精度と収束率を達成することを示した。 この結果から,MSEは従来の回帰タスクと結びついてはいるものの,ニューラルネットワークのトレーニング戦略に関する従来の知恵に挑戦して,分類問題の代替手段として有効であることが示唆された。

関連論文リスト

• Enhancing Cross-Dataset Performance of Distracted Driving Detection With Score-Softmax Classifier [7.302402275736439]
  ディープニューラルネットワークは、車内ドライバのリアルタイム監視を可能にし、気晴らし、疲労、潜在的な危険のタイムリーな予測を容易にする。 最近の研究では、オーバーフィッティングによる信頼性の低いクロスデータセットのエンドツーエンドドライバの動作認識が明らかにされている。 Score-Softmax分類器を導入し、クラス間独立性とクラス内不確実性を高めることでこの問題に対処する。
  論文  参考訳（メタデータ） (2023-10-08T15:28:01Z)
• Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
  我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。 トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
  論文  参考訳（メタデータ） (2023-09-12T13:03:47Z)
• MISNN: Multiple Imputation via Semi-parametric Neural Networks [9.594714330925703]
  バイオメディカル・ソーシャル・エコノメトリー研究において、多重計算(Multiple Imputation, MI)は、欠落した価値問題に広く応用されている。 提案するMISNNは,MIの特徴選択を取り入れた,新規で効率的なアルゴリズムである。
  論文  参考訳（メタデータ） (2023-05-02T21:45:36Z)
• SymNMF-Net for The Symmetric NMF Problem [62.44067422984995]
  我々は,Symmetric NMF問題に対するSymNMF-Netと呼ばれるニューラルネットワークを提案する。 各ブロックの推測は最適化の単一イテレーションに対応することを示す。 実世界のデータセットに関する実証的な結果は、我々のSymNMF-Netの優位性を示している。
  論文  参考訳（メタデータ） (2022-05-26T08:17:39Z)
• A deep learning based surrogate model for stochastic simulators [0.0]
  シミュレータのための深層学習に基づく代理モデルを提案する。 我々は損失関数として条件付き最大平均誤差(CMMD)を利用する。 その結果,提案手法の優れた性能が得られた。
  論文  参考訳（メタデータ） (2021-10-24T11:38:47Z)
• Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for sparse recover [87.28082715343896]
  我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。 我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。 提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
  論文  参考訳（メタデータ） (2021-10-20T06:15:45Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Margin-Based Regularization and Selective Sampling in Deep Neural Networks [7.219077740523683]
  我々は、ディープニューラルネットワーク(DNN)のための新しいマージンベース正規化形式、MMR(Multi-margin regularization)を導出する。 CIFAR10, CIFAR100, ImageNet上で, MNLI, QQP, QNLI, MRPC, SST-2, RTEベンチマークのための最先端畳み込みニューラルネットワーク(CNN)とBERT-BASEアーキテクチャを用いて, 実験結果の改善を示す。
  論文  参考訳（メタデータ） (2020-09-13T15:06:42Z)
• Revisiting LSTM Networks for Semi-Supervised Text Classification via Mixed Objective Function [106.69643619725652]
  我々は,単純なBiLSTMモデルであっても,クロスエントロピー損失でトレーニングした場合に,競争的な結果が得られるようなトレーニング戦略を開発する。 いくつかのベンチマークデータセット上で,テキスト分類タスクの最先端結果について報告する。
  論文  参考訳（メタデータ） (2020-09-08T21:55:22Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。