論文の概要: Introducing One Sided Margin Loss for Solving Classification Problems in Deep Networks

• arxiv url: http://arxiv.org/abs/2206.01002v1
• Date: Thu, 2 Jun 2022 12:03:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-03 13:52:49.371018
• Title: Introducing One Sided Margin Loss for Solving Classification Problems in Deep Networks
• Title（参考訳）: ディープネットワークにおける分類問題に対する片面マージン損失の導入
• Authors: Ali Karimi and Zahra Mousavi Kouzehkanan and Reshad Hosseini and Hadi Asheri
• Abstract要約: 本稿では,最大マージン分類問題を効果的に解くために,新たな損失関数OSMを提案する。 実験では、OSMの損失を用いることで、バイナリやカテゴリのクロスエントロピーよりも訓練速度が向上し、精度が向上することがわかった。
• 参考スコア（独自算出の注目度）: 4.157900711249931
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces a new loss function, OSM (One-Sided Margin), to solve maximum-margin classification problems effectively. Unlike the hinge loss, in OSM the margin is explicitly determined with corresponding hyperparameters and then the classification problem is solved. In experiments, we observe that using OSM loss leads to faster training speeds and better accuracies than binary and categorical cross-entropy in several commonly used deep models for classification and optical character recognition problems. OSM has consistently shown better classification accuracies over cross-entropy and hinge losses for small to large neural networks. it has also led to a more efficient training procedure. We achieved state-of-the-art accuracies for small networks on several benchmark datasets of CIFAR10(98.82\%), CIFAR100(91.56\%), Flowers(98.04\%), Stanford Cars(93.91\%) with considerable improvements over other loss functions. Moreover, the accuracies are rather better than cross-entropy and hinge loss for large networks. Therefore, we strongly believe that OSM is a powerful alternative to hinge and cross-entropy losses to train deep neural networks on classification tasks.
• Abstract（参考訳）: 本稿では,最大マージン分類問題を効果的に解くために,新たな損失関数 OSM (One-Sided Margin) を提案する。 ヒンジ損失とは異なり、osmではマージンは対応するハイパーパラメータで明示的に決定され、分類問題は解決される。 実験では、OSMの損失を用いることで、分類や光学的文字認識問題によく用いられるディープモデルにおいて、二進的およびカテゴリー的クロスエントロピーよりも訓練速度と精度が向上することが観察された。 OSMは、小規模から大規模ニューラルネットワークにおいて、クロスエントロピーやヒンジ損失よりも優れた分類精度を示している。 それはまた より効率的な訓練手順につながりました 我々は,cifar10(98.82\%),cifar100(91.56\%),flowers(98.04\%),stanford cars(93.91\%)などのベンチマークデータセット上で,小型ネットワークの最先端の精度を実現し,他の損失関数よりも大幅に改善した。 さらに、大きなネットワークのクロスエントロピーやヒンジ損失よりも、アキュラティが優れている。 したがって、OSMはヒンジやクロスエントロピーの損失に対して強力な代替手段であり、分類タスクでディープニューラルネットワークを訓練できると強く信じている。

関連論文リスト

• Stop Regressing: Training Value Functions via Classification for Scalable Deep RL [109.44370201929246]
  分類的クロスエントロピーを用いた値関数のトレーニングにより,様々な領域における性能とスケーラビリティが向上することを示す。 例えば、SoftMoEによるAtari 2600ゲームでのシングルタスクRL、大規模ResNetによるAtariでのマルチタスクRL、Q-トランスフォーマーによるロボット操作、検索なしでチェスをプレイする、高容量トランスフォーマーによる言語エージェントWordleタスクなどがある。
  論文  参考訳（メタデータ） (2024-03-06T18:55:47Z)
• Performance evaluation of Machine learning algorithms for Intrusion Detection System [0.40964539027092917]
  本稿では機械学習(ML)技術を用いた侵入検知システム(IDS)の解析に焦点を当てた。 機械学習モデルのトレーニングと検証に使用されるKDD CUP-'99'侵入検出データセットを分析した。
  論文  参考訳（メタデータ） (2023-10-01T06:35:37Z)
• Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
  我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。 トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
  論文  参考訳（メタデータ） (2023-09-12T13:03:47Z)
• Multi-stage feature decorrelation constraints for improving CNN classification performance [14.09469656684143]
  本稿では,CNNのためのマルチステージ機能劣化損失(MFD Loss)を提案する。 MFDロスは有効な特徴を洗練し、全ての段階における特徴の相関を制限することによって情報の冗長性をなくす。 単一のSoftmax Loss教師付き学習と比較して、いくつかの典型的なCNNでよく使われるデータセットの実験は、Softmax Loss+MFD Lossの分類性能が著しく優れていることを証明している。
  論文  参考訳（メタデータ） (2023-08-24T16:00:01Z)
• Understanding Square Loss in Training Overparametrized Neural Network Classifiers [31.319145959402462]
  過度にパラメータ化されたニューラルネットワークでどのように機能するかを体系的に検討することにより、分類における二乗損失の理論的理解に寄与する。 クラスが分離可能か否かに応じて2つのケースを考慮する。一般的な非分離可能の場合、誤分類率と校正誤差の両方について、高速収束率が確立される。 結果として得られるマージンはゼロから下界であることが証明され、ロバスト性の理論的な保証を提供する。
  論文  参考訳（メタデータ） (2021-12-07T12:12:30Z)
• A novel multi-scale loss function for classification problems in machine learning [0.0]
  本稿では,ディープニューラルネットワークを用いた分類問題に適用した様々な勾配降下アルゴリズムにおける2スケールの損失関数を提案する。 これらの2スケールの損失関数は、十分に分類されていないトレーニングセット内のオブジェクトにトレーニングを集中させることができる。
  論文  参考訳（メタデータ） (2021-06-04T19:11:11Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)
• Shaping Deep Feature Space towards Gaussian Mixture for Visual Classification [74.48695037007306]
  視覚分類のためのディープニューラルネットワークのためのガウス混合損失関数(GM)を提案する。 分類マージンと可能性正規化により、GM損失は高い分類性能と特徴分布の正確なモデリングの両方を促進する。 提案したモデルは、追加のトレーニング可能なパラメータを使わずに、簡単かつ効率的に実装できる。
  論文  参考訳（メタデータ） (2020-11-18T03:32:27Z)
• $\sigma^2$R Loss: a Weighted Loss by Multiplicative Factors using Sigmoidal Functions [0.9569316316728905]
  我々は,二乗還元損失(sigma2$R損失)と呼ばれる新たな損失関数を導入する。 我々の損失は明らかな直観と幾何学的解釈を持ち、我々の提案の有効性を実験によって実証する。
  論文  参考訳（メタデータ） (2020-09-18T12:34:40Z)
• ReMarNet: Conjoint Relation and Margin Learning for Small-Sample Image Classification [49.87503122462432]
  ReMarNet(Relation-and-Margin Learning Network)と呼ばれるニューラルネットワークを導入する。 本手法は,上記2つの分類機構の双方において優れた性能を発揮する特徴を学習するために,異なるバックボーンの2つのネットワークを組み立てる。 4つの画像データセットを用いた実験により,本手法はラベル付きサンプルの小さな集合から識別的特徴を学習するのに有効であることが示された。
  論文  参考訳（メタデータ） (2020-06-27T13:50:20Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。