論文の概要: Next Generation Loss Function for Image Classification

• arxiv url: http://arxiv.org/abs/2404.12948v1
• Date: Fri, 19 Apr 2024 15:26:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-22 14:36:33.644755
• Title: Next Generation Loss Function for Image Classification
• Title（参考訳）: 画像分類のための次世代ロス関数
• Authors: Shakhnaz Akhmedova, Nils Körber,
• Abstract要約: 我々は、遺伝的プログラミング(GP)アプローチを利用して、クロスエントロピー(CE)損失を含むよく知られた損失関数に挑戦する。 NGL(Next Generation Loss)と呼ばれる1つの関数は、テストされたすべてのデータセットで、同じか、より優れたパフォーマンスを示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks are trained by minimizing a loss function that defines the discrepancy between the predicted model output and the target value. The selection of the loss function is crucial to achieve task-specific behaviour and highly influences the capability of the model. A variety of loss functions have been proposed for a wide range of tasks affecting training and model performance. For classification tasks, the cross entropy is the de-facto standard and usually the first choice. Here, we try to experimentally challenge the well-known loss functions, including cross entropy (CE) loss, by utilizing the genetic programming (GP) approach, a population-based evolutionary algorithm. GP constructs loss functions from a set of operators and leaf nodes and these functions are repeatedly recombined and mutated to find an optimal structure. Experiments were carried out on different small-sized datasets CIFAR-10, CIFAR-100 and Fashion-MNIST using an Inception model. The 5 best functions found were evaluated for different model architectures on a set of standard datasets ranging from 2 to 102 classes and very different sizes. One function, denoted as Next Generation Loss (NGL), clearly stood out showing same or better performance for all tested datasets compared to CE. To evaluate the NGL function on a large-scale dataset, we tested its performance on the Imagenet-1k dataset where it showed improved top-1 accuracy compared to models trained with identical settings and other losses. Finally, the NGL was trained on a segmentation downstream task for Pascal VOC 2012 and COCO-Stuff164k datasets improving the underlying model performance.
• Abstract（参考訳）: ニューラルネットワークは、予測されたモデル出力と目標値との差を定義する損失関数を最小化することにより訓練される。 損失関数の選択はタスク固有の振る舞いを達成するために重要であり、モデルの能力に大きな影響を及ぼす。 訓練やモデル性能に影響を及ぼす幅広いタスクに対して、様々な損失関数が提案されている。 分類タスクでは、クロスエントロピーはデファクト標準であり、通常は第一選択である。 本稿では,遺伝的プログラミング(GP)アプローチを用いて,クロスエントロピー(CE)損失を含むよく知られた損失関数に挑戦する。 GPは演算子と葉ノードの集合から損失関数を構築し、これらの関数は繰り返し再結合され、最適な構造を見つけるために変更される。 インセプションモデルを用いて、CIFAR-10、CIFAR-100、Fashion-MNISTの小さなデータセットで実験を行った。 得られた5つのベスト機能は、2から102のクラスと非常に異なるサイズの標準データセットのセットで、異なるモデルアーキテクチャに対して評価された。 NGL(Next Generation Loss)と呼ばれる1つの関数は、CEと比較してテストされたすべてのデータセットで、同じか、より優れたパフォーマンスを示している。 大規模データセット上でNGL関数を評価するため、Imagenet-1kデータセット上で、同一設定やその他の損失でトレーニングされたモデルと比較して、トップ1の精度が改善された。 最後に、NGLはPascal VOC 2012とCOCO-Stuff164kデータセットのセグメンテーションダウンストリームタスクに基づいてトレーニングされた。

関連論文リスト

• Accelerated Neural Network Training with Rooted Logistic Objectives [13.400503928962756]
  我々は、少なくともロジスティック損失と同じくらい厳密なエムの厳密凸関数列を導出する。 その結果,根付き損失関数による学習はより早く収束し,性能が向上した。
  論文  参考訳（メタデータ） (2023-10-05T20:49:48Z)
• Alternate Loss Functions for Classification and Robust Regression Can Improve the Accuracy of Artificial Neural Networks [6.452225158891343]
  本稿では,ニューラルネットワークのトレーニング速度と最終的な精度が,ニューラルネットワークのトレーニングに使用する損失関数に大きく依存することを示す。 様々なベンチマークタスクの性能を著しく向上させる2つの新しい分類損失関数を提案する。
  論文  参考訳（メタデータ） (2023-03-17T12:52:06Z)
• Xtreme Margin: A Tunable Loss Function for Binary Classification Problems [0.0]
  本稿では,新しい損失関数 Xtreme Margin の損失関数について概説する。 二進的クロスエントロピーやヒンジ損失関数とは異なり、この損失関数は研究者や実践者がトレーニングプロセスに柔軟性をもたらす。
  論文  参考訳（メタデータ） (2022-10-31T22:39:32Z)
• Adaptive Self-supervision Algorithms for Physics-informed Neural Networks [59.822151945132525]
  物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。 これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。 モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
  論文  参考訳（メタデータ） (2022-07-08T18:17:06Z)
• Self-Supervised Pre-Training for Transformer-Based Person Re-Identification [54.55281692768765]
  トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。 この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
  論文  参考訳（メタデータ） (2021-11-23T18:59:08Z)
• Adversarial Feature Augmentation and Normalization for Visual Recognition [109.6834687220478]
  最近のコンピュータビジョンの進歩は、分類モデルの一般化能力を改善するために、逆データ拡張を利用する。 本稿では,中間的特徴埋め込みにおける敵対的拡張を提唱する効率的かつ効率的な代替手法を提案する。 代表的なバックボーンネットワークを用いて,多様な視覚認識タスクにまたがる提案手法を検証する。
  論文  参考訳（メタデータ） (2021-03-22T20:36:34Z)
• Loss Function Discovery for Object Detection via Convergence-Simulation Driven Search [101.73248560009124]
  本稿では,効率的な収束シミュレーションによる進化的探索アルゴリズムCSE-Autolossを提案する。 一般的な検出器上での損失関数探索の広範囲な評価を行い、探索された損失の優れた一般化能力を検証した。 実験の結果, 2段検出器と1段検出器のmAPでは, 最適損失関数の組み合わせが1.1%と0.8%を上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-02-09T08:34:52Z)
• FastIF: Scalable Influence Functions for Efficient Model Interpretation and Debugging [112.19994766375231]
  影響関数は、テスト予測のためのトレーニングデータポイントの「影響」を近似する。 fastifは、実行時間を大幅に改善する関数に影響を与えるための、単純な修正セットです。 本実験はモデル解釈とモデル誤差の修正における影響関数の可能性を示す。
  論文  参考訳（メタデータ） (2020-12-31T18:02:34Z)
• Deep F-measure Maximization for End-to-End Speech Understanding [52.36496114728355]
  本稿では,F測度に対する微分可能な近似法を提案し,標準バックプロパゲーションを用いてネットワークをトレーニングする。 我々は、アダルト、コミュニティ、犯罪の2つの標準フェアネスデータセットの実験を行い、ATISデータセットの音声・インテリジェンス検出と音声・COCOデータセットの音声・イメージ概念分類を行った。 これらの4つのタスクのすべてにおいて、F測定は、クロスエントロピー損失関数で訓練されたモデルと比較して、最大8%の絶対的な絶対的な改善を含む、マイクロF1スコアの改善をもたらす。
  論文  参考訳（メタデータ） (2020-08-08T03:02:27Z)
• Optimizing Loss Functions Through Multivariate Taylor Polynomial Parameterization [16.8615211682877]
  ロス関数はメタ知識の一種であり、ディープニューラルネットワーク(DNN)アーキテクチャの効果的なトレーニングに不可欠である。 本稿では,テイラーパラメータ化の連続CMA-ES最適化を提案する。 MNIST、CIFAR-10、SVHNのベンチマークタスクでは、TaylorGLOはGPで発見された関数よりも優れた新しい損失関数を発見した。
  論文  参考訳（メタデータ） (2020-01-31T21:25:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。