論文の概要: PolyLoss: A Polynomial Expansion Perspective of Classification Loss Functions

• arxiv url: http://arxiv.org/abs/2204.12511v1
• Date: Tue, 26 Apr 2022 18:00:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-29 03:34:40.112334
• Title: PolyLoss: A Polynomial Expansion Perspective of Classification Loss Functions
• Title（参考訳）: polyloss: 分類損失関数の多項式展開の展望
• Authors: Zhaoqi Leng, Mingxing Tan, Chenxi Liu, Ekin Dogus Cubuk, Xiaojie Shi, Shuyang Cheng, Dragomir Anguelov
• Abstract要約: クロスエントロピー損失と焦点損失は、分類問題に対するディープニューラルネットワークのトレーニングにおいて最も一般的な選択である。 本稿では,損失関数を関数の線形結合として見たり設計したりするための,PolyLossというシンプルなフレームワークを提案する。 我々のPolyLossは、ターゲットタスクやデータセットに応じて、異なるベースの重要性を容易に調整できるようにします。
• 参考スコア（独自算出の注目度）: 44.58521969295784
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Cross-entropy loss and focal loss are the most common choices when training deep neural networks for classification problems. Generally speaking, however, a good loss function can take on much more flexible forms, and should be tailored for different tasks and datasets. Motivated by how functions can be approximated via Taylor expansion, we propose a simple framework, named PolyLoss, to view and design loss functions as a linear combination of polynomial functions. Our PolyLoss allows the importance of different polynomial bases to be easily adjusted depending on the targeting tasks and datasets, while naturally subsuming the aforementioned cross-entropy loss and focal loss as special cases. Extensive experimental results show that the optimal choice within the PolyLoss is indeed dependent on the task and dataset. Simply by introducing one extra hyperparameter and adding one line of code, our Poly-1 formulation outperforms the cross-entropy loss and focal loss on 2D image classification, instance segmentation, object detection, and 3D object detection tasks, sometimes by a large margin.
• Abstract（参考訳）: クロスエントロピー損失と焦点損失は、分類問題に対するディープニューラルネットワークのトレーニングにおいて最も一般的な選択である。 しかし、一般的には、良い損失関数はより柔軟な形式を取ることができ、異なるタスクやデータセットに合わせる必要がある。 テイラー展開によって関数を近似する方法を動機として、多項式関数の線形結合として損失関数のビューと設計を行うための単純なフレームワーク、PolyLossを提案する。 我々のPolyLossは、上記のクロスエントロピー損失と焦点損失を特殊ケースとして自然に仮定しながら、ターゲットタスクやデータセットによって異なる多項式基底を容易に調整できるようにする。 大規模な実験結果から、PolyLoss内の最適な選択はタスクとデータセットに依存していることがわかった。 1つの余分なハイパーパラメータを導入し、1行のコードを追加するだけで、2d画像分類、インスタンスセグメンテーション、オブジェクト検出、および3dオブジェクト検出タスクのクロスエントロピー損失と焦点損失を、時には大きなマージンで上回ります。

関連論文リスト

• A topological description of loss surfaces based on Betti Numbers [8.539445673580252]
  多層ニューラルネットワークの場合の損失複雑性を評価するためのトポロジカル尺度を提供する。 損失関数やモデルアーキテクチャの特定のバリエーション、例えば$ell$正規化項の追加やフィードフォワードネットワークでの接続のスキップは、特定のケースにおける損失には影響しない。
  論文  参考訳（メタデータ） (2024-01-08T11:20:04Z)
• Polynomial-Time Solutions for ReLU Network Training: A Complexity Classification via Max-Cut and Zonotopes [70.52097560486683]
  我々は、ReLUネットワークの近似の難しさがマックス・カッツ問題の複雑さを反映しているだけでなく、特定の場合において、それと完全に一致することを証明した。 特に、$epsilonleqsqrt84/83-1approx 0.006$とすると、目的値に関して相対誤差$epsilon$でReLUネットワーク対象の近似グローバルデータセットを見つけることはNPハードであることが示される。
  論文  参考訳（メタデータ） (2023-11-18T04:41:07Z)
• Accelerated Neural Network Training with Rooted Logistic Objectives [13.400503928962756]
  我々は、少なくともロジスティック損失と同じくらい厳密なエムの厳密凸関数列を導出する。 その結果,根付き損失関数による学習はより早く収束し,性能が向上した。
  論文  参考訳（メタデータ） (2023-10-05T20:49:48Z)
• Critical Investigation of Failure Modes in Physics-informed Neural Networks [0.9137554315375919]
  合成定式化による物理インフォームドニューラルネットワークは、最適化が難しい非学習損失面を生成することを示す。 また,2つの楕円問題に対する2つのアプローチを,より複雑な目標解を用いて評価する。
  論文  参考訳（メタデータ） (2022-06-20T18:43:35Z)
• InverseForm: A Loss Function for Structured Boundary-Aware Segmentation [80.39674800972182]
  逆変換ネットワークを用いたセマンティックセグメンテーションのための新しい境界認識損失項を提案する。 このプラグイン損失項は境界変換の捕捉におけるクロスエントロピー損失を補完する。 室内および屋外のセグメンテーションベンチマークにおける損失関数の定量的および定性的効果を解析した。
  論文  参考訳（メタデータ） (2021-04-06T18:52:45Z)
• Generic Perceptual Loss for Modeling Structured Output Dependencies [78.59700528239141]
  トレーニングされた重みではなく、ネットワーク構造が重要であることを示す。 我々は、出力の構造化依存関係をモデル化するためにランダムに重み付けされたディープcnnが使用できることを実証する。
  論文  参考訳（メタデータ） (2021-03-18T23:56:07Z)
• Computational Barriers to Estimation from Low-Degree Polynomials [81.67886161671379]
  本研究では,隠れ構造物の存在を検知する作業において,低次構造物のパワーについて検討する。 大規模な「信号+雑音」問題に対して、任意の程度に達成可能な最良の平均二乗誤差に対して、ユーザフレンドリな下界を与える。 応用として,植込みサブマトリクスに対する低次平均2乗誤差の厳密な評価と高密度サブグラフ問題について述べる。
  論文  参考訳（メタデータ） (2020-08-05T17:52:10Z)
• Online stochastic gradient descent on non-convex losses from high-dimensional inference [2.2344764434954256]
  勾配降下(SGD)は高次元タスクにおける最適化問題に対する一般的なアルゴリズムである。 本稿では,データから非自明な相関関係を推定する。 本稿では、位相探索や一般化モデルの推定といった一連のタスクに適用することで、我々のアプローチを説明する。
  論文  参考訳（メタデータ） (2020-03-23T17:34:06Z)
• Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
  本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。 上記の問題に対処するための特徴歪み法(Disout)を提案する。 より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
  論文  参考訳（メタデータ） (2020-02-23T13:59:13Z)
• Optimizing Loss Functions Through Multivariate Taylor Polynomial Parameterization [16.8615211682877]
  ロス関数はメタ知識の一種であり、ディープニューラルネットワーク(DNN)アーキテクチャの効果的なトレーニングに不可欠である。 本稿では,テイラーパラメータ化の連続CMA-ES最適化を提案する。 MNIST、CIFAR-10、SVHNのベンチマークタスクでは、TaylorGLOはGPで発見された関数よりも優れた新しい損失関数を発見した。
  論文  参考訳（メタデータ） (2020-01-31T21:25:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。