論文の概要: $\sigma^2$R Loss: a Weighted Loss by Multiplicative Factors using Sigmoidal Functions

• arxiv url: http://arxiv.org/abs/2009.08796v1
• Date: Fri, 18 Sep 2020 12:34:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 02:32:42.190898
• Title: $\sigma^2$R Loss: a Weighted Loss by Multiplicative Factors using Sigmoidal Functions
• Title（参考訳）: $\sigma^2$r 損失:シグモイド関数を用いた乗算因子による重み付き損失
• Authors: Riccardo La Grassa, Ignazio Gallo, Nicola Landro
• Abstract要約: 我々は,二乗還元損失(sigma2$R損失)と呼ばれる新たな損失関数を導入する。 我々の損失は明らかな直観と幾何学的解釈を持ち、我々の提案の有効性を実験によって実証する。
• 参考スコア（独自算出の注目度）: 0.9569316316728905
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In neural networks, the loss function represents the core of the learning process that leads the optimizer to an approximation of the optimal convergence error. Convolutional neural networks (CNN) use the loss function as a supervisory signal to train a deep model and contribute significantly to achieving the state of the art in some fields of artificial vision. Cross-entropy and Center loss functions are commonly used to increase the discriminating power of learned functions and increase the generalization performance of the model. Center loss minimizes the class intra-class variance and at the same time penalizes the long distance between the deep features inside each class. However, the total error of the center loss will be heavily influenced by the majority of the instances and can lead to a freezing state in terms of intra-class variance. To address this, we introduce a new loss function called sigma squared reduction loss ($\sigma^2$R loss), which is regulated by a sigmoid function to inflate/deflate the error per instance and then continue to reduce the intra-class variance. Our loss has clear intuition and geometric interpretation, furthermore, we demonstrate by experiments the effectiveness of our proposal on several benchmark datasets showing the intra-class variance reduction and overcoming the results obtained with center loss and soft nearest neighbour functions.
• Abstract（参考訳）: ニューラルネットワークでは、損失関数は、最適収束誤差の近似に最適化を導く学習プロセスのコアを表す。 畳み込みニューラルネットワーク(cnn)は、損失関数を監視信号として、深いモデルを訓練し、人工視覚のいくつかの分野における最先端の達成に大きく寄与する。 クロスエントロピーとセンター損失関数は、学習関数の識別能力を高め、モデルの一般化性能を高めるために一般的に用いられる。 中心損失はクラス内の分散を最小化し、同時にクラス内の深い特徴の間の長い距離をペナルティ化する。 しかし、中心損失の総誤差は、ほとんどの事例に大きく影響され、クラス内分散の観点からは、凍結状態につながる可能性がある。 これを解決するために,シグマ二乗還元損失(\sigma^2$R損失)と呼ばれる新たな損失関数を導入する。 我々の損失は直観と幾何学的解釈が明確であり、さらに実験により、クラス内分散の低減と、中心損失とソフト近接関数による結果の克服を示すいくつかのベンチマークデータセットにおいて、提案の有効性を実証した。

関連論文リスト

• Large Margin Discriminative Loss for Classification [3.3975558777609915]
  本稿では,Deep Learning の文脈において,大きなマージンを持つ新たな識別的損失関数を提案する。 この損失は、クラス内コンパクト性とクラス間分離性によって表されるニューラルネットの識別力を高める。
  論文  参考訳（メタデータ） (2024-05-28T18:10:45Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Alternate Loss Functions for Classification and Robust Regression Can Improve the Accuracy of Artificial Neural Networks [6.452225158891343]
  本稿では,ニューラルネットワークのトレーニング速度と最終的な精度が,ニューラルネットワークのトレーニングに使用する損失関数に大きく依存することを示す。 様々なベンチマークタスクの性能を著しく向上させる2つの新しい分類損失関数を提案する。
  論文  参考訳（メタデータ） (2023-03-17T12:52:06Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Xtreme Margin: A Tunable Loss Function for Binary Classification Problems [0.0]
  本稿では,新しい損失関数 Xtreme Margin の損失関数について概説する。 二進的クロスエントロピーやヒンジ損失関数とは異なり、この損失関数は研究者や実践者がトレーニングプロセスに柔軟性をもたらす。
  論文  参考訳（メタデータ） (2022-10-31T22:39:32Z)
• Are All Losses Created Equal: A Neural Collapse Perspective [36.0354919583995]
  クロスエントロピー(CE)は、分類タスクのためにディープニューラルネットワークを訓練する最も一般的な損失である。 本研究では,一般的に使用されているラベルスムーシング (LS) や焦点損失 (FL) を含む広い範囲の損失関数がニューラル・コラプスを示すことを,グローバル・ソリューションとランドスケープ・アナリティクスを通じて示す。
  論文  参考訳（メタデータ） (2022-10-04T00:36:45Z)
• Adaptive Self-supervision Algorithms for Physics-informed Neural Networks [59.822151945132525]
  物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。 これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。 モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
  論文  参考訳（メタデータ） (2022-07-08T18:17:06Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)
• Shaping Deep Feature Space towards Gaussian Mixture for Visual Classification [74.48695037007306]
  視覚分類のためのディープニューラルネットワークのためのガウス混合損失関数(GM)を提案する。 分類マージンと可能性正規化により、GM損失は高い分類性能と特徴分布の正確なモデリングの両方を促進する。 提案したモデルは、追加のトレーニング可能なパラメータを使わずに、簡単かつ効率的に実装できる。
  論文  参考訳（メタデータ） (2020-11-18T03:32:27Z)
• AMC-Loss: Angular Margin Contrastive Loss for Improved Explainability in Image Classification [8.756814963313804]
  Angular Margin Contrastive Loss (AMC-Loss)は、従来のクロスエントロピー損失とともに使用される新しいロス関数である。 AMC-ロスは超球面多様体上の測地線距離と同値の判別角距離計量を用いる。 提案した幾何的制約付き損失関数は定量的な結果を適度に改善するが,ディープネット決定の解釈可能性を高めるには,質的に驚くほど有益であることがわかった。
  論文  参考訳（メタデータ） (2020-04-21T08:03:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。