論文の概要: Geometric Insights into Focal Loss: Reducing Curvature for Enhanced Model Calibration

• arxiv url: http://arxiv.org/abs/2405.00442v1
• Date: Wed, 1 May 2024 10:53:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-02 15:57:39.032209
• Title: Geometric Insights into Focal Loss: Reducing Curvature for Enhanced Model Calibration
• Title（参考訳）: 焦点損失に対する幾何学的洞察:強化されたモデル校正のための曲率削減
• Authors: Masanari Kimura, Hiroki Naganuma,
• Abstract要約: 分類問題におけるモデルの信頼度は、便利なソフトマックス関数の出力ベクトルによって与えられることが多い。 この問題はモデルキャリブレーションと呼ばれ、広く研究されている。 本研究では, 焦点損失がモデルトレーニングにおける損失面の曲率を減少させることを示す。
• 参考スコア（独自算出の注目度）: 1.642094639107215
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The key factor in implementing machine learning algorithms in decision-making situations is not only the accuracy of the model but also its confidence level. The confidence level of a model in a classification problem is often given by the output vector of a softmax function for convenience. However, these values are known to deviate significantly from the actual expected model confidence. This problem is called model calibration and has been studied extensively. One of the simplest techniques to tackle this task is focal loss, a generalization of cross-entropy by introducing one positive parameter. Although many related studies exist because of the simplicity of the idea and its formalization, the theoretical analysis of its behavior is still insufficient. In this study, our objective is to understand the behavior of focal loss by reinterpreting this function geometrically. Our analysis suggests that focal loss reduces the curvature of the loss surface in training the model. This indicates that curvature may be one of the essential factors in achieving model calibration. We design numerical experiments to support this conjecture to reveal the behavior of focal loss and the relationship between calibration performance and curvature.
• Abstract（参考訳）: 意思決定状況において機械学習アルゴリズムを実装する上で重要な要素は、モデルの精度だけでなく、その信頼性レベルでもある。 分類問題におけるモデルの信頼度は、便利なソフトマックス関数の出力ベクトルによって与えられることが多い。 しかし、これらの値は実際の期待されるモデルの信頼性からかなり逸脱することが知られている。 この問題はモデルキャリブレーションと呼ばれ、広く研究されている。 この課題に取り組む最も単純な手法の1つは焦点損失であり、これは1つの正のパラメータを導入することでクロスエントロピーの一般化である。 アイデアの単純さと形式化のため、多くの関連研究があるが、その振る舞いの理論解析はまだ不十分である。 本研究では, この関数を幾何学的に再解釈することにより, 焦点損失の挙動を理解することを目的とする。 解析の結果,焦点損失はモデルトレーニングにおける損失面の曲率を低下させることが示された。 このことは、曲率がモデルのキャリブレーションを達成する上で不可欠な要素の1つであることを示している。 我々は,この予測を支持する数値実験を設計し,焦点損失の挙動とキャリブレーション性能と曲率の関係を明らかにする。

関連論文リスト

• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Knowledge Distillation Performs Partial Variance Reduction [93.6365393721122]
  知識蒸留は'学生'モデルの性能を高めるための一般的な手法である。 知識蒸留(KD)の背後にある力学は、まだ完全には理解されていない。 我々は,KDを新しいタイプの分散還元機構として解釈できることを示す。
  論文  参考訳（メタデータ） (2023-05-27T21:25:55Z)
• Causal Analysis for Robust Interpretability of Neural Networks [0.2519906683279152]
  我々は、事前学習されたニューラルネットワークの因果効果を捉えるための頑健な介入に基づく手法を開発した。 分類タスクで訓練された視覚モデルに本手法を適用した。
  論文  参考訳（メタデータ） (2023-05-15T18:37:24Z)
• An Indirect Rate-Distortion Characterization for Semantic Sources: General Model and the Case of Gaussian Observation [83.93224401261068]
  ソースモデルは、情報の意味的側面に対する最近の関心の高まりによって動機付けられている。 intrinsic状態は、一般に観測不可能なソースの意味的特徴に対応する。 レート歪み関数は、ソースのセマンティックレート歪み関数である。
  論文  参考訳（メタデータ） (2022-01-29T02:14:24Z)
• On the Role of Optimization in Double Descent: A Least Squares Study [30.44215064390409]
  最小二乗対象の降下勾配解に対して過大なリスクを負うことを示す。 ノイズのない回帰の場合、二重降下は最適化関連量によってのみ説明される。 ニューラルネットワークの予測が保たれているかどうかを実証的に調査する。
  論文  参考訳（メタデータ） (2021-07-27T09:13:11Z)
• Deep learning: a statistical viewpoint [120.94133818355645]
  ディープラーニングは、理論的観点からいくつかの大きな驚きを明らかにしました。 特に、簡単な勾配法は、最適でないトレーニング問題に対するほぼ完全な解決策を簡単に見つけます。 我々はこれらの現象を具体的原理で補うと推測する。
  論文  参考訳（メタデータ） (2021-03-16T16:26:36Z)
• Autocalibration and Tweedie-dominance for Insurance Pricing with Machine Learning [0.0]
  逸脱の最小化には, 下位部分モーメントの重み付き差分の積分と, 特定のスケールで測定されたバイアスとのトレードオフが伴うことが示された。 バイアスを補正する新しい手法は、分析にさらに局所的なGLMステップを追加する。 凸順序は、競合するモデルを比較する自然なツールであるように見える。
  論文  参考訳（メタデータ） (2021-03-05T12:40:30Z)
• Calibrating Deep Neural Networks using Focal Loss [77.92765139898906]
  ミススキャリブレーション(Miscalibration)は、モデルの信頼性と正しさのミスマッチである。 焦点損失は、既に十分に校正されたモデルを学ぶことができることを示す。 ほぼすべてのケースにおいて精度を損なうことなく,最先端のキャリブレーションを達成できることを示す。
  論文  参考訳（メタデータ） (2020-02-21T17:35:50Z)
• Considering discrepancy when calibrating a mechanistic electrophysiology model [41.77362715012383]
  不確実性定量化(英: Uncertainty Quantification、UQ)は、数学的モデルとシミュレーションを用いて決定を行うための重要なステップである。 この記事では、モデル構造や方程式自体における不確実性という、我々の予測における重要かつ未適応な不確実性の源に注意を向ける。
  論文  参考訳（メタデータ） (2020-01-13T13:26:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。