論文の概要: Reduced Jeffries-Matusita distance: A Novel Loss Function to Improve
Generalization Performance of Deep Classification Models
- arxiv url: http://arxiv.org/abs/2403.08408v1
- Date: Wed, 13 Mar 2024 10:51:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 14:43:32.783454
- Title: Reduced Jeffries-Matusita distance: A Novel Loss Function to Improve
Generalization Performance of Deep Classification Models
- Title（参考訳）: Jeffries-Matusita 距離を減らす: 改善のための新しい損失関数
深部分類モデルの一般化性能
- Authors: Mohammad Lashkari, Amin Gheibi
- Abstract要約: 本稿では,深層分類モデルの学習における損失関数として,Reduced Jeffries-Matusitaという距離を導入する。
その結果、新しい距離測定はトレーニングプロセスを著しく安定化させ、一般化能力を高め、精度とF1スコアの指標におけるモデルの性能を向上させることを示した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The generalization performance of deep neural networks in classification
tasks is a major concern in machine learning research. Despite widespread
techniques used to diminish the over-fitting issue such as data augmentation,
pseudo-labeling, regularization, and ensemble learning, this performance still
needs to be enhanced with other approaches. In recent years, it has been
theoretically demonstrated that the loss function characteristics i.e. its
Lipschitzness and maximum value affect the generalization performance of deep
neural networks which can be utilized as a guidance to propose novel distance
measures. In this paper, by analyzing the aforementioned characteristics, we
introduce a distance called Reduced Jeffries-Matusita as a loss function for
training deep classification models to reduce the over-fitting issue. In our
experiments, we evaluate the new loss function in two different problems: image
classification in computer vision and node classification in the context of
graph learning. The results show that the new distance measure stabilizes the
training process significantly, enhances the generalization ability, and
improves the performance of the models in the Accuracy and F1-score metrics,
even if the training set size is small.
- Abstract（参考訳）: 分類タスクにおけるディープニューラルネットワークの一般化性能は、機械学習研究の大きな関心事である。
データ強化、擬似ラベル付け、正規化、アンサンブル学習といった過度に適合する問題を減らそうとする広範囲なテクニックにもかかわらず、このパフォーマンスは他のアプローチで強化する必要がある。
近年、損失関数の特徴、すなわちそのリプシッツ性と最大値が、新しい距離測度を提案するためのガイダンスとして利用できるディープニューラルネットワークの一般化性能に影響を与えることが理論的に証明されている。
本稿では、上記の特徴を解析することにより、深層分類モデルの訓練における損失関数としてReduced Jeffries-Matusitaと呼ばれる距離を導入し、過度に適合する問題を解消する。
実験では、コンピュータビジョンにおける画像分類とグラフ学習におけるノード分類の2つの異なる問題において、新たな損失関数を評価する。
その結果、トレーニングセットのサイズが小さい場合でも、新しい距離測定はトレーニングプロセスを著しく安定化させ、一般化能力を高め、精度とF1スコアの指標におけるモデルの性能を向上させることを示した。
関連論文リスト
- On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。
アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文 参考訳（メタデータ） (2023-12-13T02:11:07Z) - Random Linear Projections Loss for Hyperplane-Based Optimization in Neural Networks [22.348887008547653]
この研究はRandom Linear Projections (RLP)損失を導入し、これはデータ内の幾何学的関係を利用してトレーニング効率を向上させる新しいアプローチである。
ベンチマークデータセットと合成例を用いて実施した経験的評価では、従来の損失関数でトレーニングされたニューラルネットワークは、従来の損失関数でトレーニングされたニューラルネットワークよりも優れていたことが示されている。
論文 参考訳（メタデータ） (2023-11-21T05:22:39Z) - Alternate Loss Functions for Classification and Robust Regression Can
Improve the Accuracy of Artificial Neural Networks [7.5620539044013535]
本稿では,ニューラルネットワークのトレーニング速度と最終的な精度が,ニューラルネットワークのトレーニングに使用する損失関数に大きく依存することを示す。
様々なベンチマークタスクの性能を著しく向上させる2つの新しい分類損失関数を提案する。
論文 参考訳（メタデータ） (2023-03-17T12:52:06Z) - Online Loss Function Learning [13.744076477599707]
ロス関数学習は、機械学習モデルの損失関数を設計するタスクを自動化することを目的としている。
基本モデルパラメータへの更新毎に,損失関数をオンラインに適応的に更新する新しい損失関数学習手法を提案する。
論文 参考訳（メタデータ） (2023-01-30T19:22:46Z) - Theoretical Characterization of How Neural Network Pruning Affects its
Generalization [131.1347309639727]
この研究は、異なるプルーニング率がモデルの勾配降下ダイナミクスと一般化にどのように影響するかを研究する最初の試みである。
プルーニング率が一定の閾値以下である限り、勾配降下はトレーニング損失をゼロに導くことができる。
より驚くべきことに、プルーニング分数が大きくなるにつれて、一般化境界はより良くなる。
論文 参考訳（メタデータ） (2023-01-01T03:10:45Z) - Slimmable Networks for Contrastive Self-supervised Learning [67.21528544724546]
自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。
追加の教師を必要とせずに、事前訓練された小型モデルを得るための一段階のソリューションを提案する。
スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
論文 参考訳（メタデータ） (2022-09-30T15:15:05Z) - Relational Surrogate Loss Learning [41.61184221367546]
本稿では、評価指標を近似するためにディープニューラルネットワークを用いる代理損失学習を再考する。
本稿では,サロゲート損失と測定値の関係を直接的に維持することを示す。
私たちの方法は最適化がずっと簡単で、大幅な効率と性能向上を享受しています。
論文 参考訳（メタデータ） (2022-02-26T17:32:57Z) - Improving Music Performance Assessment with Contrastive Learning [78.8942067357231]
本研究では,既存のMPAシステムを改善するための潜在的手法として,コントラスト学習について検討する。
畳み込みニューラルネットワークに適用された回帰タスクに適した重み付きコントラスト損失を導入する。
この結果から,MPA回帰タスクにおいて,コントラッシブ・ベースの手法がSoTA性能に適合し,超越できることが示唆された。
論文 参考訳（メタデータ） (2021-08-03T19:24:25Z) - On the Robustness of Pretraining and Self-Supervision for a Deep
Learning-based Analysis of Diabetic Retinopathy [70.71457102672545]
糖尿病網膜症における訓練方法の違いによる影響を比較検討した。
本稿では,定量的性能,学習した特徴表現の統計,解釈可能性,画像歪みに対する頑健性など,さまざまな側面について検討する。
以上の結果から,ImageNet事前学習モデルでは,画像歪みに対する性能,一般化,堅牢性が著しく向上していることが示唆された。
論文 参考訳（メタデータ） (2021-06-25T08:32:45Z) - Balanced Softmax Cross-Entropy for Incremental Learning [6.5423218639215275]
ディープニューラルネットワークは、新しいクラスや新しいタスクで段階的に訓練されると壊滅的な忘れがちです。
近年の手法は破滅的な忘れを緩和するのに有効であることが証明されている。
本稿では,バランスの取れたソフトマックスクロスエントロピー損失の利用を提案し,それとインクリメンタル学習のための離脱法を組み合わせることで,パフォーマンスを向上させることができることを示す。
論文 参考訳（メタデータ） (2021-03-23T13:30:26Z) - The Break-Even Point on Optimization Trajectories of Deep Neural
Networks [64.7563588124004]
この軌道上の「破滅的な」点の存在を論じる。
トレーニングの初期段階での大きな学習率を用いることで、勾配のばらつきが軽減されることを示す。
また, バッチ正規化層を有するニューラルネットワークにおいても, 低学習率を用いることで損失面の条件が悪くなることを示す。
論文 参考訳（メタデータ） (2020-02-21T22:55:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。