論文の概要: Loss Functions in Deep Learning: A Comprehensive Review

• arxiv url: http://arxiv.org/abs/2504.04242v1
• Date: Sat, 05 Apr 2025 18:07:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-08 14:13:47.005375
• Title: Loss Functions in Deep Learning: A Comprehensive Review
• Title（参考訳）: ディープラーニングにおける損失関数: 総合的なレビュー
• Authors: Omar Elharrouss, Yasir Mahmood, Yassine Bechqito, Mohamed Adel Serhani, Elarbi Badidi, Jamal Riffi, Hamid Tairi,
• Abstract要約: 損失関数はディープラーニングの中心であり、モデルがどのように学習し、さまざまなタスクで実行するかを形作る。 本稿では, 損失関数の包括的レビューを行い, 平均二乗誤差やクロスエントロピーといった基本的な指標を, 逆数や拡散損失などの高度な関数に適用する。
• 参考スコア（独自算出の注目度）: 3.8001666556614446
• License:
• Abstract: Loss functions are at the heart of deep learning, shaping how models learn and perform across diverse tasks. They are used to quantify the difference between predicted outputs and ground truth labels, guiding the optimization process to minimize errors. Selecting the right loss function is critical, as it directly impacts model convergence, generalization, and overall performance across various applications, from computer vision to time series forecasting. This paper presents a comprehensive review of loss functions, covering fundamental metrics like Mean Squared Error and Cross-Entropy to advanced functions such as Adversarial and Diffusion losses. We explore their mathematical foundations, impact on model training, and strategic selection for various applications, including computer vision (Discriminative and generative), tabular data prediction, and time series forecasting. For each of these categories, we discuss the most used loss functions in the recent advancements of deep learning techniques. Also, this review explore the historical evolution, computational efficiency, and ongoing challenges in loss function design, underlining the need for more adaptive and robust solutions. Emphasis is placed on complex scenarios involving multi-modal data, class imbalances, and real-world constraints. Finally, we identify key future directions, advocating for loss functions that enhance interpretability, scalability, and generalization, leading to more effective and resilient deep learning models.
• Abstract（参考訳）: 損失関数はディープラーニングの中心であり、モデルがどのように学習し、さまざまなタスクで実行するかを形作る。 予測出力と基底真理ラベルの違いを定量化するために使われ、エラーを最小限に抑える最適化プロセスを導く。 正しい損失関数の選択は、コンピュータビジョンから時系列予測に至るまで、様々なアプリケーションにおけるモデル収束、一般化、全体的なパフォーマンスに直接影響を与えるため、非常に重要である。 本稿では, 損失関数の包括的レビューを行い, 平均二乗誤差やクロスエントロピーといった基本的な指標を, 逆数や拡散損失などの高度な関数に適用する。 我々は,その数学的基礎,モデルトレーニングへの影響,およびコンピュータビジョン(識別および生成),表型データ予測,時系列予測など,様々なアプリケーションに対する戦略的選択について検討する。 それぞれのカテゴリについて,近年のディープラーニング技術の進歩において最も多く用いられている損失関数について論じる。 また、このレビューでは、損失関数設計における歴史的進化、計算効率、および現在進行中の課題について考察し、より適応的で堅牢なソリューションの必要性を概説する。 強調されるのは、マルチモーダルデータ、クラス不均衡、実世界の制約を含む複雑なシナリオである。 最後に、我々は、解釈可能性、スケーラビリティ、一般化を高める損失関数を提唱し、より効果的でレジリエントなディープラーニングモデルをもたらす、重要な将来方向を特定する。

関連論文リスト

• A Versatile Influence Function for Data Attribution with Non-Decomposable Loss [3.1615846013409925]
  本稿では,非分解不能な損失を学習した機械学習モデルに対して,直接適用可能なVersatile Influence Function (VIF)を提案する。 VIFはデータ属性の大幅な進歩を表しており、幅広い機械学習パラダイムにまたがる効率的な影響関数ベースの属性を可能にする。
  論文  参考訳（メタデータ） (2024-12-02T09:59:01Z)
• Fast and Efficient Local Search for Genetic Programming Based Loss Function Learning [12.581217671500887]
  本稿では,タスクとモデルに依存しない損失関数学習のためのメタラーニングフレームワークを提案する。 その結果, 学習した損失関数は, 収束性, サンプル効率, グラフ化, コンピュータビジョン, 自然言語処理問題に対する推論性能の向上をもたらすことがわかった。
  論文  参考訳（メタデータ） (2024-03-01T02:20:04Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• GIF: A General Graph Unlearning Strategy via Influence Function [63.52038638220563]
  Graph Influence Function (GIF)は、削除されたデータにおける$epsilon$-massの摂動に応答してパラメータの変化を効率的に正確に推定できる、モデルに依存しない未学習の手法である。 我々は,4つの代表的GNNモデルと3つのベンチマークデータセットについて広範な実験を行い,未学習の有効性,モデルの有用性,未学習効率の観点からGIFの優位性を正当化する。
  論文  参考訳（メタデータ） (2023-04-06T03:02:54Z)
• Online Loss Function Learning [13.744076477599707]
  ロス関数学習は、機械学習モデルの損失関数を設計するタスクを自動化することを目的としている。 基本モデルパラメータへの更新毎に,損失関数をオンラインに適応的に更新する新しい損失関数学習手法を提案する。
  論文  参考訳（メタデータ） (2023-01-30T19:22:46Z)
• A survey and taxonomy of loss functions in machine learning [51.35995529962554]
  本稿では, 回帰, 分類, 生成モデル, ランキング, エネルギーベースモデリングなど, 主要なアプリケーションにまたがる最も広く使われている損失関数について概観する。 直感的な分類法で構築された43個の個別の損失関数を導入し,それらの理論的基礎,特性,最適な適用状況を明らかにした。
  論文  参考訳（メタデータ） (2023-01-13T14:38:24Z)
• Xtreme Margin: A Tunable Loss Function for Binary Classification Problems [0.0]
  本稿では,新しい損失関数 Xtreme Margin の損失関数について概説する。 二進的クロスエントロピーやヒンジ損失関数とは異なり、この損失関数は研究者や実践者がトレーニングプロセスに柔軟性をもたらす。
  論文  参考訳（メタデータ） (2022-10-31T22:39:32Z)
• Loss Function Discovery for Object Detection via Convergence-Simulation Driven Search [101.73248560009124]
  本稿では,効率的な収束シミュレーションによる進化的探索アルゴリズムCSE-Autolossを提案する。 一般的な検出器上での損失関数探索の広範囲な評価を行い、探索された損失の優れた一般化能力を検証した。 実験の結果, 2段検出器と1段検出器のmAPでは, 最適損失関数の組み合わせが1.1%と0.8%を上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-02-09T08:34:52Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)
• Influence Functions in Deep Learning Are Fragile [52.31375893260445]
  影響関数は、テスト時間予測におけるサンプルの効果を近似する。 影響評価は浅いネットワークでは かなり正確です ヘッセン正則化は、高品質な影響推定を得るために重要である。
  論文  参考訳（メタデータ） (2020-06-25T18:25:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。