論文の概要: Loss Functions and Metrics in Deep Learning

• arxiv url: http://arxiv.org/abs/2307.02694v5
• Date: Mon, 14 Apr 2025 00:48:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:47:48.188519
• Title: Loss Functions and Metrics in Deep Learning
• Title（参考訳）: ディープラーニングにおける損失関数とメトリクス
• Authors: Juan Terven, Diana M. Cordova-Esparza, Alfonso Ramirez-Pedraza, Edgar A. Chavez-Urbiola, Julio A. Romero-Gonzalez,
• Abstract要約: 本稿では,ディープラーニングにおける損失関数と性能指標の総合的なレビューを行う。 タスク固有の課題に対処するために、異なる損失関数と評価指標がどのように組み合わせられるかを示す。 経験的な振る舞いとドメインの制約に基づいて損失とメトリクスを選択したり組み合わせたりするためのベストプラクティスを強調します。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This paper presents a comprehensive review of loss functions and performance metrics in deep learning, highlighting key developments and practical insights across diverse application areas. We begin by outlining fundamental considerations in classic tasks such as regression and classification, then extend our analysis to specialized domains like computer vision and natural language processing including retrieval-augmented generation. In each setting, we systematically examine how different loss functions and evaluation metrics can be paired to address task-specific challenges such as class imbalance, outliers, and sequence-level optimization. Key contributions of this work include: (1) a unified framework for understanding how losses and metrics align with different learning objectives, (2) an in-depth discussion of multi-loss setups that balance competing goals, and (3) new insights into specialized metrics used to evaluate modern applications like retrieval-augmented generation, where faithfulness and context relevance are pivotal. Along the way, we highlight best practices for selecting or combining losses and metrics based on empirical behaviors and domain constraints. Finally, we identify open problems and promising directions, including the automation of loss-function search and the development of robust, interpretable evaluation measures for increasingly complex deep learning tasks. Our review aims to equip researchers and practitioners with clearer guidance in designing effective training pipelines and reliable model assessments for a wide spectrum of real-world applications.
• Abstract（参考訳）: 本稿では、ディープラーニングにおける損失関数と性能指標の総合的なレビューを行い、多様な応用分野における重要な発展と実践的洞察を明らかにする。 まず、回帰や分類といった古典的なタスクの基本的考察を概説し、コンピュータビジョンや自然言語処理などの専門分野に分析を拡張。 各設定において、クラス不均衡、アウトレイラ、シーケンスレベルの最適化といったタスク固有の課題に対処するために、異なる損失関数と評価指標をどのように組み合わせるかを体系的に検討する。 本研究の主な貢献は,(1) 損失とメトリクスが異なる学習目標とどのように一致しているかを理解するための統一された枠組み,(2) 競合する目標のバランスをとるマルチロス設定の詳細な議論,(3) 検索強化世代のような現代的アプリケーションを評価するために使用される専門的指標に対する新たな洞察,などである。 その過程で、経験的行動とドメイン制約に基づいて損失とメトリクスを選択したり組み合わせたりするためのベストプラクティスを強調します。 最後に、損失関数探索の自動化や、より複雑なディープラーニングタスクに対する頑健で解釈可能な評価尺度の開発など、オープンな問題と有望な方向性を特定する。 本総説は,効率的なトレーニングパイプラインの設計と,幅広い実世界の応用のための信頼性の高いモデルアセスメントのための,より明確なガイダンスを研究者や実践者に提供することを目的としている。

関連論文リスト

• Fast and Efficient Local Search for Genetic Programming Based Loss Function Learning [12.581217671500887]
  本稿では,タスクとモデルに依存しない損失関数学習のためのメタラーニングフレームワークを提案する。 その結果, 学習した損失関数は, 収束性, サンプル効率, グラフ化, コンピュータビジョン, 自然言語処理問題に対する推論性能の向上をもたらすことがわかった。
  論文  参考訳（メタデータ） (2024-03-01T02:20:04Z)
• Generalization Performance of Transfer Learning: Overparameterized and Underparameterized Regimes [61.22448274621503]
  現実世界のアプリケーションでは、タスクは部分的な類似性を示し、あるアスペクトは似ているが、他のアスペクトは異なるか無関係である。 本研究は,パラメータ伝達の2つの選択肢を包含して,多種多様な移動学習について検討する。 一般化性能を向上させるために,共通部分とタスク特化部分の特徴数を決定するための実践的ガイドラインを提供する。
  論文  参考訳（メタデータ） (2023-06-08T03:08:40Z)
• A survey and taxonomy of loss functions in machine learning [51.35995529962554]
  本稿では, 回帰, 分類, 生成モデル, ランキング, エネルギーベースモデリングなど, 主要なアプリケーションにまたがる最も広く使われている損失関数について概観する。 直感的な分類法で構築された43個の個別の損失関数を導入し,それらの理論的基礎,特性,最適な適用状況を明らかにした。
  論文  参考訳（メタデータ） (2023-01-13T14:38:24Z)
• Meta-Learning with Task-Adaptive Loss Function for Few-Shot Learning [50.59295648948287]
  数ショットの学習シナリオでは、新しい目に見えない例を一般化し、うまく実行するのが課題だ。 各タスクに適応する損失関数を備えた新しいメタ学習フレームワークを導入する。 提案フレームワークはMeta-Learning with Task-Adaptive Loss Function (MeTAL) と名付けられ,様々な領域における有効性と柔軟性を示す。
  論文  参考訳（メタデータ） (2021-10-08T06:07:21Z)
• AutoLoss-Zero: Searching Loss Functions from Scratch for Generic Tasks [78.27036391638802]
  AutoLoss-Zeroは、ジェネリックタスクのスクラッチから損失関数を検索する最初のフレームワークである。 探索効率を向上させるために、損失低減プロトコルと勾配等価性チェック戦略を開発する。 様々なコンピュータビジョンタスクにおける実験により、検索損失関数は既存の損失関数と同等かそれ以上かが示されている。
  論文  参考訳（メタデータ） (2021-03-25T17:59:09Z)
• Multi-task Supervised Learning via Cross-learning [102.64082402388192]
  我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。 我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。 これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
  論文  参考訳（メタデータ） (2020-10-24T21:35:57Z)
• Auto Seg-Loss: Searching Metric Surrogates for Semantic Segmentation [56.343646789922545]
  そこで本研究では,各計量に対する相異なるサロゲート損失を探索することにより,計量固有損失関数の設計を自動化することを提案する。 PASCAL VOCとCityscapesの実験では、探索されたサロゲート損失は手動で設計した損失関数よりも優れていた。
  論文  参考訳（メタデータ） (2020-10-15T17:59:08Z)
• An analysis on the use of autoencoders for representation learning: fundamentals, learning task case studies, explainability and challenges [11.329636084818778]
  多くの機械学習タスクでは、データの優れた表現を学ぶことが、優れたパフォーマンスのソリューションを構築するための鍵となる。 可視化のためのデータ埋め込み,画像認識,セマンティックハッシュ,異常行動の検出,インスタンス生成など,一連の学習課題を提示する。 オートエンコーダを唯一の学習方法として用いた各タスクに対して,解を提案する。
  論文  参考訳（メタデータ） (2020-05-21T08:41:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。