論文の概要: DL101 Neural Network Outputs and Loss Functions

• arxiv url: http://arxiv.org/abs/2511.05131v1
• Date: Fri, 07 Nov 2025 10:20:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-10 21:00:44.734326
• Title: DL101 Neural Network Outputs and Loss Functions
• Title（参考訳）: DL101 ニューラルネットワークの出力と損失関数
• Authors: Fernando Berzal,
• Abstract要約: ニューラルネットワークのトレーニングに使用されるロス関数は、統計的観点から出力層に強く結びついている。 レポートは、線形、シグモノイド、ReLU、ソフトマックスなどのニューラルネットワーク出力層の共通アクティベーション機能を解析する。
• 参考スコア（独自算出の注目度）: 51.77969450792284
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The loss function used to train a neural network is strongly connected to its output layer from a statistical point of view. This technical report analyzes common activation functions for a neural network output layer, like linear, sigmoid, ReLU, and softmax, detailing their mathematical properties and their appropriate use cases. A strong statistical justification exists for the selection of the suitable loss function for training a deep learning model. This report connects common loss functions such as Mean Squared Error (MSE), Mean Absolute Error (MAE), and various Cross-Entropy losses to the statistical principle of Maximum Likelihood Estimation (MLE). Choosing a specific loss function is equivalent to assuming a specific probability distribution for the model output, highlighting the link between these functions and the Generalized Linear Models (GLMs) that underlie network output layers. Additional scenarios of practical interest are also considered, such as alternative output encodings, constrained outputs, and distributions with heavy tails.
• Abstract（参考訳）: ニューラルネットワークのトレーニングに使用される損失関数は、統計的観点から出力層に強く接続される。 この技術的レポートは、線形、シグミド、ReLU、ソフトマックスなどのニューラルネットワーク出力層の共通活性化関数を分析し、それらの数学的性質と適切なユースケースを詳述する。 深層学習モデルの学習に適した損失関数の選択には,統計的に強い正当性が存在する。 本報告では,平均二乗誤差 (MSE) や平均絶対誤差 (MAE) などの共通損失関数と,最大類似度推定 (MLE) の統計原理とを関連づける。 特定の損失関数を選択することは、モデル出力の特定の確率分布を仮定し、これらの関数とネットワーク出力層を基盤とする一般化線形モデル(GLM)とのリンクを強調するのと同じである。 代替出力符号化、制約された出力、重み付き分布など、実用的なシナリオも考慮されている。

関連論文リスト

• Uncertainty propagation in feed-forward neural network models [3.987067170467799]
  我々はフィードフォワードニューラルネットワークアーキテクチャのための新しい不確実性伝搬法を開発した。 ニューラルネットワーク出力の確率密度関数(PDF)の解析式を導出する。 鍵となる発見は、リークReLU活性化関数の適切な線形化が正確な統計的結果をもたらすことである。
  論文  参考訳（メタデータ） (2025-03-27T00:16:36Z)
• On the Forward Invariance of Neural ODEs [92.07281135902922]
  本稿では,ニューラル常微分方程式(ODE)が出力仕様を満たすことを保証するための新しい手法を提案する。 提案手法では,出力仕様を学習システムのパラメータや入力の制約に変換するために,制御障壁関数のクラスを用いる。
  論文  参考訳（メタデータ） (2022-10-10T15:18:28Z)
• Uncertainty Modeling for Out-of-Distribution Generalization [56.957731893992495]
  特徴統計を適切に操作することで、ディープラーニングモデルの一般化能力を向上させることができると論じる。 一般的な手法では、特徴統計を学習した特徴から測定された決定論的値とみなすことが多い。 我々は、学習中に合成された特徴統計を用いて、領域シフトの不確かさをモデル化することにより、ネットワークの一般化能力を向上させる。
  論文  参考訳（メタデータ） (2022-02-08T16:09:12Z)
• Concise Logarithmic Loss Function for Robust Training of Anomaly Detection Model [0.0]
  ニューラルネットワークをより安定させるためには、適切なニューラルネットワーク構造や損失関数を定義する必要がある。 トレーニング異常検出モデルでは,平均二乗誤差(MSE)関数が広く採用されている。 本稿では,新たな損失関数である対数平均二乗誤差(LMSE)を提案し,ニューラルネットワークをより安定に訓練する。
  論文  参考訳（メタデータ） (2022-01-15T03:22:15Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)
• Shaping Deep Feature Space towards Gaussian Mixture for Visual Classification [74.48695037007306]
  視覚分類のためのディープニューラルネットワークのためのガウス混合損失関数(GM)を提案する。 分類マージンと可能性正規化により、GM損失は高い分類性能と特徴分布の正確なモデリングの両方を促進する。 提案したモデルは、追加のトレーニング可能なパラメータを使わずに、簡単かつ効率的に実装できる。
  論文  参考訳（メタデータ） (2020-11-18T03:32:27Z)
• Estimating Structural Target Functions using Machine Learning and Influence Functions [103.47897241856603]
  統計モデルから特定可能な関数として生じる対象関数の統計的機械学習のための新しい枠組みを提案する。 このフレームワークは問題とモデルに依存しないものであり、応用統計学における幅広い対象パラメータを推定するのに使用できる。 我々は、部分的に観測されていない情報を持つランダム/二重ロバストな問題において、いわゆる粗大化に特に焦点をあてた。
  論文  参考訳（メタデータ） (2020-08-14T16:48:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。