論文の概要: Statistical Properties of the log-cosh Loss Function Used in Machine Learning

• arxiv url: http://arxiv.org/abs/2208.04564v1
• Date: Tue, 9 Aug 2022 07:03:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-10 12:14:44.961285
• Title: Statistical Properties of the log-cosh Loss Function Used in Machine Learning
• Title（参考訳）: 機械学習におけるログコッシュ損失関数の統計的特性
• Authors: Resve A. Saleh and A.K.Md. Ehsanes Saleh
• Abstract要約: 本稿では,ログコッシュ損失が発生する分布関数について述べる。 また、量子レグレッションにlog-cosh関数を用いる方法についても検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper analyzes a popular loss function used in machine learning called the log-cosh loss function. A number of papers have been published using this loss function but, to date, no statistical analysis has been presented in the literature. In this paper, we present the distribution function from which the log-cosh loss arises. We compare it to a similar distribution, called the Cauchy distribution, and carry out various statistical procedures that characterize its properties. In particular, we examine its associated pdf, cdf, likelihood function and Fisher information. Side-by-side we consider the Cauchy and Cosh distributions as well as the MLE of the location parameter with asymptotic bias, asymptotic variance, and confidence intervals. We also provide a comparison of robust estimators from several other loss functions, including the Huber loss function and the rank dispersion function. Further, we examine the use of the log-cosh function for quantile regression. In particular, we identify a quantile distribution function from which a maximum likelihood estimator for quantile regression can be derived. Finally, we compare a quantile M-estimator based on log-cosh with robust monotonicity against another approach to quantile regression based on convolutional smoothing.
• Abstract（参考訳）: 本稿では,ログコッシュ損失関数と呼ばれる機械学習で一般的な損失関数を解析する。 この損失関数を用いて多くの論文が出版されているが、今日まで統計学的解析は文献に発表されていない。 本稿では,ログコッシュ損失が発生する分布関数について述べる。 我々は、コーシー分布と呼ばれる同様の分布と比較し、その特性を特徴づける様々な統計的手順を実行する。 特に、関連するpdf、cdf、可能性関数およびフィッシャー情報について検討する。 コーシー分布とコーシュ分布と、漸近バイアス、漸近分散、信頼区間を持つ位置パラメータのMLEを並べて検討する。 また、ハマー損失関数やランク分散関数を含む、他のいくつかの損失関数からのロバストな推定器の比較も提供する。 さらに,量的回帰に対するlog-cosh関数の利用について検討する。 特に,分位回帰の最大確率推定器を導出できる分位分布関数を同定する。 最後に、ログコッシュに基づく量子M推定器と、畳み込み平滑化に基づく量子レグレッションに対する頑健な単調性を比較する。

関連論文リスト

• Semiparametric conformal prediction [79.6147286161434]
  リスクに敏感なアプリケーションは、複数の、潜在的に相関したターゲット変数に対して、よく校正された予測セットを必要とする。 スコアをランダムなベクトルとして扱い、それらの連接関係構造を考慮した予測セットを構築することを目的とする。 実世界のレグレッション問題に対して,所望のカバレッジと競争効率について報告する。
  論文  参考訳（メタデータ） (2024-11-04T14:29:02Z)
• A Robust Quantile Huber Loss With Interpretable Parameter Adjustment In Distributional Reinforcement Learning [19.89141873890568]
  本稿では、ワッサーシュタイン距離(WD)計算から導かれる一般化量子ハマー損失関数を提案する。 古典的な量子ハマー損失と比較して、この革新的な損失関数は外れ値に対する堅牢性を高める。 分散RLの一般的な応用であるアタリゲームに対する実証実験と、分布RLを用いた最近のヘッジ戦略により、提案した損失関数を検証した。
  論文  参考訳（メタデータ） (2024-01-04T15:51:49Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Statistical Efficiency of Score Matching: The View from Isoperimetry [96.65637602827942]
  本研究では, スコアマッチングの統計的効率と推定される分布の等尺性との間に, 密接な関係を示す。 これらの結果はサンプル状態と有限状態の両方で定式化する。
  論文  参考訳（メタデータ） (2022-10-03T06:09:01Z)
• Data-Driven Influence Functions for Optimization-Based Causal Inference [105.5385525290466]
  統計的汎関数に対するガトー微分を有限差分法で近似する構成的アルゴリズムについて検討する。 本研究では,確率分布を事前知識がないが,データから推定する必要がある場合について検討する。
  論文  参考訳（メタデータ） (2022-08-29T16:16:22Z)
• Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
  ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。 そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
  論文  参考訳（メタデータ） (2021-08-25T21:30:27Z)
• Estimation of a regression function on a manifold by fully connected deep neural networks [6.058868817939519]
  ReLUアクティベーション関数を用いたディープニューラルネットワークの完全連結空間に基づく最小二乗推定の収束率を解析した。 予測変数の分布が多様体に集中している場合、これらの推定は多様体の次元に依存し、予測変数の成分数に依存しない収束率を達成する。
  論文  参考訳（メタデータ） (2021-07-20T14:43:59Z)
• Equivalence of Convergence Rates of Posterior Distributions and Bayes Estimators for Functions and Nonparametric Functionals [4.375582647111708]
  非パラメトリック回帰におけるガウス過程の先行したベイズ法の後部収縮率について検討する。 カーネルの一般クラスに対しては、回帰関数とその微分の後方測度の収束率を確立する。 我々の証明は、ある条件下では、ベイズ推定器の任意の収束率に対して、後部分布の同じ収束率に対応することを示す。
  論文  参考訳（メタデータ） (2020-11-27T19:11:56Z)
• Empirical Strategy for Stretching Probability Distribution in Neural-network-based Regression [5.35308390309106]
  ニューラルネットワーク下での回帰解析では、予測性能は層間の適切な重み決定に依存する。 両分布の重み付け面積を増大させる新しい損失関数として重み付き経験的ストレッチ(WES)を提案する。 極端な領域に対するRMSEの改良結果は、非線形複雑系における異常事象の予測に利用されることが期待されている。
  論文  参考訳（メタデータ） (2020-09-08T06:08:14Z)
• A Random Matrix Analysis of Random Fourier Features: Beyond the Gaussian Kernel, a Precise Phase Transition, and the Corresponding Double Descent [85.77233010209368]
  本稿では、データサンプルの数が$n$である現実的な環境で、ランダムフーリエ(RFF)回帰の正確さを特徴付けます。 この分析はまた、大きな$n,p,N$のトレーニングとテスト回帰エラーの正確な推定も提供する。
  論文  参考訳（メタデータ） (2020-06-09T02:05:40Z)
• Statistical Inference for Model Parameters in Stochastic Gradient Descent [45.29532403359099]
  勾配降下係数(SGD)は,その計算効率とメモリ効率から,大規模データの統計的推定に広く用いられている。 人口減少関数が強い凸であり,一定の条件を満たす場合,SGDに基づく真のモデルパラメータの統計的推測の問題について検討する。
  論文  参考訳（メタデータ） (2016-10-27T07:04:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。