論文の概要: Calibration-then-Calculation: A Variance Reduced Metric Framework in
Deep Click-Through Rate Prediction Models
- arxiv url: http://arxiv.org/abs/2401.16692v1
- Date: Tue, 30 Jan 2024 02:38:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-31 16:33:29.943986
- Title: Calibration-then-Calculation: A Variance Reduced Metric Framework in
Deep Click-Through Rate Prediction Models
- Title(参考訳): Calibration-then-Calculation:Deep Click-Through Rate予測モデルにおける可変化メトリックフレームワーク
- Authors: Yewen Fan, Nian Si, Xiangchen Song, Kun Zhang
- Abstract要約: トレーニングプロセスを一度だけ実行し、その結果を以前のベンチマークと比較することが一般的になった。
距離分散は、ディープラーニングパイプラインのトレーニングプロセスに固有のランダム性に由来する。
我々は,この問題に対処する新たなメトリクスフレームワークCalibrated Loss Metricを提案する。
- 参考スコア(独自算出の注目度): 17.816365219484638
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning has been widely adopted across various fields, but there has
been little focus on evaluating the performance of deep learning pipelines.
With the increased use of large datasets and complex models, it has become
common to run the training process only once and compare the result to previous
benchmarks. However, this procedure can lead to imprecise comparisons due to
the variance in neural network evaluation metrics. The metric variance comes
from the randomness inherent in the training process of deep learning
pipelines. Traditional solutions such as running the training process multiple
times are usually not feasible in deep learning due to computational
limitations. In this paper, we propose a new metric framework, Calibrated Loss
Metric, that addresses this issue by reducing the variance in its vanilla
counterpart. As a result, the new metric has a higher accuracy to detect
effective modeling improvement. Our approach is supported by theoretical
justifications and extensive experimental validations in the context of Deep
Click-Through Rate Prediction Models.
- Abstract(参考訳): ディープラーニングはさまざまな分野に広く採用されているが、ディープラーニングパイプラインのパフォーマンス評価にはほとんど焦点が当てられていない。
大規模なデータセットと複雑なモデルの使用が増加し、トレーニングプロセスを一度だけ実行し、その結果を以前のベンチマークと比較することが一般的になった。
しかし、この手法はニューラルネットワーク評価指標のばらつきによる不正確な比較につながる可能性がある。
メトリック分散は、ディープラーニングパイプラインのトレーニングプロセスに固有のランダム性に由来する。
トレーニングプロセスを複数回実行するような従来のソリューションは、計算上の制限のため、ディープラーニングでは実現不可能である。
本稿では,バニラの分散を低減し,この問題に対処した新しいメトリックフレームワークであるキャリブレーションロスメトリックを提案する。
その結果、新しい測定基準は、効果的なモデリング改善を検出するための精度が高い。
提案手法は,Deep Click-Through Rate Prediction Modelの文脈における理論的正当化と広範な実験的検証によって支持される。
関連論文リスト
- Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳(メタデータ) (2024-03-01T03:27:08Z) - Bayesian Deep Learning for Remaining Useful Life Estimation via Stein
Variational Gradient Descent [14.784809634505903]
本研究では,スタイン変分勾配勾配を用いたベイズ学習モデルが収束速度と予測性能に対して一貫して優れていたことを示す。
ベイズモデルが提供する不確実性情報に基づく性能向上手法を提案する。
論文 参考訳(メタデータ) (2024-02-02T02:21:06Z) - Deep Ensembles Meets Quantile Regression: Uncertainty-aware Imputation
for Time Series [49.992908221544624]
時系列データは、しばしば多くの欠落した値を示し、これは時系列計算タスクである。
従来の深層学習法は時系列計算に有効であることが示されている。
本研究では,不確実性のある高精度な計算を行う非生成時系列計算法を提案する。
論文 参考訳(メタデータ) (2023-12-03T05:52:30Z) - Stabilizing Subject Transfer in EEG Classification with Divergence
Estimation [17.924276728038304]
脳波分類タスクを記述するためのグラフィカルモデルをいくつか提案する。
理想的な訓練シナリオにおいて真であるべき統計的関係を同定する。
我々は、これらの関係を2段階で強制する正規化罰則を設計する。
論文 参考訳(メタデータ) (2023-10-12T23:06:52Z) - Small batch deep reinforcement learning [31.69289254478042]
値に基づく深層強化学習では、バッチサイズパラメータは、各勾配更新に対するサンプルへの遷移数を指定する。
本研究では,バッチサイズを小さくすることで,多くの大幅な性能向上が期待できることを示す広範な実証研究を提案する。
論文 参考訳(メタデータ) (2023-10-05T20:31:37Z) - Calibrating the Rigged Lottery: Making All Tickets Reliable [14.353428281239665]
信頼性校正を改善したスパースモデルを生成するための新しいスパーストレーニング手法を提案する。
本手法は,計算量や記憶負荷をわずかに増加させるだけで,同時に精度を向上する。
論文 参考訳(メタデータ) (2023-02-18T15:53:55Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳(メタデータ) (2022-04-13T12:43:12Z) - Churn Reduction via Distillation [54.5952282395487]
本研究は, 基礎モデルを教師として用いた蒸留によるトレーニングと, 予測的チャーンに対する明示的な制約によるトレーニングとの等価性を示す。
次に, 蒸留が近年の多くのベースラインに対する低チャーン訓練に有効であることを示す。
論文 参考訳(メタデータ) (2021-06-04T18:03:31Z) - Scalable Marginal Likelihood Estimation for Model Selection in Deep
Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。
本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文 参考訳(メタデータ) (2021-04-11T09:50:24Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳(メタデータ) (2020-06-10T08:22:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。