論文の概要: Model Comparison and Calibration Assessment: User Guide for Consistent Scoring Functions in Machine Learning and Actuarial Practice

• arxiv url: http://arxiv.org/abs/2202.12780v3
• Date: Wed, 26 Jul 2023 14:55:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-27 16:42:34.264038
• Title: Model Comparison and Calibration Assessment: User Guide for Consistent Scoring Functions in Machine Learning and Actuarial Practice
• Title（参考訳）: モデル比較と校正評価 : 機械学習とアクチュアリカル・プラクティスにおける一貫性のあるスコア機能のためのユーザガイド
• Authors: Tobias Fissler, Christian Lorentzen, Michael Mayer
• Abstract要約: 本発明のユーザガイドは、モデルの校正や妥当性を評価する統計的手法を再検討し、明確化する。 主に既存の成果とベストプラクティスの教育的な提示に焦点を当てている。 結果は、労働者の報酬と顧客の混乱に関する2つの実データケーススタディに伴って説明される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: One of the main tasks of actuaries and data scientists is to build good predictive models for certain phenomena such as the claim size or the number of claims in insurance. These models ideally exploit given feature information to enhance the accuracy of prediction. This user guide revisits and clarifies statistical techniques to assess the calibration or adequacy of a model on the one hand, and to compare and rank different models on the other hand. In doing so, it emphasises the importance of specifying the prediction target functional at hand a priori (e.g. the mean or a quantile) and of choosing the scoring function in model comparison in line with this target functional. Guidance for the practical choice of the scoring function is provided. Striving to bridge the gap between science and daily practice in application, it focuses mainly on the pedagogical presentation of existing results and of best practice. The results are accompanied and illustrated by two real data case studies on workers' compensation and customer churn.
• Abstract（参考訳）: actuaryとデータサイエンティストの主なタスクの1つは、クレームサイズや保険のクレーム数といった特定の現象に対する優れた予測モデルを構築することである。 これらのモデルは与えられた特徴情報を理想的に活用し、予測の精度を高める。 このユーザガイドは、あるモデルのキャリブレーションや妥当性を評価し、他方で異なるモデルを比較しランク付けするための統計的手法を再検討し、明確化する。 その際、事前の予測対象機能を指定すること(例えば平均または分位数)と、この目標機能と並んでモデル比較における得点関数を選択することの重要性を強調する。 採点機能の実用的選択のためのガイダンスが提供される。 応用における科学と日常の実践のギャップを埋めようとして、主に既存の成果の教育的な提示とベストプラクティスに焦点を当てている。 結果は、労働者の報酬と顧客の混乱に関する2つの実データケーススタディに伴って説明される。

関連論文リスト

• A performance characteristic curve for model evaluation: the application in information diffusion prediction [3.8711489380602804]
  拡散データ中のランダム性を定量化するために,情報エントロピーに基づくメトリクスを提案し,モデルのランダム性と予測精度の間のスケーリングパターンを同定する。 異なるシーケンス長、システムサイズ、ランダム性によるパターンのデータポイントは、すべて単一の曲線に崩壊し、正しい予測を行うモデル固有の能力を取得する。 曲線の妥当性は、同じ家系の3つの予測モデルによって検証され、既存の研究と一致して結論に達する。
  論文  参考訳（メタデータ） (2023-09-18T07:32:57Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)
• Post-hoc Models for Performance Estimation of Machine Learning Inference [22.977047604404884]
  さまざまなシナリオにおいて、推論中に機械学習モデルがどれだけうまく機能するかを推定することが重要である。 性能評価をさまざまなメトリクスやシナリオに体系的に一般化する。 提案したポストホックモデルは標準信頼ベースラインを一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-10-06T02:20:37Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)
• Characterizing Fairness Over the Set of Good Models Under Selective Labels [69.64662540443162]
  同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。 到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。 選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2021-01-02T02:11:37Z)
• Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual Model-Based Reinforcement Learning [109.74041512359476]
  視覚的MBRLアルゴリズムにおける予測モデルの設計決定について検討する。 潜在空間の使用など、しばしば重要と見なされる設計上の決定は、タスクのパフォーマンスにはほとんど影響しないことが分かりました。 我々は,この現象が探索とどのように関係しているか,および標準ベンチマークにおける下位スコーリングモデルのいくつかが,同じトレーニングデータでトレーニングされた場合のベストパフォーマンスモデルと同等の性能を発揮するかを示す。
  論文  参考訳（メタデータ） (2020-12-08T18:03:21Z)
• Double Robust Representation Learning for Counterfactual Prediction [68.78210173955001]
  そこで本稿では, 対実予測のための2次ロバスト表現を学習するための, スケーラブルな新しい手法を提案する。 我々は、個々の治療効果と平均的な治療効果の両方に対して、堅牢で効率的な対実的予測を行う。 このアルゴリズムは,実世界の最先端技術と合成データとの競合性能を示す。
  論文  参考訳（メタデータ） (2020-10-15T16:39:26Z)
• Metrics for Benchmarking and Uncertainty Quantification: Quality, Applicability, and a Path to Best Practices for Machine Learning in Chemistry [0.0]
  本総説は, 化学・材料分野における機械学習ベンチマークの実施に際し, 2つの課題に留意することを目的としている。 化学者は統計学における限られた訓練しか持たないため、しばしば見過ごされるか、未熟なトピックである。 これらの指標は、異なるモデルのパフォーマンスを比較する上でも重要であり、したがって化学における機械学習の適用を成功させるためのガイドラインとベストプラクティスを開発する上でも重要である。
  論文  参考訳（メタデータ） (2020-09-30T21:19:17Z)
• ALEX: Active Learning based Enhancement of a Model's Explainability [34.26945469627691]
  アクティブラーニング(AL)アルゴリズムは、最小限のラベル付き例をブートストラップ方式で効率的な分類器を構築しようとする。 データ駆動学習の時代において、これは追求すべき重要な研究方向である。 本稿では,モデルの有効性に加えて,ブートストラップ段階におけるモデルの解釈可能性の向上も目指すAL選択関数の開発に向けた取り組みについて述べる。
  論文  参考訳（メタデータ） (2020-09-02T07:15:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。