Fugu-MT 論文翻訳(概要): A Unified Evaluation Framework for Epistemic Predictions

論文の概要: A Unified Evaluation Framework for Epistemic Predictions

arxiv url: http://arxiv.org/abs/2501.16912v1
Date: Tue, 28 Jan 2025 12:59:29 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-29 16:40:57.961385
Title: A Unified Evaluation Framework for Epistemic Predictions
Title（参考訳）: てんかん予測のための統一評価フレームワーク
Authors: Shireen Kudukkil Manchingal, Muhammad Mubashar, Kaizheng Wang, Fabio Cuzzolin,
Abstract要約: 本稿では,不確実性認識型分類器の統一評価フレームワークを提案する。ユーザは、適切に設計されたパフォーマンス指標を使用して、精度と予測精度のトレードオフを調整できる。これにより、所望のトレードオフの関数として、特定の現実世界のアプリケーションに最も適したモデルを選択することができる。
参考スコア（独自算出の注目度）: 4.881392509032435
License:
Abstract: Predictions of uncertainty-aware models are diverse, ranging from single point estimates (often averaged over prediction samples) to predictive distributions, to set-valued or credal-set representations. We propose a novel unified evaluation framework for uncertainty-aware classifiers, applicable to a wide range of model classes, which allows users to tailor the trade-off between accuracy and precision of predictions via a suitably designed performance metric. This makes possible the selection of the most suitable model for a particular real-world application as a function of the desired trade-off. Our experiments, concerning Bayesian, ensemble, evidential, deterministic, credal and belief function classifiers on the CIFAR-10, MNIST and CIFAR-100 datasets, show that the metric behaves as desired.
Abstract（参考訳）: 不確実性を考慮したモデルの予測は、単一点推定(しばしば予測サンプルよりも平均化される)から予測分布、セット値またはクレダルセット表現まで様々である。本研究では,不確実性を考慮した分類器の統一評価フレームワークを提案し,その精度と精度のトレードオフを適切に設計した性能指標を用いて調整する。これにより、所望のトレードオフの関数として、特定の現実世界のアプリケーションに最も適したモデルを選択することができる。 CIFAR-10, MNIST, CIFAR-100データセットにおけるベイズ的, アンサンブル的, 明確な, 決定論的, 破滅的, 信念的関数分類器に関する実験により, 測定値が期待通りに振る舞うことを示す。

関連論文リスト

Bayesian Estimation and Tuning-Free Rank Detection for Probability Mass Function Tensors [17.640500920466984]
本稿では,関節のPMFを推定し,そのランクを観測データから自動的に推定する新しい枠組みを提案する。我々は、様々なモデルパラメータの後方分布を近似するために、変分推論(VI)に基づく決定論的解を導出し、さらに、変分推論(SVI)を利用して、VVIベースのアプローチのスケーラブルバージョンを開発する。合成データと実映画レコメンデーションデータの両方を含む実験は、推定精度、自動ランク検出、計算効率の点で、VVIおよびSVIベースの手法の利点を示している。
論文参考訳（メタデータ） (2024-10-08T20:07:49Z)
A Probabilistic Perspective on Unlearning and Alignment for Large Language Models [48.96686419141881]
大規模言語モデル(LLM)における最初の形式的確率的評価フレームワークを紹介する。モデルの出力分布に関する高い確率保証を持つ新しい指標を導出する。私たちのメトリクスはアプリケーションに依存しないので、デプロイ前にモデル機能についてより信頼性の高い見積を行うことができます。
論文参考訳（メタデータ） (2024-10-04T15:44:23Z)
Trustworthy Classification through Rank-Based Conformal Prediction Sets [9.559062601251464]
本稿では,分類モデルに適したランクベーススコア関数を用いた新しいコンフォメーション予測手法を提案する。提案手法は,そのサイズを管理しながら,所望のカバレッジ率を達成する予測セットを構築する。コントリビューションには、新しい共形予測法、理論的解析、経験的評価が含まれる。
論文参考訳（メタデータ） (2024-07-05T10:43:41Z)
Quantification of Predictive Uncertainty via Inference-Time Sampling [57.749601811982096]
本稿では,データあいまいさの予測不確実性を推定するためのポストホックサンプリング手法を提案する。この方法は与えられた入力に対して異なる可算出力を生成することができ、予測分布のパラメトリック形式を仮定しない。
論文参考訳（メタデータ） (2023-08-03T12:43:21Z)
Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
論文参考訳（メタデータ） (2023-02-23T18:57:14Z)
Variational Factorization Machines for Preference Elicitation in Large-Scale Recommender Systems [17.050774091903552]
本稿では, 標準のミニバッチ降下勾配を用いて容易に最適化できる因子化機械 (FM) の変分定式化を提案する。提案アルゴリズムは,ユーザおよび項目パラメータに近似した後続分布を学習し,予測に対する信頼区間を導出する。いくつかのデータセットを用いて、予測精度の点で既存の手法と同等または優れた性能を示す。
論文参考訳（メタデータ） (2022-12-20T00:06:28Z)
Post-Selection Confidence Bounds for Prediction Performance [2.28438857884398]
機械学習では、潜在的に多くの競合モデルから有望なモデルを選択し、その一般化性能を評価することが重要な課題である。本稿では,評価セットの予測性能に基づいて選択された複数のモデルに対して,有効な低信頼境界を求めるアルゴリズムを提案する。
論文参考訳（メタデータ） (2022-10-24T13:28:43Z)
Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文参考訳（メタデータ） (2022-01-11T23:01:12Z)
Post-hoc Models for Performance Estimation of Machine Learning Inference [22.977047604404884]
さまざまなシナリオにおいて、推論中に機械学習モデルがどれだけうまく機能するかを推定することが重要である。性能評価をさまざまなメトリクスやシナリオに体系的に一般化する。提案したポストホックモデルは標準信頼ベースラインを一貫して上回っていることがわかった。
論文参考訳（メタデータ） (2021-10-06T02:20:37Z)
Characterizing Fairness Over the Set of Good Models Under Selective Labels [69.64662540443162]
同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
論文参考訳（メタデータ） (2021-01-02T02:11:37Z)
Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。