論文の概要: Conformal Prediction in Multi-User Settings: An Evaluation

• arxiv url: http://arxiv.org/abs/2312.05195v1
• Date: Fri, 8 Dec 2023 17:33:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-11 14:25:14.709381
• Title: Conformal Prediction in Multi-User Settings: An Evaluation
• Title（参考訳）: マルチユーザ設定における共形予測:評価
• Authors: Enrique Garcia-Ceja, Luciano Garcia-Banuelos, Nicolas Jourdan
• Abstract要約: マシンラーニングモデルは、ユーザを区別することなく、トレーニングされ、評価される。 これにより、マルチユーザ設定で不正確なパフォーマンス指標が生成される。 本研究では,複数のマルチユーザ設定における共形予測フレームワークの評価を行った。
• 参考スコア（独自算出の注目度）: 0.10231119246773925
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Typically, machine learning models are trained and evaluated without making any distinction between users (e.g, using traditional hold-out and cross-validation). However, this produces inaccurate performance metrics estimates in multi-user settings. That is, situations where the data were collected by multiple users with different characteristics (e.g., age, gender, height, etc.) which is very common in user computer interaction and medical applications. For these types of scenarios model evaluation strategies that provide better performance estimates have been proposed such as mixed, user-independent, user-dependent, and user-adaptive models. Although those strategies are better suited for multi-user systems, they are typically assessed with respect to performance metrics that capture the overall behavior of the models and do not provide any performance guarantees for individual predictions nor they provide any feedback about the predictions' uncertainty. In order to overcome those limitations, in this work we evaluated the conformal prediction framework in several multi-user settings. Conformal prediction is a model agnostic method that provides confidence guarantees on the predictions, thus, increasing the trustworthiness and robustness of the models. We conducted extensive experiments using different evaluation strategies and found significant differences in terms of conformal performance measures. We also proposed several visualizations based on matrices, graphs, and charts that capture different aspects of the resulting prediction sets.
• Abstract（参考訳）: 通常、機械学習モデルはユーザーを区別することなくトレーニングされ、評価される(例えば、従来のホールドアウトとクロスバリデーションを使用する)。 しかし、これはマルチユーザー設定で不正確なパフォーマンス指標を生成する。 すなわち、異なる特性(年齢、性別、身長など)を持つ複数のユーザによってデータが収集される状況は、ユーザコンピュータのインタラクションや医療アプリケーションで非常に一般的である。 このようなシナリオでは,混合モデルやユーザ非依存モデル,ユーザ依存モデル,ユーザ適応モデルなど,よりよいパフォーマンス見積を提供するモデル評価戦略が提案されている。 これらの戦略はマルチユーザシステムに適しているが、一般的にモデル全体の振る舞いを捉え、個々の予測に対するパフォーマンス保証を提供しておらず、予測の不確実性に関するフィードバックも提供しないパフォーマンス指標について評価される。 これらの制約を克服するために,本研究では,複数のマルチユーザ環境での適合予測フレームワークの評価を行った。 適合予測(conformal prediction)は、予測に対する信頼性を提供するモデル非依存の手法であり、モデルの信頼性と堅牢性を高める。 異なる評価戦略を用いた広範囲な実験を行い, 適合性評価の観点で有意な差を認めた。 また,結果の予測集合の異なる側面を捉えた,行列,グラフ,チャートに基づく可視化もいくつか提案した。

関連論文リスト

• Predictive Churn with the Set of Good Models [64.05949860750235]
  近似機械学習モデルの集合に対する競合予測の効果について検討する。 ラーショモン集合内のモデル間の係り受けに関する理論的結果を示す。 当社のアプローチは、コンシューマ向けアプリケーションにおいて、より予測し、削減し、混乱を避けるためにどのように使用できるかを示します。
  論文  参考訳（メタデータ） (2024-02-12T16:15:25Z)
• Quantification of Predictive Uncertainty via Inference-Time Sampling [57.749601811982096]
  本稿では,データあいまいさの予測不確実性を推定するためのポストホックサンプリング手法を提案する。 この方法は与えられた入力に対して異なる可算出力を生成することができ、予測分布のパラメトリック形式を仮定しない。
  論文  参考訳（メタデータ） (2023-08-03T12:43:21Z)
• Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
  我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。 合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
  論文  参考訳（メタデータ） (2023-02-23T18:57:14Z)
• Post-Selection Confidence Bounds for Prediction Performance [2.28438857884398]
  機械学習では、潜在的に多くの競合モデルから有望なモデルを選択し、その一般化性能を評価することが重要な課題である。 本稿では,評価セットの予測性能に基づいて選択された複数のモデルに対して,有効な低信頼境界を求めるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-24T13:28:43Z)
• Triplet Losses-based Matrix Factorization for Robust Recommendations [0.76146285961466]
  複数の三重項損失項を用いてユーザとアイテムの意味表現を抽出する。 いくつかの「バイアス認識」評価指標を用いて,これらの表現の音質を実証的に評価した。
  論文  参考訳（メタデータ） (2022-10-21T16:44:59Z)
• Predictive Multiplicity in Probabilistic Classification [25.111463701666864]
  確率的分類における予測的乗数性を測定するための枠組みを提案する。 実世界のタスクにおける予測多重度の発生頻度と頻度を実証する。 その結果,予測多重度をより広範囲に報告する必要性が強調された。
  論文  参考訳（メタデータ） (2022-06-02T16:25:29Z)
• Post-hoc Models for Performance Estimation of Machine Learning Inference [22.977047604404884]
  さまざまなシナリオにおいて、推論中に機械学習モデルがどれだけうまく機能するかを推定することが重要である。 性能評価をさまざまなメトリクスやシナリオに体系的に一般化する。 提案したポストホックモデルは標準信頼ベースラインを一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-10-06T02:20:37Z)
• Characterizing Fairness Over the Set of Good Models Under Selective Labels [69.64662540443162]
  同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。 到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。 選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2021-01-02T02:11:37Z)
• Learning Prediction Intervals for Model Performance [1.433758865948252]
  モデル性能の予測間隔を計算する手法を提案する。 我々は,幅広いドリフト条件におけるアプローチを評価し,競合ベースラインよりも大幅に改善することを示す。
  論文  参考訳（メタデータ） (2020-12-15T21:32:03Z)
• Performance metrics for intervention-triggering prediction models do not reflect an expected reduction in outcomes from using the model [71.9860741092209]
  臨床研究者はしばしばリスク予測モデルの中から選択し評価する。 振り返りデータから算出される標準メトリクスは、特定の仮定の下でのみモデルユーティリティに関係します。 予測が時間を通して繰り返し配信される場合、標準メトリクスとユーティリティの関係はさらに複雑になる。
  論文  参考訳（メタデータ） (2020-06-02T16:26:49Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。