論文の概要: Interpreting Predictive Probabilities: Model Confidence or Human Label Variation?

• arxiv url: http://arxiv.org/abs/2402.16102v1
• Date: Sun, 25 Feb 2024 15:00:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-27 15:25:14.042589
• Title: Interpreting Predictive Probabilities: Model Confidence or Human Label Variation?
• Title（参考訳）: 予測確率の解釈:モデル信頼度か人間のラベル変動か?
• Authors: Joris Baan, Raquel Fern\'andez, Barbara Plank, Wilker Aziz
• Abstract要約: 私たちは、非常に異なる評価プロトコルを駆動する2つの主要な視点を特定します。 我々は,それらのメリットと限界について論じ,両者が信頼に値する,公平なNLPシステムにとって重要であるという立場を取る。 我々はツールを推奨し、人間のラベルに関する不確実性や不確実性について不整合表現を持つモデルへのエキサイティングな方向を示す。
• 参考スコア（独自算出の注目度）: 27.226997687210044
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the rise of increasingly powerful and user-facing NLP systems, there is growing interest in assessing whether they have a good representation of uncertainty by evaluating the quality of their predictive distribution over outcomes. We identify two main perspectives that drive starkly different evaluation protocols. The first treats predictive probability as an indication of model confidence; the second as an indication of human label variation. We discuss their merits and limitations, and take the position that both are crucial for trustworthy and fair NLP systems, but that exploiting a single predictive distribution is limiting. We recommend tools and highlight exciting directions towards models with disentangled representations of uncertainty about predictions and uncertainty about human labels.
• Abstract（参考訳）: ますます強力でユーザ対応のNLPシステムが台頭し、結果よりも予測分布の質を評価することによって、不確実性の優れた表現があるかどうかを評価することへの関心が高まっている。 私たちは、まったく異なる評価プロトコルを駆動する2つの主要な視点を特定します。 第一は予測確率をモデル信頼の指標として扱い、第二は人間のラベルの変化の指標として扱う。 我々は,それらのメリットと限界を議論し,信頼に値するシステムと公平なnlpシステムの両方にとって重要であるが,単一の予測分布の活用には限界がある,という立場を取る。 我々はツールを推奨し、人間のラベルに関する不確実性や不確実性について不整合表現を持つモデルへのエキサイティングな方向を示す。

関連論文リスト

• Beyond Confidence: Reliable Models Should Also Consider Atypicality [43.012818086415514]
  サンプルやクラスが非典型的であるかとモデルの予測の信頼性との関係について検討する。 非定型入力や非定型クラスの予測は、より過信であり、精度が低いことを示す。 モデルの信頼性だけでなく,不確かさの定量化や性能向上にも非定型性を用いるべきである。
  論文  参考訳（メタデータ） (2023-05-29T17:37:09Z)
• Toward Reliable Human Pose Forecasting with Uncertainty [51.628234388046195]
  我々は、複数のモデルを含む人間のポーズ予測のためのオープンソースのライブラリを開発し、複数のデータセットをサポートする。 我々は、パフォーマンスを高め、より良い信頼をもたらすために、問題の2つの不確実性を考案する。
  論文  参考訳（メタデータ） (2023-04-13T17:56:08Z)
• Confidence and Dispersity Speak: Characterising Prediction Matrix for Unsupervised Accuracy Estimation [51.809741427975105]
  この研究は、ラベルを使わずに、分散シフト下でのモデルの性能を評価することを目的としている。 我々は、両方の特性を特徴付けるのに有効であることが示されている核規範を用いる。 核の基準は既存の手法よりも正確で堅牢であることを示す。
  論文  参考訳（メタデータ） (2023-02-02T13:30:48Z)
• Reliability-Aware Prediction via Uncertainty Learning for Person Image Retrieval [51.83967175585896]
  UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。 データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
  論文  参考訳（メタデータ） (2022-10-24T17:53:20Z)
• What Should I Know? Using Meta-gradient Descent for Predictive Feature Discovery in a Single Stream of Experience [63.75363908696257]
  計算強化学習は、未来の感覚の予測を通じて、エージェントの世界の知覚を構築しようとする。 この一連の作業において、オープンな課題は、エージェントがどの予測が意思決定を最も支援できるかを、無限に多くの予測から決定することである。 本稿では,エージェントが何を予測するかを学習するメタ段階的な降下過程,(2)選択した予測の見積もり,3)将来の報酬を最大化するポリシーを生成する方法を紹介する。
  論文  参考訳（メタデータ） (2022-06-13T21:31:06Z)
• Learning to Predict Trustworthiness with Steep Slope Loss [69.40817968905495]
  本研究では,現実の大規模データセットにおける信頼性の予測問題について検討する。 我々は、先行技術損失関数で訓練された信頼性予測器が、正しい予測と誤った予測の両方を信頼に値するものとみなす傾向があることを観察する。 そこで我々は,2つのスライド状の曲線による不正確な予測から,特徴w.r.t.正しい予測を分離する,新たな急勾配損失を提案する。
  論文  参考訳（メタデータ） (2021-09-30T19:19:09Z)
• Multi-label Chaining with Imprecise Probabilities [0.0]
  本稿では,古典的マルチラベル連鎖法を拡張し,不正確な確率推定を行うための2つの戦略を提案する。 このような推定に利用できる主な理由は、(1)連鎖において高い不確実性が検出された場合に慎重な予測を行うこと、(2)連鎖の初期決定におけるバイアスを回避し、より正確な予測を行うことである。 両手法の信頼性を検証したラベルの欠落に関する実験結果から,精度の高いモデルが故障した場合の予測が困難である事例に対して,本手法が関連する注意を喚起することを示す。
  論文  参考訳（メタデータ） (2021-07-15T16:43:31Z)
• When Does Uncertainty Matter?: Understanding the Impact of Predictive Uncertainty in ML Assisted Decision Making [68.19284302320146]
  我々は,異なるレベルの専門知識を持つ人々が,異なるタイプの予測不確実性にどう反応するかを評価するために,ユーザスタディを実施している。 その結果,後続の予測分布を示すことは,MLモデルの予測との相違点が小さくなることがわかった。 このことは、後続の予測分布は、人間の分布の種類や専門性を考慮し、注意を払って使用するべき有用な決定支援として役立つ可能性があることを示唆している。
  論文  参考訳（メタデータ） (2020-11-12T02:23:53Z)
• Getting a CLUE: A Method for Explaining Uncertainty Estimates [30.367995696223726]
  微分可能確率モデルからの不確実性推定を解釈する新しい手法を提案する。 提案手法は,データ多様体上に保持しながら,入力の変更方法を示す。
  論文  参考訳（メタデータ） (2020-06-11T21:53:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。