論文の概要: A Bayesian Evaluation Framework for Subjectively Annotated Visual Recognition Tasks

• arxiv url: http://arxiv.org/abs/2007.06711v2
• Date: Wed, 1 Sep 2021 22:05:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-18 22:03:10.084365
• Title: A Bayesian Evaluation Framework for Subjectively Annotated Visual Recognition Tasks
• Title（参考訳）: 主観的アノテーション付き視覚認識課題に対するベイズ評価フレームワーク
• Authors: Derek S. Prijatelj (1), Mel McCurrie (2), Walter J. Scheirer (1) ((1) University of Notre Dame, Notre Dame, USA, (2) Perceptive Automata, Boston, USA)
• Abstract要約: 予測器の内部構造から生じる不確実性を評価するための枠組みを提案する。 この枠組みは、主観的人間の判断を用いた4つの画像分類タスクにうまく適用されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: An interesting development in automatic visual recognition has been the emergence of tasks where it is not possible to assign objective labels to images, yet still feasible to collect annotations that reflect human judgements about them. Machine learning-based predictors for these tasks rely on supervised training that models the behavior of the annotators, i.e., what would the average person's judgement be for an image? A key open question for this type of work, especially for applications where inconsistency with human behavior can lead to ethical lapses, is how to evaluate the epistemic uncertainty of trained predictors, i.e., the uncertainty that comes from the predictor's model. We propose a Bayesian framework for evaluating black box predictors in this regime, agnostic to the predictor's internal structure. The framework specifies how to estimate the epistemic uncertainty that comes from the predictor with respect to human labels by approximating a conditional distribution and producing a credible interval for the predictions and their measures of performance. The framework is successfully applied to four image classification tasks that use subjective human judgements: facial beauty assessment, social attribute assignment, apparent age estimation, and ambiguous scene labeling.
• Abstract（参考訳）: 自動視覚認識における興味深い展開は、画像に客観的ラベルを割り当てることができないタスクの出現であるが、人間の判断を反映したアノテーションの収集が可能であることである。 これらのタスクのための機械学習ベースの予測器は、アノテーションの振る舞いをモデル化する教師付きトレーニング、すなわち、平均的な人のイメージに対する判断とは何か? この種の研究、特に人間の行動の不整合が倫理的過失を引き起こす可能性があるアプリケーションにおいて鍵となる疑問は、訓練された予測者の認識的不確実性、すなわち予測者のモデルから生じる不確実性を評価する方法である。 本稿では,ブラックボックス予測器の評価のためのベイズ的枠組みを提案し,予測器の内部構造に依存しない。 このフレームワークは、条件分布を近似し、予測とその性能測定のための信頼区間を生成することにより、ヒトのラベルに対する予測者から生じる認識の不確実性を推定する方法を特定する。 この枠組みは、顔の美的評価、社会的属性の割り当て、明らかな年齢推定、あいまいなシーンのラベリングという4つの主観的な人間の判断を用いた画像分類タスクにうまく適用できる。

関連論文リスト

• Interpreting Predictive Probabilities: Model Confidence or Human Label Variation? [27.226997687210044]
  私たちは、非常に異なる評価プロトコルを駆動する2つの主要な視点を特定します。 我々は,それらのメリットと限界について論じ,両者が信頼に値する,公平なNLPシステムにとって重要であるという立場を取る。 我々はツールを推奨し、人間のラベルに関する不確実性や不確実性について不整合表現を持つモデルへのエキサイティングな方向を示す。
  論文  参考訳（メタデータ） (2024-02-25T15:00:13Z)
• Modeling the Uncertainty with Maximum Discrepant Students for Semi-supervised 2D Pose Estimation [57.17120203327993]
  半教師付きポーズ推定タスクにおける擬似ラベルの品質を推定する枠組みを提案する。 提案手法は,3つのデータセットに対する半教師付きポーズ推定の性能を向上させる。
  論文  参考訳（メタデータ） (2023-11-03T08:11:06Z)
• Causal Unsupervised Semantic Segmentation [60.178274138753174]
  教師なしセマンティックセグメンテーションは、人間のラベル付きアノテーションなしで高品質なセマンティックセマンティックセグメンテーションを実現することを目的としている。 本稿では、因果推論からの洞察を活用する新しいフレームワークCAUSE(CAusal Unsupervised Semantic sEgmentation)を提案する。
  論文  参考訳（メタデータ） (2023-10-11T10:54:44Z)
• Gender Biases in Automatic Evaluation Metrics for Image Captioning [87.15170977240643]
  画像キャプションタスクのためのモデルに基づく評価指標において、性別バイアスの体系的研究を行う。 偏りのある世代と偏りのない世代を区別できないことを含む、これらの偏りのあるメトリクスを使用することによる負の結果を実証する。 人間の判断と相関を損なうことなく、測定バイアスを緩和する簡便で効果的な方法を提案する。
  論文  参考訳（メタデータ） (2023-05-24T04:27:40Z)
• What Should I Know? Using Meta-gradient Descent for Predictive Feature Discovery in a Single Stream of Experience [63.75363908696257]
  計算強化学習は、未来の感覚の予測を通じて、エージェントの世界の知覚を構築しようとする。 この一連の作業において、オープンな課題は、エージェントがどの予測が意思決定を最も支援できるかを、無限に多くの予測から決定することである。 本稿では,エージェントが何を予測するかを学習するメタ段階的な降下過程,(2)選択した予測の見積もり,3)将来の報酬を最大化するポリシーを生成する方法を紹介する。
  論文  参考訳（メタデータ） (2022-06-13T21:31:06Z)
• See Yourself in Others: Attending Multiple Tasks for Own Failure Detection [28.787334666116518]
  複数のタスク間の相関を利用して注意に基づく障害検出手法を提案する。 提案フレームワークは、画像内の複数の領域に対する複数の視覚的知覚タスクに対して、個々の予測を評価することでタスクの失敗を推測する。 提案手法は,タスクの予測に対する予測誤差をより正確に推定する。
  論文  参考訳（メタデータ） (2021-10-06T07:42:57Z)
• Learning Uncertainty For Safety-Oriented Semantic Segmentation In Autonomous Driving [77.39239190539871]
  自律運転における安全クリティカル画像セグメンテーションを実現するために、不確実性推定をどのように活用できるかを示す。 相似性関数によって測定された不一致予測に基づく新しい不確実性尺度を導入する。 本研究では,提案手法が競合手法よりも推論時間において計算集約性が低いことを示す。
  論文  参考訳（メタデータ） (2021-05-28T09:23:05Z)
• Self-Supervision by Prediction for Object Discovery in Videos [62.87145010885044]
  本稿では,この予測タスクを自己監督として利用し,画像シーケンス表現のための新しいオブジェクト中心モデルを構築する。 私たちのフレームワークは、手動アノテーションや事前トレーニングされたネットワークを使わずにトレーニングできます。 最初の実験では、提案されたパイプラインがオブジェクト中心のビデオ予測への有望なステップであることを確認した。
  論文  参考訳（メタデータ） (2021-03-09T19:14:33Z)
• Probabilistic Deep Learning for Instance Segmentation [9.62543698736491]
  提案手法は,提案不要なインスタンスセグメンテーションモデルにおけるモデル独立不確実性推定値を得るための汎用的な手法である。 本手法は,BBBC010 C. elegansデータセットを用いて評価し,競合性能を示す。
  論文  参考訳（メタデータ） (2020-08-24T19:51:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。