Fugu-MT 論文翻訳(概要): Sparse Probability of Agreement

論文の概要: Sparse Probability of Agreement

arxiv url: http://arxiv.org/abs/2208.06161v1
Date: Fri, 12 Aug 2022 08:15:34 GMT
ステータス: 処理完了
システム内更新日: 2022-08-15 13:17:16.437037
Title: Sparse Probability of Agreement
Title（参考訳）: 協定のスパース確率
Authors: Jeppe N{\o}rregaard, Leon Derczynski
Abstract要約: 我々は,すべてのアノテータ-イテムペアが利用できない場合の一致確率を推定するSPAを定義する。 SPAは,いくつかの仮定で不偏推定器であり,異なる数のアノテーションを用いてサンプルを処理するための複数の異なる重み付けスキームを提供する。
参考スコア（独自算出の注目度）: 6.396288020763144
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Measuring inter-annotator agreement is important for annotation tasks, but many metrics require a fully-annotated dataset (or subset), where all annotators annotate all samples. We define Sparse Probability of Agreement, SPA, which estimates the probability of agreement when no all annotator-item-pairs are available. We show that SPA, with some assumptions, is an unbiased estimator and provide multiple different weighing schemes for handling samples with different numbers of annotation, evaluated over a range of datasets.
Abstract（参考訳）: アノテーション間の合意を測定することは、アノテーションタスクにとって重要であるが、多くのメトリクスは、すべてのアノテーションがすべてのサンプルに注釈を付ける完全なアノテーション付きデータセット(またはサブセット)を必要とする。我々は、すべてのアノテータ・イテムペアが利用できない場合に、合意の確率を推定するSPA(Sparse Probability of Agreement)を定義する。 SPAは,いくつかの仮定で不偏推定器であり,異なる数のアノテーションを用いてサンプルを処理するための複数の異なる重み付けスキームを提供する。

関連論文リスト

Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2024-03-11T13:44:49Z)
Sample size planning for conditional counterfactual mean estimation with a K-armed randomized experiment [0.0]
K$のランダム化実験で十分なサンプルサイズを決定する方法を示す。政策木を用いてサブグループを学習し、公開可能な大規模なランダム化実験データセットにおいて、我々の名目上の保証を評価する。
論文参考訳（メタデータ） (2024-03-06T20:37:29Z)
Conformal Language Modeling [61.94417935386489]
生成言語モデル(LM)の共形予測のための新しい手法を提案する。標準共形予測は厳密で統計的に保証された予測セットを生成する。我々は,オープンドメイン質問応答,テキスト要約,ラジオロジーレポート生成において,複数のタスクに対するアプローチの約束を実証する。
論文参考訳（メタデータ） (2023-06-16T21:55:08Z)
Post-selection Inference for Conformal Prediction: Trading off Coverage for Precision [0.0]
伝統的に、共形予測推論はデータに依存しない発見レベルの仕様を必要とする。我々は,データ依存的誤発見レベルを考慮した同時共形推論を開発する。
論文参考訳（メタデータ） (2023-04-12T20:56:43Z)
Utilizing supervised models to infer consensus labels and their quality from data with multiple annotators [16.79939549201032]
分類のための実世界のデータは、しばしば複数のアノテータによってラベル付けされる。このようなデータを推定するための簡単なアプローチであるCROWDLABを紹介します。提案手法は,(1)-(3)に対して,多くの代替アルゴリズムよりも優れた推定値を提供する。
論文参考訳（メタデータ） (2022-10-13T07:54:07Z)
QuaPy: A Python-Based Framework for Quantification [76.22817970624875]
QuaPyは、定量化を行うためのオープンソースのフレームワークである(例えば、教師付き精度推定)。 Pythonで書かれており、pip経由でインストールできる。
論文参考訳（メタデータ） (2021-06-18T13:57:11Z)
Universal Off-Policy Evaluation [64.02853483874334]
ユニバーサルオフ政治推定器(UnO)への第一歩を踏み出す我々は, 平均, 分散, 分位数/中間数, 分位数範囲, cvar, および累積分布全体の推定と同時結合に uno を用いる。
論文参考訳（メタデータ） (2021-04-26T18:54:31Z)
Predicting the Accuracy of a Few-Shot Classifier [3.609538870261841]
まず,一般化性能の変動要因を解析する。我々は,検討された分類器の一般化能力と実証的に相関する合理的な尺度を提案する。
論文参考訳（メタデータ） (2020-07-08T16:31:28Z)
Neighborhood-based Pooling for Population-level Label Distribution Learning [5.790608871289107]
監視された機械学習は、しばしば人間の注釈付きデータを必要とする。人口レベルのラベル分布学習は、人間のアノテータの集団の意見のサンプルとして、各データ項目に対するアノテーションの収集を扱う。本稿では,サンプリングサイズを考慮したPLDLのためのアルゴリズムフレームワークと新しい統計的テストを提案する。
論文参考訳（メタデータ） (2020-03-16T18:52:56Z)
Batch Stationary Distribution Estimation [98.18201132095066]
サンプル遷移の組を与えられたエルゴードマルコフ鎖の定常分布を近似する問題を考える。与えられたデータに対する補正比関数の復元に基づく一貫した推定器を提案する。
論文参考訳（メタデータ） (2020-03-02T09:10:01Z)
Estimating Gradients for Discrete Random Variables by Sampling without Replacement [93.09326095997336]
我々は、置換のないサンプリングに基づいて、離散確率変数に対する期待値の偏りのない推定器を導出する。推定器は3つの異なる推定器のラオ・ブラックウェル化として導出可能であることを示す。
論文参考訳（メタデータ） (2020-02-14T14:15:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。