Fugu-MT 論文翻訳(概要): DiPietro-Hazari Kappa: A Novel Metric for Assessing Labeling Quality via Annotation

論文の概要: DiPietro-Hazari Kappa: A Novel Metric for Assessing Labeling Quality via Annotation

arxiv url: http://arxiv.org/abs/2209.08243v1
Date: Sat, 17 Sep 2022 04:46:38 GMT
ステータス: 処理完了
システム内更新日: 2022-09-20 20:14:41.854225
Title: DiPietro-Hazari Kappa: A Novel Metric for Assessing Labeling Quality via Annotation
Title（参考訳）: DiPietro-Hazari Kappa: アノテーションによるラベル付け品質の評価方法
Authors: Daniel M. DiPietro and Vivek Hazari
Abstract要約: 提案するデータセットラベルの品質を評価するための新しい指標であるDiPietro-Hazari Kappaを紹介する。古典的なフライスのカッパ測度(英語版)において、ディピエトロ・ハザーリカッパ(英語版)は経験的アノテータ合意を差分する。
参考スコア（独自算出の注目度）: 2.0305676256390934
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Data is a key component of modern machine learning, but statistics for assessing data label quality remain sparse in literature. Here, we introduce DiPietro-Hazari Kappa, a novel statistical metric for assessing the quality of suggested dataset labels in the context of human annotation. Rooted in the classical Fleiss's Kappa measure of inter-annotator agreement, the DiPietro-Hazari Kappa quantifies the the empirical annotator agreement differential that was attained above random chance. We offer a thorough theoretical examination of Fleiss's Kappa before turning to our derivation of DiPietro-Hazari Kappa. Finally, we conclude with a matrix formulation and set of procedural instructions for easy computational implementation.
Abstract（参考訳）: データは現代の機械学習の重要な要素であるが、データラベルの品質を評価する統計は文献に乏しいままである。本稿では,人間のアノテーションの文脈で提案されたデータセットラベルの品質を評価するための新しい統計指標であるDiPietro-Hazari Kappaを紹介する。古典的なフライスのカッパ測度(英語版)において、ディピエトロ・ハザーリカッパ(英語版)はランダムな確率で達成された経験的アノテータ合意の差を定量化する。我々は、Fleiss's Kappaを徹底的に理論的に検証し、DiPietro-Hazari Kappaを導出する。最後に,行列の定式化と簡単な計算実装のための手続き命令のセットで結論付ける。

関連論文リスト

Calabi-Yau metrics through Grassmannian learning and Donaldson's algorithm [5.158605878911773]
K"ahlerメトリクスに対するリッチ平坦近似を得るための新しいアプローチを提案する。グラスマン多様体上の勾配降下を用いて、切断の効率的な部分空間を同定する。 3次元のDwork族にメソッドを実装し、モジュライ空間の異なる点における振る舞いについてコメントする。
論文参考訳（メタデータ） (2024-10-15T05:08:43Z)
Rethinking Evaluation Metrics of Open-Vocabulary Segmentaion [78.76867266561537]
評価プロセスは、予測された真理のカテゴリと基底的真理のカテゴリの類似性を考慮せずに、クローズドセットのメトリクスに大きく依存している。この問題に対処するため、まず2つのカテゴリー語間の11の類似度の測定を行った。我々は,3つのオープン語彙セグメンテーションタスクに適した,オープンmIoU,オープンAP,オープンPQという新しい評価指標を設計した。
論文参考訳（メタデータ） (2023-11-06T18:59:01Z)
A Tale of Sampling and Estimation in Discounted Reinforcement Learning [50.43256303670011]
割引平均推定問題に対して最小値の最小値を求める。マルコフ過程の割引されたカーネルから直接サンプリングすることで平均を推定すると、説得力のある統計的性質が得られることを示す。
論文参考訳（メタデータ） (2023-04-11T09:13:17Z)
NoPPA: Non-Parametric Pairwise Attention Random Walk Model for Sentence Representation [16.559066500903597]
NoPPA(Non-Parametric Pairwise Attention Random Walk Model)は、事前学習した単語の埋め込みと単語の頻度を組み込んだ文の埋め込みを生成する。 NoPPAは、各データセットにおけるあらゆる種類のbacker-of-wordsベースのメソッドより優れています。ビジュアライゼーションは、NoPPAがコンテキストトピック、一般的なフレーズ、単語因果関係を理解することができる。
論文参考訳（メタデータ） (2023-02-24T21:20:25Z)
Layer or Representation Space: What makes BERT-based Evaluation Metrics Robust? [29.859455320349866]
本稿では,テキスト生成において最もポピュラーな埋め込みベースの指標であるBERTScoreのロバスト性について検討する。 a) 入力ノイズや未知のトークンの量が増加すると, 標準ベンチマークにおける人体評価との相関が最も高い埋め込みベースのメトリクスが, 最小の相関を持つことを示す。
論文参考訳（メタデータ） (2022-09-06T09:10:54Z)
Self-Certifying Classification by Linearized Deep Assignment [65.0100925582087]
そこで我々は,PAC-Bayesリスク認定パラダイム内で,グラフ上のメトリックデータを分類するための新しい深層予測器のクラスを提案する。 PAC-Bayesの最近の文献とデータに依存した先行研究に基づいて、この手法は仮説空間上の後続分布の学習を可能にする。
論文参考訳（メタデータ） (2022-01-26T19:59:14Z)
SAT Based Analogy Evaluation Framework for Persian Word Embeddings [0.0]
近年,単語をベクトルに変換する新たなアプローチとして,単語埋め込みが注目されている。使用される埋め込みモデルの品質を特定するために、エンドツーエンドのアプリケーションを評価するのはコストがかかるでしょう。本稿では,ペルシャのSATをベースとしたアナロジーデータセットを手作りした評価フレームワークを提案する。
論文参考訳（メタデータ） (2021-06-29T18:43:06Z)
Weakly-Supervised Aspect-Based Sentiment Analysis via Joint Aspect-Sentiment Topic Embedding [71.2260967797055]
アスペクトベース感情分析のための弱教師付きアプローチを提案する。 We learn sentiment, aspects> joint topic embeddeds in the word embedding space。次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
論文参考訳（メタデータ） (2020-10-13T21:33:24Z)
Active Learning for Bayesian 3D Hand Pose Estimation [53.99104862192055]
本稿では3次元ポーズ推定のためのディープラーニングアーキテクチャに対するベイズ近似を提案する。この枠組みを通じて、データや学習能力に影響される2種類の不確実性を調査し、分析する。
論文参考訳（メタデータ） (2020-10-01T21:36:26Z)
Towards Question-Answering as an Automatic Metric for Evaluating the Content Quality of a Summary [65.37544133256499]
質問回答(QA)を用いて要約内容の質を評価する指標を提案する。提案指標であるQAEvalの分析を通じて,QAに基づくメトリクスの実験的メリットを実証する。
論文参考訳（メタデータ） (2020-10-01T15:33:09Z)
Supervised Categorical Metric Learning with Schatten p-Norms [10.995886294197412]
そこで我々は,分類データにおける計量学習の問題に対処する手法としてCPML(CPML)を提案する。我々は、データを表すためにValue Distance Metricを使用し、この表現に基づいて新しい距離を提案する。次に、新しいメトリクスを効率的に学習する方法を示します。
論文参考訳（メタデータ） (2020-02-26T01:17:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。