論文の概要: Aligning Intraobserver Agreement by Transitivity
- arxiv url: http://arxiv.org/abs/2009.13905v1
- Date: Tue, 29 Sep 2020 09:55:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-13 06:21:16.712439
- Title: Aligning Intraobserver Agreement by Transitivity
- Title（参考訳）: 推移性によるオブザーバ内合意の調整
- Authors: Jacopo Amidei
- Abstract要約: 我々は、アノテータの整合性やアノテータのオブザーバ内合意(IA)を計測する新しい手法を提案する。
提案手法は、合理的意思決定の文脈で徹底的に研究されている推移性に基づく。
- 参考スコア（独自算出の注目度）: 1.0152838128195467
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Annotation reproducibility and accuracy rely on good consistency within
annotators. We propose a novel method for measuring within annotator
consistency or annotator Intraobserver Agreement (IA). The proposed approach is
based on transitivity, a measure that has been thoroughly studied in the
context of rational decision-making. The transitivity measure, in contrast with
the commonly used test-retest strategy for annotator IA, is less sensitive to
the several types of bias introduced by the test-retest strategy. We present a
representation theorem to the effect that relative judgement data that meet
transitivity can be mapped to a scale (in terms of measurement theory). We also
discuss a further application of transitivity as part of data collection design
for addressing the problem of the quadratic complexity of data collection of
relative judgements.
- Abstract（参考訳）: アノテーションの再現性と精度はアノテータ内の一貫性に頼っている。
本稿では,アノテータの整合性やアノテータのオブザーバ内合意(IA)の測定方法を提案する。
提案手法は,合理的意思決定の文脈で徹底的に研究されてきた推移性に基づく。
遷移度測定は、アノテータIAの一般的なテスト-テスト戦略とは対照的に、テスト-テスト戦略によって導入されたいくつかの種類のバイアスに敏感ではない。
我々は、推移性に合致する相対的判断データが(測定理論の観点から)スケールにマッピングできるという効果に対する表現定理を示す。
また,データ収集設計の一部としての推移性のさらなる応用について検討し,相対的判断によるデータ収集の二次的複雑性の問題に対処する。
関連論文リスト
- Unsupervised Transfer Learning via Adversarial Contrastive Training [3.227277661633986]
対戦型コントラスト学習(ACT)を用いた新しい教師なしトランスファー学習手法を提案する。
実験により, 細調整線形プローブとK-NNプロトコルを用いて, 各種データセットの分類精度に優れることを示した。
論文 参考訳（メタデータ） (2024-08-16T05:11:52Z) - Predictive Performance Test based on the Exhaustive Nested Cross-Validation for High-dimensional data [7.62566998854384]
クロスバリデーションは、予測誤差の推定、正規化パラメータのチューニング、最も適切な予測モデルの選択など、いくつかのタスクに使用される。
K-foldクロスバリデーションは一般的なCV法であるが、その制限はリスク推定がデータの分割に大きく依存していることである。
本研究は, 完全ネスト型クロスバリデーションに基づく新たな予測性能試験と有効信頼区間を提案する。
論文 参考訳（メタデータ） (2024-08-06T12:28:16Z) - Rethinking Affect Analysis: A Protocol for Ensuring Fairness and Consistency [24.737468736951374]
本稿では,データベース分割のための統一プロトコルを提案する。
我々は、(人種、性別、年齢の観点から)詳細な統計アノテーション、評価指標、および表現認識のための共通のフレームワークを提供する。
また、新しいプロトコルでメソッドを再実行し、より公平な比較で影響認識の今後の研究を促進するための新しいリーダーボードを導入します。
論文 参考訳（メタデータ） (2024-08-04T23:21:46Z) - Efficient Conformal Prediction under Data Heterogeneity [79.35418041861327]
コンフォーマル予測(CP)は不確実性定量化のための頑健な枠組みである。
非交換性に対処するための既存のアプローチは、最も単純な例を超えて計算不可能なメソッドにつながる。
この研究は、比較的一般的な非交換可能なデータ分布に対して証明可能な信頼セットを生成する、CPに新しい効率的なアプローチを導入する。
論文 参考訳（メタデータ） (2023-12-25T20:02:51Z) - On the Universal Adversarial Perturbations for Efficient Data-free
Adversarial Detection [55.73320979733527]
本稿では,UAPに対して正常サンプルと逆サンプルの異なる応答を誘導する,データに依存しない逆検出フレームワークを提案する。
実験結果から,本手法は様々なテキスト分類タスクにおいて,競合検出性能を実現することが示された。
論文 参考訳（メタデータ） (2023-06-27T02:54:07Z) - Information-Theoretic Bias Reduction via Causal View of Spurious
Correlation [71.9123886505321]
本稿では,スプリアス相関の因果的解釈による情報理論バイアス測定手法を提案する。
本稿では,バイアス正規化損失を含むアルゴリズムバイアスに対する新しいデバイアスフレームワークを提案する。
提案したバイアス測定とデバイアス法は、多様な現実シナリオで検証される。
論文 参考訳（メタデータ） (2022-01-10T01:19:31Z) - Learning Bias-Invariant Representation by Cross-Sample Mutual
Information Minimization [77.8735802150511]
対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。
相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。
我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
論文 参考訳（メタデータ） (2021-08-11T21:17:02Z) - WSSOD: A New Pipeline for Weakly- and Semi-Supervised Object Detection [75.80075054706079]
弱機能および半教師付きオブジェクト検出フレームワーク(WSSOD)を提案する。
エージェント検出器は、まず関節データセット上でトレーニングされ、弱注釈画像上で擬似境界ボックスを予測するために使用される。
提案フレームワークはPASCAL-VOC と MSCOCO のベンチマークで顕著な性能を示し,完全教師付き環境で得られたものと同等の性能を達成している。
論文 参考訳（メタデータ） (2021-05-21T11:58:50Z) - Evaluation of Unsupervised Entity and Event Salience Estimation [17.74208462902158]
Salience Estimationは、文書における用語の重要性を予測することを目的としている。
過去の研究は通常、評価のための疑似根拠の真実を生成します。
本研究では,軽量で実用的な実体とイベントサリエンス評価プロトコルを提案する。
論文 参考訳（メタデータ） (2021-04-14T15:23:08Z) - A Statistical Analysis of Summarization Evaluation Metrics using
Resampling Methods [60.04142561088524]
信頼区間は比較的広く,信頼性の高い自動測定値の信頼性に高い不確実性を示す。
多くのメトリクスはROUGEよりも統計的改善を示していないが、QAEvalとBERTScoreという2つの最近の研究は、いくつかの評価設定で行われている。
論文 参考訳（メタデータ） (2021-03-31T18:28:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。