Fugu-MT 論文翻訳(概要): Cross-replication Reliability -- An Empirical Approach to Interpreting Inter-rater Reliability

論文の概要: Cross-replication Reliability -- An Empirical Approach to Interpreting Inter-rater Reliability

arxiv url: http://arxiv.org/abs/2106.07393v1
Date: Fri, 11 Jun 2021 16:15:46 GMT
ステータス: 処理完了
システム内更新日: 2021-06-20 04:10:34.704237
Title: Cross-replication Reliability -- An Empirical Approach to Interpreting Inter-rater Reliability
Title（参考訳）: クロスレプリケーション信頼性 - 層間信頼性の解釈に関する実証的アプローチ
Authors: Ka Wong, Praveen Paritosh, Lora Aroyo
Abstract要約: 経験的かつ文脈的に解釈された新しいIRRの解釈手法を提案する。これは複製におけるベースライン測度に対するIRRのベンチマークに基づいており、そのうちの1つはコーエンのカッパに基づく新しいクロスレプリケーション信頼性(xRR)尺度である。
参考スコア（独自算出の注目度）: 2.2091544233596596
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We present a new approach to interpreting IRR that is empirical and contextualized. It is based upon benchmarking IRR against baseline measures in a replication, one of which is a novel cross-replication reliability (xRR) measure based on Cohen's kappa. We call this approach the xRR framework. We opensource a replication dataset of 4 million human judgements of facial expressions and analyze it with the proposed framework. We argue this framework can be used to measure the quality of crowdsourced datasets.
Abstract（参考訳）: 経験的かつ文脈的に解釈された新しいIRRの解釈手法を提案する。これは複製におけるベースライン測度に対するIRRのベンチマークに基づいており、そのうちの1つはコーエンのカッパに基づく新しいクロスレプリケーション信頼性(xRR)尺度である。このアプローチを xRR フレームワークと呼びます。我々は,400万人の表情判断の再現データセットをオープンソース化し,提案フレームワークを用いて解析する。このフレームワークはクラウドソーシングされたデータセットの品質を測定するのに使うことができる。

関連論文リスト

Top-K Pairwise Ranking: Bridging the Gap Among Ranking-Based Measures for Multi-Label Classification [120.37051160567277]
本稿では,Top-K Pairwise Ranking(TKPR)という新しい尺度を提案する。一連の分析により、TKPRは既存のランキングベースの尺度と互換性があることが示されている。一方,データ依存縮約法という新しい手法に基づいて,提案手法の急激な一般化を確立する。
論文参考訳（メタデータ） (2024-07-09T09:36:37Z)
Provable Risk-Sensitive Distributional Reinforcement Learning with General Function Approximation [54.61816424792866]
本稿では,リスク感性分布強化学習(RS-DisRL)と静的リプシッツリスク対策(LRM),一般関数近似について紹介する。モデルに基づく関数近似のためのモデルベース戦略であるtextttRS-DisRL-M と、一般値関数近似のためのモデルフリーアプローチである textttRS-DisRL-V の2つの革新的なメタアルゴリズムを設計する。
論文参考訳（メタデータ） (2024-02-28T08:43:18Z)
Bounding data reconstruction attacks with the hypothesis testing interpretation of differential privacy [78.32404878825845]
レコンストラクションロバストネス(ReRo)は、機械学習モデルに対するデータ再構成攻撃の成功の上限として最近提案されている。これまでの研究では、差分プライバシー(DP)機構がReRoを提供することを示したが、これまではモンテカルロによるReRo境界の厳密な推定しか示されていない。
論文参考訳（メタデータ） (2023-07-08T08:02:47Z)
Provably Efficient Iterated CVaR Reinforcement Learning with Function Approximation and Human Feedback [57.6775169085215]
リスクに敏感な強化学習は、期待される報酬とリスクのバランスをとるポリシーを最適化することを目的としている。本稿では,線形および一般関数近似の下で,CVaR(Iterated Conditional Value-at-Risk)を目標とする新しいフレームワークを提案する。本稿では,この反復CVaR RLに対するサンプル効率の高いアルゴリズムを提案し,厳密な理論的解析を行う。
論文参考訳（メタデータ） (2023-07-06T08:14:54Z)
On Pitfalls of $\textit{RemOve-And-Retrain}$: Data Processing Inequality Perspective [5.8010446129208155]
本研究では,RemOve-And-Retrain(ROAR)手法の信頼性について検討した。理論的基礎と実証的研究から得られた知見から、決定関数に関するより少ない情報を含む属性がROARベンチマークにおいて優れた結果をもたらす可能性が示唆された。
論文参考訳（メタデータ） (2023-04-26T21:43:42Z)
Factual Consistency Oriented Speech Recognition [23.754107608608106]
提案フレームワークは, ASR の仮説と接地真実の整合性を最大化するために, ASR モデルを最適化する。提案手法を用いてASRモデルのトレーニングを行うことにより,会話要約の事実整合性によって,音声要約品質が向上することが示されている。
論文参考訳（メタデータ） (2023-02-24T00:01:41Z)
Improved Policy Evaluation for Randomized Trials of Algorithmic Resource Allocation [54.72195809248172]
提案する新しい概念を応用した新しい推定器を提案する。我々は,このような推定器が,サンプル手段に基づく一般的な推定器よりも精度が高いことを理論的に証明した。
論文参考訳（メタデータ） (2023-02-06T05:17:22Z)
Interpretable Research Replication Prediction via Variational Contextual Consistency Sentence Masking [14.50690911709558]
研究レプリケーション予測(Research Replication Prediction、RRP)は、公表された研究結果が複製可能かどうかを予測するタスクである。本研究では,キー文を自動的に抽出するVCCSM法を提案する。欧州人権条約 (ECHR) のデータセットとともに, RRP に関する実験の結果, VCCSM は長い文書分類作業において, モデル解釈可能性を向上させることができることを示した。
論文参考訳（メタデータ） (2022-03-28T03:27:13Z)
k-Rater Reliability: The Correct Unit of Reliability for Aggregated Human Annotations [2.538209532048867]
集約データセットの正しいデータ信頼性として、提案されたk-rater信頼性(kRR)を用いる必要がある。我々は、WordSim-353上でkRRを計算するための経験的、分析的、ブートストラップに基づく手法を提案する。
論文参考訳（メタデータ） (2022-03-24T08:05:06Z)
Distributionally Robust Multi-Output Regression Ranking [3.9318191265352196]
DRMRR(Distributedally Robust Multi-output Regression Ranking)と呼ばれるリストワイズ学習ランクモデルを導入する。 DRMRRは分散ロバスト最適化フレームワークを使用して、経験的データ分布の近傍で最も有害な分布の下でのマルチ出力損失関数を最小化する。本実験は,医用文書検索と薬物反応予測の2つの実世界の応用について行った。
論文参考訳（メタデータ） (2021-09-27T05:19:27Z)
Federated Distributionally Robust Optimization for Phase Configuration of RISs [106.4688072667105]
我々は、教師付き学習環境において、多種多様なRISタイプ上での堅牢な再構成可能なインテリジェントサーフェス(RIS)支援ダウンリンク通信の問題について検討する。異種RIS設計上のダウンリンク通信を分散的に位相構成を最適化する方法を学ぶ異なる労働者としてモデル化することにより、分散学習問題を解決することができる。提案アルゴリズムは, 競合するベースラインと比較して, 最悪の分布精度を実現するために, 通信ラウンドを少なくする必要がある。
論文参考訳（メタデータ） (2021-08-20T07:07:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。