論文の概要: Significativity Indices for Agreement Values
- arxiv url: http://arxiv.org/abs/2504.15325v1
- Date: Mon, 21 Apr 2025 09:47:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-01 02:11:42.932766
- Title: Significativity Indices for Agreement Values
- Title（参考訳）: 合意価値の重要度指標
- Authors: Alberto Casagrande, Francesco Fabris, Rossano Girometti, Roberto Pagliarini,
- Abstract要約: コーエンのカッパ (Kappa) やクラス内相関 (Intraclass correlation) のような合意措置は、2つ以上の分類器間のマッチングを測る。
コーエンの『カッパ』の文献ではいくつかの品質尺度が提案されているが、それらは主にナイーブであり、境界は任意である。
本研究は、2つの分類器間の合意値の有意性を評価するための一般的なアプローチを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Agreement measures, such as Cohen's kappa or intraclass correlation, gauge the matching between two or more classifiers. They are used in a wide range of contexts from medicine, where they evaluate the effectiveness of medical treatments and clinical trials, to artificial intelligence, where they can quantify the approximation due to the reduction of a classifier. The consistency of different classifiers to a golden standard can be compared simply by using the order induced by their agreement measure with respect to the golden standard itself. Nevertheless, labelling an approach as good or bad exclusively by using the value of an agreement measure requires a scale or a significativity index. Some quality scales have been proposed in the literature for Cohen's kappa, but they are mainly naive, and their boundaries are arbitrary. This work proposes a general approach to evaluate the significativity of any agreement value between two classifiers and introduces two significativity indices: one dealing with finite data sets, the other one handling classification probability distributions. Moreover, this manuscript considers the computational issues of evaluating such indices and identifies some efficient algorithms to evaluate them.
- Abstract（参考訳）: コーエンのカッパ (Kappa) やクラス内相関 (Intraclass correlation) のような合意措置は、2つ以上の分類器間のマッチングを測る。
医療や臨床試験の有効性を評価する医療から人工知能まで幅広い文脈で使われており、分類器の縮小による近似を定量化することができる。
異なる分類器と黄金標準との整合性は、単に黄金標準そのものに関してそれらの合意測度によって誘導される順序を用いることで比較することができる。
それでも、合意尺度の値を使用することで、アプローチを善または悪としてラベル付けするには、尺度または有意指数が必要である。
コーエンの『カッパ』の文献ではいくつかの品質尺度が提案されているが、それらは主にナイーブであり、境界は任意である。
本研究では、2つの分類器間の合意値の有意性を評価するための一般的なアプローチを提案し、有限データセットを扱う指標と、分類確率分布を扱う指標の2つの有意性指標を提案する。
さらに,このような指標を評価する際の計算問題を考察し,その評価に有効なアルゴリズムを同定する。
関連論文リスト
- Quantization of Large Language Models with an Overdetermined Basis [73.79368761182998]
本稿では,嘉心表現の原理に基づくデータ量子化アルゴリズムを提案する。
以上の結果から, カシ量子化はモデル性能の競争力や優れた品質を達成できることが示唆された。
論文 参考訳（メタデータ） (2024-04-15T12:38:46Z) - Discordance Minimization-based Imputation Algorithms for Missing Values
in Rating Data [4.100928307172084]
複数の評価リストが組み合わされたり、考慮されたりすると、被験者はしばしば評価を欠く。
そこで本研究では,6つの実世界のデータセットを用いて,欠落した値パターンの解析を行う。
評価提供者間での総合評価不一致を最小限に抑える最適化モデルとアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-11-07T14:42:06Z) - Enriching Disentanglement: From Logical Definitions to Quantitative Metrics [59.12308034729482]
複雑なデータにおける説明的要素を遠ざけることは、データ効率の表現学習にとって有望なアプローチである。
論理的定義と量的指標の関連性を確立し, 理論的に根ざした絡み合いの指標を導出する。
本研究では,非交叉表現の異なる側面を分離することにより,提案手法の有効性を実証的に実証する。
論文 参考訳（メタデータ） (2023-05-19T08:22:23Z) - Does the evaluation stand up to evaluation? A first-principle approach
to the evaluation of classifiers [0.0]
精度, 平衡精度, マシューズ相関係数, Fowlkes-Mallows index, F1-measure, Area Under the Curveなどの一般的な指標は最適ではない。
この分数は、適度に間違った係数を持つ決定理論計量の使用によって引き起こされるものよりもさらに大きい。
論文 参考訳（メタデータ） (2023-02-21T09:55:19Z) - Energy-Based Learning for Cooperative Games, with Applications to
Feature/Data/Model Valuations [91.36803653600667]
本稿では, 最大エントロピーフレームワークによる理論的正当性を備えた, 協調ゲームのための新しいエネルギーベース処理法を提案する。
驚くべきことに、エネルギーベースモデルの変分推論を行うことで、Shapley値やBanzhafインデックスといった様々なゲーム理論の評価基準を復元する。
提案する変分指数は,特定の合成および実世界のバリュエーション問題において,興味深い特性を享受できることを実験的に実証した。
論文 参考訳（メタデータ） (2021-06-05T17:39:04Z) - A Statistical Analysis of Summarization Evaluation Metrics using
Resampling Methods [60.04142561088524]
信頼区間は比較的広く,信頼性の高い自動測定値の信頼性に高い不確実性を示す。
多くのメトリクスはROUGEよりも統計的改善を示していないが、QAEvalとBERTScoreという2つの最近の研究は、いくつかの評価設定で行われている。
論文 参考訳（メタデータ） (2021-03-31T18:28:14Z) - Classification with Rejection Based on Cost-sensitive Classification [83.50402803131412]
学習のアンサンブルによる拒絶を用いた新しい分類法を提案する。
実験により, クリーン, ノイズ, 正の未ラベル分類における提案手法の有用性が示された。
論文 参考訳（メタデータ） (2020-10-22T14:05:05Z) - Identifying Spurious Correlations for Robust Text Classification [9.457737910527829]
そこで本研究では,テキスト分類におけるスプリアスと真の相関を区別する手法を提案する。
我々は、治療効果推定器から得られる特徴を用いて、突発的な相関を「遺伝子」と区別する。
4つのデータセットの実験は、このアプローチを使って特徴の選択を知らせることが、より堅牢な分類につながることを示唆している。
論文 参考訳（メタデータ） (2020-10-06T03:49:22Z) - Predictive Value Generalization Bounds [27.434419027831044]
本稿では,二項分類の文脈におけるスコアリング関数の評価のためのビクテリオンフレームワークについて検討する。
本研究では,新しい分布自由な大偏差と一様収束境界を導出することにより,予測値に関するスコアリング関数の特性について検討する。
論文 参考訳（メタデータ） (2020-07-09T21:23:28Z) - Classifier uncertainty: evidence, potential impact, and probabilistic
treatment [0.0]
本稿では,混乱行列の確率モデルに基づいて,分類性能指標の不確かさを定量化する手法を提案する。
我々は、不確実性は驚くほど大きく、性能評価を制限できることを示した。
論文 参考訳（メタデータ） (2020-06-19T12:49:19Z) - Pairwise Supervision Can Provably Elicit a Decision Boundary [84.58020117487898]
類似性学習は、パターンのペア間の関係を予測することによって有用な表現を引き出す問題である。
類似性学習は、決定境界を直接引き出すことによって二項分類を解くことができることを示す。
論文 参考訳（メタデータ） (2020-06-11T05:35:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。