論文の概要: Discordance Minimization-based Imputation Algorithms for Missing Values
in Rating Data
- arxiv url: http://arxiv.org/abs/2311.04035v1
- Date: Tue, 7 Nov 2023 14:42:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-08 15:09:32.358571
- Title: Discordance Minimization-based Imputation Algorithms for Missing Values
in Rating Data
- Title(参考訳): 距離最小化に基づく評価データの欠落値計算アルゴリズム
- Authors: Young Woong Park, Jinhak Kim, Dan Zhu
- Abstract要約: 複数の評価リストが組み合わされたり、考慮されたりすると、被験者はしばしば評価を欠く。
そこで本研究では,6つの実世界のデータセットを用いて,欠落した値パターンの解析を行う。
評価提供者間での総合評価不一致を最小限に抑える最適化モデルとアルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 4.100928307172084
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Ratings are frequently used to evaluate and compare subjects in various
applications, from education to healthcare, because ratings provide succinct
yet credible measures for comparing subjects. However, when multiple rating
lists are combined or considered together, subjects often have missing ratings,
because most rating lists do not rate every subject in the combined list. In
this study, we propose analyses on missing value patterns using six real-world
data sets in various applications, as well as the conditions for applicability
of imputation algorithms. Based on the special structures and properties
derived from the analyses, we propose optimization models and algorithms that
minimize the total rating discordance across rating providers to impute missing
ratings in the combined rating lists, using only the known rating information.
The total rating discordance is defined as the sum of the pairwise discordance
metric, which can be written as a quadratic function. Computational experiments
based on real-world and synthetic rating data sets show that the proposed
methods outperform the state-of-the-art general imputation methods in the
literature in terms of imputation accuracy.
- Abstract(参考訳): 評価は、教育から医療まで、様々な応用における被験者の評価と比較に頻繁に用いられる。
しかし、複数の評価リストが組み合わされたり、考慮されたりする場合、ほとんどの評価リストは、組み合わせたリストのすべての被験者を評価しないため、しばしば評価を欠いている。
本研究では,様々なアプリケーションにおける6つの実世界のデータセットを用いた値パターンの欠落,およびインプテーションアルゴリズムの適用可能性の条件について解析を行う。
解析結果から得られた特殊構造と特性に基づいて、評価提供者間での総合評価不一致を最小限に抑える最適化モデルとアルゴリズムを提案し、既知の評価情報のみを用いて、組み合わせた評価リストに欠落した評価を示唆する。
総評価不一致は、ペアワイズ不一致計量の和として定義され、二次函数として記述できる。
実世界および合成レーティングデータセットに基づく計算実験により,提案手法が文献の一般的インプテーション法をインプテーション精度で上回っていることが示された。
関連論文リスト
- Considerations on the Evaluation of Biometric Quality Assessment
Algorithms [7.092869001331781]
品質評価アルゴリズムを用いて生体認証のための生体試料の有用性を推定することができる。
曲線の「誤差対特性」(EDC)プロットと「部分曲線」(pAUC)値は、一般にそのような品質評価アルゴリズムを評価するために用いられる。
論文 参考訳(メタデータ) (2023-03-23T14:26:21Z) - Re-Examining System-Level Correlations of Automatic Summarization
Evaluation Metrics [64.81682222169113]
システムレベルの相関により, 要約品質の人的判断を再現する自動要約評価指標を確実に定量化する。
システムレベルの相関の定義が、実際にシステムを評価するためにメトリクスがどのように使われているかと矛盾する2つの方法を特定する。
論文 参考訳(メタデータ) (2022-04-21T15:52:14Z) - Integrating Rankings into Quantized Scores in Peer Review [61.27794774537103]
ピアレビューでは、レビュアーは通常、論文のスコアを提供するように求められます。
この問題を軽減するため、カンファレンスはレビュアーにレビューした論文のランキングを付加するように求め始めている。
このランキング情報を使用するための標準的な手順はなく、エリアチェアは異なる方法でそれを使用することができる。
我々は、ランキング情報をスコアに組み込むために、原則化されたアプローチを取る。
論文 参考訳(メタデータ) (2022-04-05T19:39:13Z) - Better than Average: Paired Evaluation of NLP Systems [31.311553903738798]
評価スコアのインスタンスレベルのペアリングを考慮に入れることの重要性を示す。
平均, 中央値, BT と 2 種類のBT (Elo と TrueSkill) を用いて評価スコアの完全な解析を行うための実用的なツールをリリースする。
論文 参考訳(メタデータ) (2021-10-20T19:40:31Z) - Investigating Crowdsourcing Protocols for Evaluating the Factual
Consistency of Summaries [59.27273928454995]
要約に適用される現在の事前学習モデルは、ソーステキストを誤って表現したり、外部情報を導入したりする事実上の矛盾がちである。
評価ベースのLikertスケールとランキングベースのBest-Worst Scalingプロトコルを用いた,事実整合性のためのクラウドソーシング評価フレームワークを構築した。
ランキングベースのプロトコルは、データセット間の要約品質をより信頼性の高い尺度を提供するのに対して、Likertレーティングの信頼性はターゲットデータセットと評価設計に依存する。
論文 参考訳(メタデータ) (2021-09-19T19:05:00Z) - Doing Great at Estimating CATE? On the Neglected Assumptions in
Benchmark Comparisons of Treatment Effect Estimators [91.3755431537592]
もっとも単純な設定であっても、無知性仮定に基づく推定は誤解を招く可能性があることを示す。
異種処理効果評価のための機械学習ベンチマークデータセットを2つ検討した。
ベンチマークデータセットの固有の特性が、他のものよりもいくつかのアルゴリズムを好んでいる点を強調します。
論文 参考訳(メタデータ) (2021-07-28T13:21:27Z) - Estimating leverage scores via rank revealing methods and randomization [50.591267188664666]
任意のランクの正方形密度あるいはスパース行列の統計レバレッジスコアを推定するアルゴリズムについて検討した。
提案手法は,高密度およびスパースなランダム化次元性還元変換の合成と階調明細化法を組み合わせることに基づく。
論文 参考訳(メタデータ) (2021-05-23T19:21:55Z) - A Statistical Analysis of Summarization Evaluation Metrics using
Resampling Methods [60.04142561088524]
信頼区間は比較的広く,信頼性の高い自動測定値の信頼性に高い不確実性を示す。
多くのメトリクスはROUGEよりも統計的改善を示していないが、QAEvalとBERTScoreという2つの最近の研究は、いくつかの評価設定で行われている。
論文 参考訳(メタデータ) (2021-03-31T18:28:14Z) - An Effectiveness Metric for Ordinal Classification: Formal Properties
and Experimental Results [9.602361044877426]
本稿では,測定理論と情報理論に根ざした正規分類・閉度評価尺度の新しい尺度を提案する。
NLP共有タスクの合成データとデータの両方に対する理論的解析と実験結果から,提案手法が従来のタスクから品質面を同時に捉えていることが示唆された。
論文 参考訳(メタデータ) (2020-06-01T20:35:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。