Fugu-MT 論文翻訳(概要): Rho-Perfect: Correlation Ceiling For Subjective Evaluation Datasets

論文の概要: Rho-Perfect: Correlation Ceiling For Subjective Evaluation Datasets

arxiv url: http://arxiv.org/abs/2602.08552v1
Date: Mon, 09 Feb 2026 11:52:09 GMT
ステータス: 翻訳完了
システム内更新日: 2026-02-10 20:26:25.204151
Title: Rho-Perfect: Correlation Ceiling For Subjective Evaluation Datasets
Title（参考訳）: Rho-Perfect:主観評価データセットのための相関シーリング
Authors: Fredrik Cumlin,
Abstract要約: 完璧な予測器と人間のレーティングの相関関係として$$-Perfectを定義する。その結果,$$$-Perfect squared estimates test-retest correlation が得られた。音声品質データセットにおける$$-Perfectの使用を実演し、モデル制限とデータ品質の問題をいかに区別できるかを示す。
参考スコア（独自算出の注目度）: 1.7985027541374825
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Subjective ratings contain inherent noise that limits the model-human correlation, but this reliability issue is rarely quantified. In this paper, we present $ρ$-Perfect, a practical estimation of the highest achievable correlation of a model on subjectively rated datasets. We define $ρ$-Perfect to be the correlation between a perfect predictor and human ratings, and derive an estimate of the value based on heteroscedastic noise scenarios, a common occurrence in subjectively rated datasets. We show that $ρ$-Perfect squared estimates test-retest correlation and use this to validate the estimate. We demonstrate the use of $ρ$-Perfect on a speech quality dataset and show how the measure can distinguish between model limitations and data quality issues.
Abstract（参考訳）: 主観評価は、モデルと人間の相関を制限する固有のノイズを含むが、この信頼性問題は定量化されることは滅多にない。本稿では、主観評価されたデータセット上でのモデルの最も高い達成可能な相関を実用的に推定する、$ρ$-Perfectを提案する。我々は,完全予測器と人間のレーティングの相関関係を$ρ$-Perfectと定義し,非定常雑音シナリオに基づく評価を導出する。そこで,$ρ$-Perfect squared estimates test-retest correlation を用いて評価を行った。音声品質データセットにおける$ρ$-Perfectの使用を実演し、モデル制限とデータ品質問題との区別方法を示す。

関連論文リスト

DUPRE: Data Utility Prediction for Efficient Data Valuation [49.60564885180563]
Data Shapleyのような協調ゲーム理論に基づくデータ評価では、データユーティリティを評価し、複数のデータサブセットに対してMLモデルを再トレーニングする必要がある。我々のフレームワークである textttDUPRE は、モデル再学習による評価ではなく、データユーティリティを予測することによって、サブセット評価当たりのコストを削減できる代替手法を採用しています。具体的には、いくつかのデータサブセットのデータユーティリティを評価すると、textttDUPREは、他のすべてのデータサブセットの有用性を予測するために、emphGaussianプロセス(GP)回帰モデルに適合する。
論文参考訳（メタデータ） (2025-02-22T08:53:39Z)
Semi-supervised Learning For Robust Speech Evaluation [30.593420641501968]
音声評価は、自動モデルを用いて学習者の口頭習熟度を測定する。本稿では,半教師付き事前学習と客観的正規化を活用することで,このような課題に対処することを提案する。アンカーモデルは、発音の正しさを予測するために擬似ラベルを用いて訓練される。
論文参考訳（メタデータ） (2024-09-23T02:11:24Z)
Random pairing MLE for estimation of item parameters in Rasch model [7.5686409814551245]
ラッシュモデル(Rasch model)は、個人の潜伏特性と評価やアンケートに対する二分反応の関係をモデル化するために、心理学において広く用いられている。ランダムペアリング最大値推定器(mathrmRPtext-MLE$)と自己ストラップ型マルチランダムペアリングMLE(mathrmMRPtext-MLE$)を導入する。シミュレーションデータと実データを用いた2つの新しい推定器の有効性の実証的証拠を提供する。
論文参考訳（メタデータ） (2024-06-20T04:32:34Z)
Assessing Model Generalization in Vicinity [34.86022681163714]
本稿では, 分布外テストセットにおける分類モデルの一般化能力について, 基礎的真理ラベルに依存することなく評価する。そこで本研究では,各試料の正当性評価に,隣り合う試験試料からの応答を取り入れることを提案する。結果のスコアは、すべてのテストサンプルで平均化され、モデル精度の全体像が示される。
論文参考訳（メタデータ） (2024-06-13T15:58:37Z)
GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models [60.48306899271866]
GREATスコア(GREAT Score)と呼ばれる新しいフレームワークを提案する。我々は,ロバストベンチにおける攻撃ベースモデルと比較し,高い相関性を示し,GREATスコアのコストを大幅に削減した。 GREAT Scoreは、プライバシーに敏感なブラックボックスモデルのリモート監査に使用することができる。
論文参考訳（メタデータ） (2023-04-19T14:58:27Z)
Deconstructing Distributions: A Pointwise Framework of Learning [15.517383696434162]
テスト分布におけるモデルの平均性能と、この個々の点におけるポイントワイズ性能の関係について調べる。プロファイルは、モデルとデータの構造 -- 分布の内外 -- に新しい洞察を与えることができる。
論文参考訳（メタデータ） (2022-02-20T23:25:28Z)
Evaluating State-of-the-Art Classification Models Against Bayes Optimality [106.50867011164584]
正規化フローを用いて学習した生成モデルのベイズ誤差を正確に計算できることを示す。われわれの手法を用いて、最先端の分類モデルについて徹底的な調査を行う。
論文参考訳（メタデータ） (2021-06-07T06:21:20Z)
Learning to Model and Ignore Dataset Bias with Mixed Capacity Ensembles [66.15398165275926]
本稿では,データセット固有のパターンを自動的に検出・無視する手法を提案する。我々の方法は、より高い容量モデルでアンサンブルで低容量モデルを訓練する。視覚的質問応答データセットの10ポイントゲインを含む,すべての設定の改善を示す。
論文参考訳（メタデータ） (2020-11-07T22:20:03Z)
Beyond Marginal Uncertainty: How Accurately can Bayesian Regression Models Estimate Posterior Predictive Correlations? [13.127549105535623]
入力位置の異なる関数値間の予測的相関を推定することは、しばしば有用である。まず、後続の予測相関に依存する下流タスクについて考察する:トランスダクティブアクティブラーニング(TAL) TALは高価で間接的にアルゴリズムの開発を誘導できないため、予測相関をより直接的に評価する2つの指標を導入する。
論文参考訳（メタデータ） (2020-11-06T03:48:59Z)
The Gap on GAP: Tackling the Problem of Differing Data Distributions in Bias-Measuring Datasets [58.53269361115974]
バイアスモデルを検出する診断データセットは、自然言語処理におけるバイアス低減の重要な前提条件である。収集されたデータの望ましくないパターンは、そのようなテストを誤ったものにします。実験データにおけるそのようなパターンに対処するために, 実験サンプルを重み付けする理論的基礎的手法を提案する。
論文参考訳（メタデータ） (2020-11-03T16:50:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。