論文の概要: Data Reliability Scoring
- arxiv url: http://arxiv.org/abs/2510.17085v1
- Date: Mon, 20 Oct 2025 01:27:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-25 00:56:39.278331
- Title: Data Reliability Scoring
- Title（参考訳）: Data Reliability Scoring
- Authors: Yiling Chen, Shi Feng, Paul Kattuman, Fang-Yi Yu,
- Abstract要約: 本稿では,潜在的に戦略的な情報源から収集したデータセットの信頼性スコアリングの問題を紹介する。
信頼性をベンチマークするために、報告されたデータがどれだけ真実から逸脱しているかをキャプチャーする地平線に基づく順序付けを定義する。
このスコアは、いくつかの地道に基づく信頼性順序を保ち、一意にスケーリングすることで、実験に関係なく、データセットの信頼性ランキングが同じであることを示す。
- 参考スコア（独自算出の注目度）: 13.930754387516254
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: How can we assess the reliability of a dataset without access to ground truth? We introduce the problem of reliability scoring for datasets collected from potentially strategic sources. The true data are unobserved, but we see outcomes of an unknown statistical experiment that depends on them. To benchmark reliability, we define ground-truth-based orderings that capture how much reported data deviate from the truth. We then propose the Gram determinant score, which measures the volume spanned by vectors describing the empirical distribution of the observed data and experiment outcomes. We show that this score preserves several ground-truth based reliability orderings and, uniquely up to scaling, yields the same reliability ranking of datasets regardless of the experiment -- a property we term experiment agnosticism. Experiments on synthetic noise models, CIFAR-10 embeddings, and real employment data demonstrate that the Gram determinant score effectively captures data quality across diverse observation processes.
- Abstract（参考訳）: 地上の真実にアクセスせずにデータセットの信頼性を評価するにはどうすればいいのか?
本稿では,潜在的に戦略的な情報源から収集したデータセットの信頼性スコアリングの問題を紹介する。
真のデータは観測されていないが、未知の統計実験の結果はそれらに依存する。
信頼性をベンチマークするために、報告されたデータがどれだけ真実から逸脱しているかをキャプチャする、地平線に基づく順序付けを定義する。
次に,観測データと実験結果の実験的分布を記述したベクトルによる体積を測定するGram行列式スコアを提案する。
このスコアは、いくつかの地道ベースの信頼性順序を保ち、ユニークなのは、実験に関わらず、データセットの信頼性ランキングが同じであることを示しています -- 実験非依存主義(experiment agnosticism)という用語で表現する特性です。
合成ノイズモデル, CIFAR-10 埋め込み, 実雇用データを用いた実験により, グラム定位値が様々な観測過程におけるデータ品質を効果的に捉えることを示した。
関連論文リスト
- Uncertainty for Active Learning on Graphs [70.44714133412592]
不確実性サンプリングは、機械学習モデルのデータ効率を改善することを目的とした、アクティブな学習戦略である。
予測の不確実性を超えた不確実性サンプリングをベンチマークし、他のアクティブラーニング戦略に対する大きなパフォーマンスギャップを強調します。
提案手法は,データ生成プロセスの観点から基幹的ベイズ不確実性推定法を開発し,不確実性サンプリングを最適クエリへ導く上での有効性を実証する。
論文 参考訳（メタデータ） (2024-05-02T16:50:47Z) - Benchmark Transparency: Measuring the Impact of Data on Evaluation [6.307485015636125]
6つの異なる次元にまたがるデータポイント分布を自動計測するフレームワークを提案する。
データ分布が絶対値(Acc/F1)と相対値(Rank)モデルの性能にどの程度影響するかを測定するために,不均質な階層化サンプリングを用いる。
その結果,データの影響は統計的に有意であり,測定値の変更の影響よりも大きいことが判明した。
論文 参考訳（メタデータ） (2024-03-31T17:33:43Z) - Data-SUITE: Data-centric identification of in-distribution incongruous
examples [81.21462458089142]
Data-SUITEは、ID(In-distriion)データの不連続領域を特定するためのデータ中心のフレームワークである。
我々は,Data-SUITEの性能保証とカバレッジ保証を実証的に検証する。
論文 参考訳（メタデータ） (2022-02-17T18:58:31Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳（メタデータ） (2022-01-11T23:01:12Z) - Federated Estimation of Causal Effects from Observational Data [19.657789891394504]
フェデレートされたデータソースを用いた因果推論のための新しいフレームワークを提案する。
我々は、異なるプライベートデータソースからの局所因果効果を中央集権化せずに評価し、統合する。
論文 参考訳（メタデータ） (2021-05-31T08:06:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。