論文の概要: Confidence and Dispersity as Signals: Unsupervised Model Evaluation and Ranking

• arxiv url: http://arxiv.org/abs/2510.02956v1
• Date: Fri, 03 Oct 2025 12:48:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-06 16:35:52.383531
• Title: Confidence and Dispersity as Signals: Unsupervised Model Evaluation and Ranking
• Title（参考訳）: 信号としての信頼と分散:教師なしモデル評価とランク付け
• Authors: Weijian Deng, Weijie Tu, Ibrahim Radwan, Mohammad Abu Alsheikh, Stephen Gould, Liang Zheng,
• Abstract要約: 本稿では,教師なしモデル評価とランキングのための統一的で実用的なフレームワークを提案する。 ハイブリッドメトリクスは、データセット中心およびモデル中心の評価設定の両方において、単一アスペクトメトリクスを一貫して上回ることを示す。
• 参考スコア（独自算出の注目度）: 46.95596181965493
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Assessing model generalization under distribution shift is essential for real-world deployment, particularly when labeled test data is unavailable. This paper presents a unified and practical framework for unsupervised model evaluation and ranking in two common deployment settings: (1) estimating the accuracy of a fixed model on multiple unlabeled test sets (dataset-centric evaluation), and (2) ranking a set of candidate models on a single unlabeled test set (model-centric evaluation). We demonstrate that two intrinsic properties of model predictions, namely confidence (which reflects prediction certainty) and dispersity (which captures the diversity of predicted classes), together provide strong and complementary signals for generalization. We systematically benchmark a set of confidence-based, dispersity-based, and hybrid metrics across a wide range of model architectures, datasets, and distribution shift types. Our results show that hybrid metrics consistently outperform single-aspect metrics on both dataset-centric and model-centric evaluation settings. In particular, the nuclear norm of the prediction matrix provides robust and accurate performance across tasks, including real-world datasets, and maintains reliability under moderate class imbalance. These findings offer a practical and generalizable basis for unsupervised model assessment in deployment scenarios.
• Abstract（参考訳）: 分散シフト下でのモデル一般化を評価することは、特にラベル付きテストデータが利用できない場合、現実世界のデプロイメントに不可欠である。 本稿では,(1)複数の未ラベルテストセット(データセット中心評価)上で固定モデルの精度を推定し,(2)1つの未ラベルテストセット(モデル中心評価)上で候補モデルのセットをランク付けする,という2つの共通配置設定において,教師なしモデルの評価とランキングのための統一的で実用的なフレームワークを提案する。 モデル予測の本質的な2つの性質、すなわち、信頼(予測確実性を反映する)と分散(予測クラスの多様性を捉える)が、一般化のための強信号と相補的信号を与えることを示した。 信頼性に基づく、分散ベースの、ハイブリッドなメトリクスのセットを、幅広いモデルアーキテクチャ、データセット、分散シフトタイプで体系的にベンチマークします。 その結果,ハイブリッドメトリクスは,データセット中心およびモデル中心の評価設定において,単一アスペクトの指標よりも一貫して優れていた。 特に、予測行列の核ノルムは、実世界のデータセットを含むタスク間で堅牢で正確なパフォーマンスを提供し、中等クラスの不均衡の下で信頼性を維持する。 これらの知見は、デプロイシナリオにおける教師なしモデルアセスメントの実践的で一般化可能な基礎を提供する。

関連論文リスト

• Ensemble-Based Deepfake Detection using State-of-the-Art Models with Robust Cross-Dataset Generalisation [0.0]
  機械学習ベースのDeepfake検出モデルは、ベンチマークデータセットで印象的な結果を得た。 しかし、アウト・オブ・ディストリビューションデータで評価すると、その性能は著しく低下することが多い。 本研究では,ディープフェイク検出システムの一般化のためのアンサンブルに基づくアプローチについて検討する。
  論文  参考訳（メタデータ） (2025-07-08T13:54:48Z)
• On Large-scale Evaluation of Embedding Models for Knowledge Graph Completion [1.2703808802607108]
  知識グラフ埋め込み(KGE)モデルは知識グラフ補完のために広く研究されている。 標準的な評価基準は、欠落した三重項を正確に予測するためのモデルを罰するクローズドワールドの仮定に依存している。 本稿では,大規模データセットFB-CVT-REVとFB+CVT-REVの4つの代表的なKGEモデルを包括的に評価する。
  論文  参考訳（メタデータ） (2025-04-11T20:49:02Z)
• Benchmarking community drug response prediction models: datasets, models, tools, and metrics for cross-dataset generalization analysis [36.689210473887904]
  本稿では,ディープラーニング(DL)モデルと機械学習(ML)モデルにおけるデータセット間予測の一般化を評価するためのベンチマークフレームワークを提案する。 絶対的なパフォーマンス(データセット間での予測精度など)と相対的なパフォーマンス(例えば、データセット内の結果と比較してパフォーマンス低下)の両方を定量化します。 本結果は,厳密な一般化評価の重要性を浮き彫りにして,未知のデータセット上でモデルをテストする場合の大幅な性能低下を明らかにした。
  論文  参考訳（メタデータ） (2025-03-18T15:40:18Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• Evaluating Predictive Uncertainty and Robustness to Distributional Shift Using Real World Data [0.0]
  シフト天気予報データセットを用いて、一般的な回帰作業のためのメトリクスを提案する。 また,これらの指標を用いたベースライン手法の評価を行った。
  論文  参考訳（メタデータ） (2021-11-08T17:32:10Z)
• Test-time Collective Prediction [73.74982509510961]
  マシンラーニングの複数のパーティは、将来のテストポイントを共同で予測したいと考えています。 エージェントは、すべてのエージェントの集合の集合的な専門知識の恩恵を受けることを望んでいるが、データやモデルパラメータを解放する意思はないかもしれない。 我々は、各エージェントの事前学習モデルを利用して、テスト時に集合的な予測を行う分散型メカニズムを探索する。
  論文  参考訳（メタデータ） (2021-06-22T18:29:58Z)
• How Faithful is your Synthetic Data? Sample-level Metrics for Evaluating and Auditing Generative Models [95.8037674226622]
  ドメインに依存しない方法で生成モデルの忠実度,多様性,一般化性能を特徴付ける3次元評価指標を提案する。 当社のメトリクスは、精度リコール分析により統計的発散測定を統合し、モデル忠実度と多様性のサンプルおよび分布レベルの診断を可能にします。
  論文  参考訳（メタデータ） (2021-02-17T18:25:30Z)
• Characterizing Fairness Over the Set of Good Models Under Selective Labels [69.64662540443162]
  同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。 到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。 選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2021-01-02T02:11:37Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。