論文の概要: Characterizing and comparing external measures for the assessment of
cluster analysis and community detection
- arxiv url: http://arxiv.org/abs/2102.00708v1
- Date: Mon, 1 Feb 2021 09:10:25 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-04 17:14:45.691989
- Title: Characterizing and comparing external measures for the assessment of
cluster analysis and community detection
- Title（参考訳）: クラスター分析とコミュニティ検出の評価のための外部対策の評価と比較
- Authors: Nejat Arinik (LIA), Vincent Labatut, Rosa Figueiredo
- Abstract要約: 文献では、同じ集合の2つの分割を比較するために、多くの外部評価尺度が提案されている。
これにより、与えられた状況に対して最も適切な尺度を選択することがエンドユーザの課題となる。
本稿では,この問題を解決するための新しい経験的評価フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 1.5543116359698947
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the context of cluster analysis and graph partitioning, many external
evaluation measures have been proposed in the literature to compare two
partitions of the same set. This makes the task of selecting the most
appropriate measure for a given situation a challenge for the end user.
However, this issue is overlooked in the literature. Researchers tend to follow
tradition and use the standard measures of their field, although they often
became standard only because previous researchers started consistently using
them. In this work, we propose a new empirical evaluation framework to solve
this issue, and help the end user selecting an appropriate measure for their
application. For a collection of candidate measures, it first consists in
describing their behavior by computing them for a generated dataset of
partitions, obtained by applying a set of predefined parametric partition
transformations. Second, our framework performs a regression analysis to
characterize the measures in terms of how they are affected by these parameters
and transformations. This allows both describing and comparing the measures.
Our approach is not tied to any specific measure or application, so it can be
applied to any situation. We illustrate its relevance by applying it to a
selection of standard measures, and show how it can be put in practice through
two concrete use cases.
- Abstract（参考訳）: クラスタ分析とグラフ分割の文脈では、同じセットの2つのパーティションを比較するために、文献で多くの外部評価手段が提案されている。
これにより、与えられた状況に対して最も適切な尺度を選択することがエンドユーザの課題となる。
しかし、この問題は文献では見過ごされている。
従来の研究者が一貫して使用し始めたためだけに、研究者は伝統に従い、彼らの分野の標準的な尺度を使用する傾向があります。
本研究では,この問題を解決するための新しい経験的評価フレームワークを提案し,エンドユーザーがアプリケーションに適した尺度を選択するのを支援する。
候補測度の集まりでは、まず、事前に定義されたパラメトリック分割変換のセットを適用して得られるパーティションの生成データセットに対してそれらの振る舞いを計算して記述する。
第2に,このフレームワークは回帰分析を行い,パラメータや変換の影響を受ける指標を特徴付ける。
これにより、測定方法の説明と比較が可能となる。
私たちのアプローチは特定の測度やアプリケーションに縛られませんので、どんな状況にも適用できます。
我々は,本手法を標準尺度の選定に適用し,その妥当性を説明し,具体的ユースケースを2つに分けて実施する方法を示す。
関連論文リスト
- Quantifying User Coherence: A Unified Framework for Cross-Domain Recommendation Analysis [69.37718774071793]
本稿では,レコメンデーションシステムを理解するための新しい情報理論手法を提案する。
9つのデータセットで7つのレコメンデーションアルゴリズムを評価し、測定値と標準的なパフォーマンス指標の関係を明らかにする。
論文 参考訳（メタデータ） (2024-10-03T13:02:07Z) - CRITERIA: a New Benchmarking Paradigm for Evaluating Trajectory Prediction Models for Autonomous Driving [6.868387710209245]
我々は,新しいbenChmarking paRadIgmをTrijEctoRy予測手法(CRITERIA)として提案する。
提案したベンチマークにより,より正確なモデルランキングを作成でき,それらの振る舞いを特徴づける手段として機能することを示す。
論文 参考訳（メタデータ） (2023-10-11T18:28:15Z) - Choosing a Proxy Metric from Past Experiments [54.338884612982405]
多くのランダム化実験では、長期的な計量の処理効果は測定が困難または不可能であることが多い。
一般的な方法は、いくつかの短期的プロキシメトリクスを計測して、長期的メトリックを綿密に追跡することである。
ランダム化実験の同種集団において最適なプロキシメトリックを定義し構築するための新しい統計フレームワークを導入する。
論文 参考訳（メタデータ） (2023-09-14T17:43:02Z) - Challenges to Evaluating the Generalization of Coreference Resolution Models: A Measurement Modeling Perspective [69.50044040291847]
本稿では, マルチデータセット評価が, 正確に測定されている要因を混同するリスクについて述べる。
これにより、これらの評価からより一般化可能な結論を引き出すのが難しくなる。
論文 参考訳（メタデータ） (2023-03-16T05:32:02Z) - Navigating the Metric Maze: A Taxonomy of Evaluation Metrics for Anomaly
Detection in Time Series [0.456877715768796]
本稿では,時系列異常検出手法の評価に使用される指標について概説する。
20のメトリクスが分析され、詳細に議論され、特定のタスクに対するそれぞれのユニークな適合性を強調します。
論文 参考訳（メタデータ） (2023-03-02T13:58:06Z) - In Search of Insights, Not Magic Bullets: Towards Demystification of the
Model Selection Dilemma in Heterogeneous Treatment Effect Estimation [92.51773744318119]
本稿では,異なるモデル選択基準の長所と短所を実験的に検討する。
選択戦略,候補推定器,比較に用いるデータの間には,複雑な相互作用があることを強調した。
論文 参考訳（メタデータ） (2023-02-06T16:55:37Z) - Classification Performance Metric Elicitation and its Applications [5.5637552942511155]
その実践的関心にもかかわらず、機械学習アプリケーションのためのメトリクスの選択方法に関する正式なガイダンスは限られている。
この論文は、暗黙のユーザの嗜好を最も反映したパフォーマンスメトリックを選択するための原則的なフレームワークとして、メトリクスの誘惑を概説している。
論文 参考訳（メタデータ） (2022-08-19T03:57:17Z) - On the Choice of Fairness: Finding Representative Fairness Metrics for a
Given Context [5.667221573173013]
フェアネスの様々な概念が定義されているが、適切な計量を選択することは困難である。
トレードオフと不合理な定理により、そのような選択はさらに複雑で議論を呼んでいる。
そこで本稿では,あるコンテキストに対して異なる測度間の相関関係とトレードオフを自動的に検出するフレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-13T04:17:38Z) - A Statistical Analysis of Summarization Evaluation Metrics using
Resampling Methods [60.04142561088524]
信頼区間は比較的広く,信頼性の高い自動測定値の信頼性に高い不確実性を示す。
多くのメトリクスはROUGEよりも統計的改善を示していないが、QAEvalとBERTScoreという2つの最近の研究は、いくつかの評価設定で行われている。
論文 参考訳（メタデータ） (2021-03-31T18:28:14Z) - Evaluation Metrics for Conditional Image Generation [100.69766435176557]
クラス条件画像生成設定において生成モデルを評価するための2つの新しい指標を提案する。
理論的分析は、提案されたメトリクスの背景にあるモチベーションを示し、新しいメトリクスと条件のないメトリクスを結びつける。
我々は,実験的な評価を行い,その指標を条件のない変種や他の指標と比較し,既存の生成モデルの解析に利用した。
論文 参考訳（メタデータ） (2020-04-26T12:15:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。