論文の概要: Semantic F1 Scores: Fair Evaluation Under Fuzzy Class Boundaries

• arxiv url: http://arxiv.org/abs/2509.21633v1
• Date: Thu, 25 Sep 2025 21:48:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:54.042046
• Title: Semantic F1 Scores: Fair Evaluation Under Fuzzy Class Boundaries
• Title（参考訳）: セマンティックF1スコア:ファジィクラス境界下での評価
• Authors: Georgios Chochlakis, Jackson Trager, Vedant Jhaveri, Nikhil Ravichandran, Alexandros Potamianos, Shrikanth Narayanan,
• Abstract要約: 本稿では,主観的,ファジィなマルチラベル分類のための新しい評価指標であるセマンティックF1スコアを提案する。 セマンティックF1は意味的に関連があるが、識別できないラベルに部分クレジットを与えることで、人間の不一致やファジィ圏の境界によって特徴付けられる領域の現実をよりよく反映する。
• 参考スコア（独自算出の注目度）: 65.89202599399252
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose Semantic F1 Scores, novel evaluation metrics for subjective or fuzzy multi-label classification that quantify semantic relatedness between predicted and gold labels. Unlike the conventional F1 metrics that treat semantically related predictions as complete failures, Semantic F1 incorporates a label similarity matrix to compute soft precision-like and recall-like scores, from which the Semantic F1 scores are derived. Unlike existing similarity-based metrics, our novel two-step precision-recall formulation enables the comparison of label sets of arbitrary sizes without discarding labels or forcing matches between dissimilar labels. By granting partial credit for semantically related but nonidentical labels, Semantic F1 better reflects the realities of domains marked by human disagreement or fuzzy category boundaries. In this way, it provides fairer evaluations: it recognizes that categories overlap, that annotators disagree, and that downstream decisions based on similar predictions lead to similar outcomes. Through theoretical justification and extensive empirical validation on synthetic and real data, we show that Semantic F1 demonstrates greater interpretability and ecological validity. Because it requires only a domain-appropriate similarity matrix, which is robust to misspecification, and not a rigid ontology, it is applicable across tasks and modalities.
• Abstract（参考訳）: 提案するセマンティックF1スコアは、予測されたラベルとゴールドラベルのセマンティック関連性を定量化する主観的、ファジィなマルチラベル分類のための新しい評価指標である。 意味的関連予測を完全な失敗として扱う従来のF1メトリクスとは異なり、セマンティックF1はラベル類似性行列を組み込んで、セマンティックF1スコアを導出するソフト精度やリコールのようなスコアを計算する。 既存の類似度に基づくメトリクスとは異なり、新しい2段階の精度・リコールの定式化は、ラベルを捨てることなく任意のサイズのラベル集合の比較や、異種ラベル間の一致を強制することを可能にする。 セマンティックF1は意味的に関連があるが、識別できないラベルに部分クレジットを与えることで、人間の不一致やファジィ圏の境界によって特徴付けられる領域の現実をよりよく反映する。 この方法では、カテゴリが重複していること、アノテーションが一致しないこと、同様の予測に基づく下流の判断が同様の結果をもたらすことを認識する、より公平な評価を提供する。 合成データおよび実データに対する理論的正当性および広範な実証検証を通じて,セマンティックF1はより高い解釈可能性および生態学的妥当性を示すことを示す。 整合性オントロジーではなく、不特定性に対して堅牢なドメイン固有類似性行列のみを必要とするため、タスクやモダリティにまたがって適用できる。

関連論文リスト

• Weakly-Supervised Contrastive Learning for Imprecise Class Labels [50.57424331797865]
  正対と負対を定義するために「連続的意味的類似性」の概念を導入する。 弱教師付きコントラスト学習のためのグラフ理論フレームワークを提案する。 我々のフレームワークは非常に多用途であり、多くの弱い教師付き学習シナリオに適用できる。
  論文  参考訳（メタデータ） (2025-05-28T06:50:40Z)
• sigmoidF1: A Smooth F1 Score Surrogate Loss for Multilabel Classification [42.37189502220329]
  マルチラベル分類評価の複雑さを考慮した損失関数 sigmoidF1 を提案する。 SigmoidF1は4つのデータセットといくつかのメトリクスで他の損失関数よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-08-24T08:11:33Z)
• A Theory-Driven Self-Labeling Refinement Method for Contrastive Representation Learning [111.05365744744437]
  教師なしのコントラスト学習は、正のイメージの作物と、負のイメージの作物とをラベル付けする。 本研究は, コントラスト学習において, 不正確なラベル割り当てがセマンティック・インスタンス識別の一般化を著しく損なうことを最初に証明する。 この理論に触発されて、コントラスト学習のための新しい自己ラベル改善手法を提案する。
  論文  参考訳（メタデータ） (2021-06-28T14:24:52Z)
• Distribution-Aware Semantics-Oriented Pseudo-label for Imbalanced Semi-Supervised Learning [80.05441565830726]
  本稿では,疑似ラベルの重み付けがモデル性能に悪影響を及ぼすような,不均衡な半教師付き学習に対処する。 本稿では,この観測の動機となるバイアスに対処する,一般的な擬似ラベルフレームワークを提案する。 不均衡SSLのための新しい擬似ラベルフレームワークを、DASO(Distributed-Aware Semantics-Oriented Pseudo-label)と呼ぶ。
  論文  参考訳（メタデータ） (2021-06-10T11:58:25Z)
• Debiased Contrastive Learning [64.98602526764599]
  我々は,同ラベルデータポイントのサンプリングを補正する,偏りのあるコントラスト目的の開発を行う。 実証的に、提案する目的は、視覚、言語、強化学習ベンチマークにおける表現学習の最先端を一貫して上回る。
  論文  参考訳（メタデータ） (2020-07-01T04:25:24Z)
• Rectifying Pseudo Label Learning via Uncertainty Estimation for Domain Adaptive Semantic Segmentation [49.295165476818866]
  本稿では、意味的セグメンテーションの文脈において、ソースドメインからターゲットドメインへの知識伝達の教師なし領域適応に焦点を当てる。 既存のアプローチでは、通常、擬似ラベルを未ラベルのターゲットドメインデータを完全に活用するための基礎的真理とみなす。 本稿では,擬似ラベル学習の修正のために,学習中の予測の不確かさを明示的に推定することを提案する。
  論文  参考訳（メタデータ） (2020-03-08T12:37:19Z)
• A Quadruplet Loss for Enforcing Semantically Coherent Embeddings in Multi-output Classification Problems [5.972927416266617]
  本稿では,多出力分類問題における意味的コヒーレントな特徴埋め込みを学習するための1つの目的関数について述べる。 視覚的監視環境における識別検索と生体認証の問題点を考察する。
  論文  参考訳（メタデータ） (2020-02-26T17:18:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。