論文の概要: Rethinking Evaluation Metrics of Open-Vocabulary Segmentaion

• arxiv url: http://arxiv.org/abs/2311.03352v1
• Date: Mon, 6 Nov 2023 18:59:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-07 13:11:17.716792
• Title: Rethinking Evaluation Metrics of Open-Vocabulary Segmentaion
• Title（参考訳）: Open-Vocabulary Segmentaionの評価基準の再考
• Authors: Hao Zhou, Tiancheng Shen, Xu Yang, Hai Huang, Xiangtai Li, Lu Qi, Ming-Hsuan Yang
• Abstract要約: 評価プロセスは、予測された真理のカテゴリと基底的真理のカテゴリの類似性を考慮せずに、クローズドセットのメトリクスに大きく依存している。 この問題に対処するため、まず2つのカテゴリー語間の11の類似度の測定を行った。 我々は,3つのオープン語彙セグメンテーションタスクに適した,オープンmIoU,オープンAP,オープンPQという新しい評価指標を設計した。
• 参考スコア（独自算出の注目度）: 78.76867266561537
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In this paper, we highlight a problem of evaluation metrics adopted in the open-vocabulary segmentation. That is, the evaluation process still heavily relies on closed-set metrics on zero-shot or cross-dataset pipelines without considering the similarity between predicted and ground truth categories. To tackle this issue, we first survey eleven similarity measurements between two categorical words using WordNet linguistics statistics, text embedding, and language models by comprehensive quantitative analysis and user study. Built upon those explored measurements, we designed novel evaluation metrics, namely Open mIoU, Open AP, and Open PQ, tailored for three open-vocabulary segmentation tasks. We benchmarked the proposed evaluation metrics on 12 open-vocabulary methods of three segmentation tasks. Even though the relative subjectivity of similarity distance, we demonstrate that our metrics can still well evaluate the open ability of the existing open-vocabulary segmentation methods. We hope that our work can bring with the community new thinking about how to evaluate the open ability of models. The evaluation code is released in github.
• Abstract（参考訳）: 本稿では,オープン語彙セグメンテーションにおける評価指標の問題点を明らかにする。 つまり、評価プロセスは、予測と基底の真理のカテゴリの類似性を考慮せずに、ゼロショットまたはクロスデータセットパイプラインのクローズドセットメトリクスに大きく依存している。 この問題に取り組むために,まず,wordnet言語統計,テキスト埋め込み,言語モデルを用いた2つのカテゴリー語間の11の類似度を包括的定量的解析とユーザ研究によって調査した。 これらの測定結果に基づいて,オープン語彙セグメンテーションタスクに適したオープンmIoU,オープンAP,オープンPQという,新しい評価指標を設計した。 提案した評価指標を3つのセグメンテーションタスクのオープン語彙12の手法でベンチマークした。 類似度距離の相対主観性はあるものの,既存の開語彙セグメンテーション手法の開度を評価できることを示す。 オープンなモデルの能力を評価する方法について、私たちの仕事がコミュニティに新たな考え方をもたらすことを願っています。 評価コードはgithubでリリースされる。

関連論文リスト

• Annotator in the Loop: A Case Study of In-Depth Rater Engagement to Create a Bridging Benchmark Dataset [1.825224193230824]
  本稿では,アノテーションのための新規かつ協調的かつ反復的なアノテーション手法について述べる。 以上の結果から,アノテータとの連携によりアノテーションの手法が強化されることが示唆された。
  論文  参考訳（メタデータ） (2024-08-01T19:11:08Z)
• Cobra Effect in Reference-Free Image Captioning Metrics [58.438648377314436]
  視覚言語事前学習モデル(VLM)を活用した参照フリー手法の普及が出現している。 本稿では,基準自由度に欠陥があるかどうかを考察する。 GPT-4Vは生成した文を評価するための評価ツールであり,提案手法がSOTA(State-of-the-art)の性能を達成することを示す。
  論文  参考訳（メタデータ） (2024-02-18T12:36:23Z)
• CEREAL: Few-Sample Clustering Evaluation [4.569028973407756]
  限られたラベルでクラスタリング品質を推定する未解決の問題に焦点をあてる。 本稿では,少数のクラスタリング評価のための総合的なフレームワークCEREALを紹介する。 その結果,CEREALはサンプリング基準値と比較して絶対誤差曲線下での面積を最大57%削減できることがわかった。
  論文  参考訳（メタデータ） (2022-09-30T19:52:41Z)
• On the Intrinsic and Extrinsic Fairness Evaluation Metrics for Contextualized Language Representations [74.70957445600936]
  様々な自然言語処理タスクの公平度を測定するために、複数のメトリクスが導入された。 これらの指標は,(1)下流アプリケーションにおけるフェアネスを評価する遠因性指標と,(2)上流言語表現モデルにおけるフェアネスを推定する遠因性指標の2つのカテゴリに大別することができる。
  論文  参考訳（メタデータ） (2022-03-25T22:17:43Z)
• OpenMEVA: A Benchmark for Evaluating Open-ended Story Generation Metrics [53.779709191191685]
  オープンエンドのストーリー生成指標を評価するためのベンチマークであるOpenMEVAを提案する。 OpenMEVAは、メトリクスの能力を評価するための包括的なテストスイートを提供する。 既存の指標は人間の判断と相関が低く、談話レベルの不整合を認識できず、推論知識が欠如していることが観察された。
  論文  参考訳（メタデータ） (2021-05-19T04:45:07Z)
• GO FIGURE: A Meta Evaluation of Factuality in Summarization [131.1087461486504]
  本稿では,現実性評価指標を評価するメタ評価フレームワークGO FIGUREを紹介する。 10個の実測値のベンチマーク分析により、我々のフレームワークが堅牢で効率的な評価を提供することが明らかとなった。 また、QAメトリクスは、ドメイン間の事実性を測定する標準的なメトリクスよりも一般的に改善されているが、パフォーマンスは、質問を生成する方法に大きく依存していることも明らかにしている。
  論文  参考訳（メタデータ） (2020-10-24T08:30:20Z)
• Extending Text Informativeness Measures to Passage Interestingness Evaluation (Language Model vs. Word Embedding) [1.2998637003026272]
  本稿では、インフォマティヴネスの概念をインフォマティヴネスの一般化として定義する。 次に、この一般化に対応するために、アートインフォーマティヴネス対策の状態を調査する。 CLEF-INEX Tweet Contextualization 2012 Logarithm similarity measure が最適であることを示す。
  論文  参考訳（メタデータ） (2020-04-14T18:22:48Z)
• PONE: A Novel Automatic Evaluation Metric for Open-Domain Generative Dialogue Systems [48.99561874529323]
  オープンドメイン生成対話システムの評価には3つの方法がある。 体系的な比較が欠如しているため、どの指標がより効果的であるかは明らかでない。 本稿では,人間の判断との相関性を大幅に改善できる,新しい,実現可能な学習基準を提案する。
  論文  参考訳（メタデータ） (2020-04-06T04:36:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。