論文の概要: RePOPE: Impact of Annotation Errors on the POPE Benchmark

• arxiv url: http://arxiv.org/abs/2504.15707v1
• Date: Tue, 22 Apr 2025 08:47:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-30 21:27:23.429038
• Title: RePOPE: Impact of Annotation Errors on the POPE Benchmark
• Title（参考訳）: RePOPE: POPEベンチマークにおけるアノテーションエラーの影響
• Authors: Yannic Neuhaus, Matthias Hein,
• Abstract要約: 本研究では,MSCOCOにおけるラベルエラーが,頻繁に使用されるオブジェクト幻覚ベンチマークPOPEに与える影響を評価する。 ベンチマーク画像を再アノテーションし、異なるサブセット間でのアノテーションエラーの不均衡を識別する。
• 参考スコア（独自算出の注目度）: 36.56346240815833
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Since data annotation is costly, benchmark datasets often incorporate labels from established image datasets. In this work, we assess the impact of label errors in MSCOCO on the frequently used object hallucination benchmark POPE. We re-annotate the benchmark images and identify an imbalance in annotation errors across different subsets. Evaluating multiple models on the revised labels, which we denote as RePOPE, we observe notable shifts in model rankings, highlighting the impact of label quality. Code and data are available at https://github.com/YanNeu/RePOPE .
• Abstract（参考訳）: データアノテーションはコストがかかるため、ベンチマークデータセットには、確立されたイメージデータセットのラベルが組み込まれていることが多い。 本研究では,MSCOCOにおけるラベルエラーが,頻繁に使用されるオブジェクト幻覚ベンチマークPOPEに与える影響を評価する。 ベンチマーク画像を再アノテーションし、異なるサブセット間でのアノテーションエラーの不均衡を識別する。 RePOPEと表記するラベルに対する複数のモデルの評価を行い、ラベル品質の影響を強調して、モデルランキングの顕著な変化を観察する。 コードとデータはhttps://github.com/YanNeu/RePOPE で公開されている。

関連論文リスト

• Are LLMs Better than Reported? Detecting Label Errors and Mitigating Their Effect on Model Performance [21.926934384262594]
  大きな言語モデル(LLM)は、アノテーションプロセスを強化する新しい機会を提供する。 合意、ラベルの品質、効率の点で、専門家、クラウドソース、LLMベースのアノテーションを比較します。 以上の結果から,ラベルエラーがかなり多く,修正されると,報告されたモデル性能が大幅に上向きに変化することが判明した。
  論文  参考訳（メタデータ） (2024-10-24T16:27:03Z)
• Online Multi-Label Classification under Noisy and Changing Label Distribution [9.17381554071824]
  本稿では,Nuisy and Changing Label Distribution (NCLD) に基づくオンラインマルチラベル分類アルゴリズムを提案する。 NCLDへの頑健さは3つの新作の恩恵を受けるため,ラベルスコアとラベルランキングを高い精度で同時にモデル化することを目的としている。
  論文  参考訳（メタデータ） (2024-10-03T11:16:43Z)
• Estimating label quality and errors in semantic segmentation data via any model [19.84626033109009]
  ラベル品質を評価する手法について検討し、最も低いスコアのイメージを正しくラベル付けする可能性が低いことを示す。 これにより、高品質なトレーニング/評価データセットを保証するために、レビューするデータを優先順位付けすることが可能になる。
  論文  参考訳（メタデータ） (2023-07-11T07:29:09Z)
• Bridging the Gap between Model Explanations in Partially Annotated Multi-label Classification [85.76130799062379]
  偽陰性ラベルがモデルの説明にどのように影響するかを考察する。 本稿では,部分ラベルで学習したモデルの属性スコアを向上し,その説明をフルラベルで学習したモデルと類似させる。
  論文  参考訳（メタデータ） (2023-04-04T14:00:59Z)
• Category-Adaptive Label Discovery and Noise Rejection for Multi-label Image Recognition with Partial Positive Labels [78.88007892742438]
  部分正ラベル(MLR-PPL)を用いたマルチラベルモデルの訓練が注目されている。 これまでの研究では、未知のラベルを負とみなし、従来のMLRアルゴリズムを採用した。 我々は,MLR-PPLタスクを容易にするために,異なる画像間の意味的相関について検討する。
  論文  参考訳（メタデータ） (2022-11-15T02:11:20Z)
• Multi-label Classification with Partial Annotations using Class-aware Selective Loss [14.3159150577502]
  大規模なマルチラベル分類データセットは、一般的に部分的に注釈付けされている。 部分的なラベリング問題を解析し、2つの重要なアイデアに基づいた解を提案する。 われわれの新しいアプローチにより、OpenImagesデータセット上で最先端の結果が得られる。
  論文  参考訳（メタデータ） (2021-10-21T08:10:55Z)
• Rethinking Pseudo Labels for Semi-Supervised Object Detection [84.697097472401]
  物体検出に適した確実な擬似ラベルを導入する。 我々は,クラス不均衡問題を緩和するために,各カテゴリの擬似ラベルと再重み付き損失関数を生成するために使用する閾値を動的に調整する。 提案手法では,COCOのラベル付きデータのみを用いて,教師付きベースラインを最大10%改善する。
  論文  参考訳（メタデータ） (2021-06-01T01:32:03Z)
• Disentangling Sampling and Labeling Bias for Learning in Large-Output Spaces [64.23172847182109]
  異なる負のサンプリングスキームが支配的ラベルと稀なラベルで暗黙的にトレードオフパフォーマンスを示す。 すべてのラベルのサブセットで作業することで生じるサンプリングバイアスと、ラベルの不均衡に起因するデータ固有のラベルバイアスの両方に明示的に対処する統一された手段を提供する。
  論文  参考訳（メタデータ） (2021-05-12T15:40:13Z)
• Exploiting Sample Uncertainty for Domain Adaptive Person Re-Identification [137.9939571408506]
  各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。 不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
  論文  参考訳（メタデータ） (2020-12-16T04:09:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。