論文の概要: InfoMetIC: An Informative Metric for Reference-free Image Caption Evaluation

• arxiv url: http://arxiv.org/abs/2305.06002v1
• Date: Wed, 10 May 2023 09:22:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-11 13:50:31.477516
• Title: InfoMetIC: An Informative Metric for Reference-free Image Caption Evaluation
• Title（参考訳）: InfoMetIC: 参照なし画像キャプチャ評価のためのインフォームティブメトリック
• Authors: Anwen Hu, Shizhe Chen, Liang Zhang, Qin Jin
• Abstract要約: インフォメーションフリー画像キャプション評価のためのインフォーマティブメトリックを提案する。 画像とキャプションが与えられた場合、InfoMetICは不正確な単語や未完成の画像領域をきめ細かいレベルで報告することができる。 また,トークンレベルの評価データセットを構築し,詳細な評価におけるInfoMetICの有効性を示す。
• 参考スコア（独自算出の注目度）: 69.1642316502563
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic image captioning evaluation is critical for benchmarking and promoting advances in image captioning research. Existing metrics only provide a single score to measure caption qualities, which are less explainable and informative. Instead, we humans can easily identify the problems of captions in details, e.g., which words are inaccurate and which salient objects are not described, and then rate the caption quality. To support such informative feedback, we propose an Informative Metric for Reference-free Image Caption evaluation (InfoMetIC). Given an image and a caption, InfoMetIC is able to report incorrect words and unmentioned image regions at fine-grained level, and also provide a text precision score, a vision recall score and an overall quality score at coarse-grained level. The coarse-grained score of InfoMetIC achieves significantly better correlation with human judgements than existing metrics on multiple benchmarks. We also construct a token-level evaluation dataset and demonstrate the effectiveness of InfoMetIC in fine-grained evaluation. Our code and datasets are publicly available at https://github.com/HAWLYQ/InfoMetIC.
• Abstract（参考訳）: 画像キャプションの自動評価は、画像キャプション研究のベンチマークと促進に不可欠である。 既存のメトリクスはキャプションの品質を測定するために1つのスコアしか提供しません。 代わりに、人間はキャプションの問題を、例えば、どの単語が不正確でどのサルトオブジェクトが記述されていないかなど、詳細に特定し、キャプションの品質を評価することができる。 このような情報的フィードバックを支援するため,インフォメーションフリー画像キャプション評価のためのInformative Metricを提案する。 InfoMetICは、画像とキャプションが与えられた場合、不正確な単語や未完成の画像領域をきめ細かいレベルで報告することができ、また、テキスト精度スコア、ビジョンリコールスコア、全体的な品質スコアを粗いレベルで提供することができる。 InfoMetICの粗いスコアは、既存のベンチマークの指標よりも、人間の判断との相関が大幅に向上する。 また,トークンレベルの評価データセットを構築し,詳細な評価におけるinfometicの有効性を示す。 私たちのコードとデータセットはhttps://github.com/HAWLYQ/InfoMetIC.comで公開されています。

関連論文リスト

• BRIDGE: Bridging Gaps in Image Captioning Evaluation with Stronger Visual Cues [47.213906345208315]
  本稿では,新たな学習可能かつ参照不要な画像キャプション指標BRIDGEを提案する。 提案手法は,既存の基準フリー評価スコアと比較して,最先端の結果が得られる。
  論文  参考訳（メタデータ） (2024-07-29T18:00:17Z)
• FLEUR: An Explainable Reference-Free Evaluation Metric for Image Captioning Using a Large Multimodal Model [5.330266804358638]
  画像キャプション評価指標に説明可能性を導入するための説明自由度指標であるFLEURを提案する。 大規模なマルチモーダルモデルを利用することで、FLEURは参照キャプションを必要とせずに画像に対するキャプションを評価することができる。 FLEURは、画像キャプション評価ベンチマークにおいて、人間の判断と高い相関を達成している。
  論文  参考訳（メタデータ） (2024-06-10T03:57:39Z)
• Transparent Human Evaluation for Image Captioning [70.03979566548823]
  画像キャプションモデルのためのルーリックに基づく人間評価プロトコルを開発した。 人為的キャプションは機械的キャプションよりも著しく高品質であることを示す。 この研究は、画像キャプションのためのより透明な評価プロトコルを促進することを願っている。
  論文  参考訳（メタデータ） (2021-11-17T07:09:59Z)
• EMScore: Evaluating Video Captioning via Coarse-Grained and Fine-Grained Embedding Matching [90.98122161162644]
  現在のビデオキャプションの指標は、主に参照キャプションと候補キャプションのテキストレベルの比較に基づいている。 EMScore(Embedding Matching-based score)を提案する。 我々は、よく訓練された視覚言語モデルを用いて、EMScore 計算のための視覚的および言語的埋め込みを抽出する。
  論文  参考訳（メタデータ） (2021-11-17T06:02:43Z)
• COSMic: A Coherence-Aware Generation Metric for Image Descriptions [27.41088864449921]
  画像メトリクスは、テキスト評価モデルのセマンティックおよび実用的成功の正確な学習された推定を与えるのに苦労してきた。 出力の出力を評価するための最初の学習的生成指標を示す。 提案手法では,BLEURTやBERTなどの他の指標と比較して,複数の最先端キャプションモデルの結果に対する人的判断の精度が高いことを示す。
  論文  参考訳（メタデータ） (2021-09-11T13:43:36Z)
• Contrastive Semantic Similarity Learning for Image Captioning Evaluation with Intrinsic Auto-encoder [52.42057181754076]
  自動エンコーダ機構とコントラスト表現学習の進歩により,画像キャプションのための学習基準を提案する。 文レベルの表現を学習するための3つのプログレッシブモデル構造を開発する。 実験結果から,提案手法は他の指標から得られるスコアとよく一致できることが示唆された。
  論文  参考訳（メタデータ） (2021-06-29T12:27:05Z)
• UMIC: An Unreferenced Metric for Image Captioning via Contrastive Learning [39.40274917797253]
  本稿では,新しいメトリクスUMIC,Unreferenced Metric for Image Captioningを紹介する。 ビジョン・アンド・ランゲージ BERT に基づいてUMIC を訓練し、対照的な学習を通して否定的なキャプションを識別する。 また,画像キャプションの指標について,前回のベンチマークデータセットの問題点を考察し,生成したキャプションに人間のアノテーションの新たなコレクションを導入する。
  論文  参考訳（メタデータ） (2021-06-26T13:27:14Z)
• Intrinsic Image Captioning Evaluation [53.51379676690971]
  I2CE(Intrinsic Image Captioning Evaluation)と呼ばれる画像キャプションのための学習ベースメトリクスを提案する。 実験の結果,提案手法は頑健な性能を維持し,意味的類似表現やアライメントの少ない意味論に遭遇した場合,候補キャプションに対してより柔軟なスコアを与えることができた。
  論文  参考訳（メタデータ） (2020-12-14T08:36:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。