論文の概要: UMIC: An Unreferenced Metric for Image Captioning via Contrastive Learning

• arxiv url: http://arxiv.org/abs/2106.14019v1
• Date: Sat, 26 Jun 2021 13:27:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-29 14:04:06.523653
• Title: UMIC: An Unreferenced Metric for Image Captioning via Contrastive Learning
• Title（参考訳）: UMIC:コントラスト学習による画像キャプションのための非参照メトリック
• Authors: Hwanhee Lee, Seunghyun Yoon, Franck Dernoncourt, Trung Bui, Kyomin Jung
• Abstract要約: 本稿では,新しいメトリクスUMIC,Unreferenced Metric for Image Captioningを紹介する。 ビジョン・アンド・ランゲージ BERT に基づいてUMIC を訓練し、対照的な学習を通して否定的なキャプションを識別する。 また,画像キャプションの指標について,前回のベンチマークデータセットの問題点を考察し,生成したキャプションに人間のアノテーションの新たなコレクションを導入する。
• 参考スコア（独自算出の注目度）: 39.40274917797253
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the success of various text generation metrics such as BERTScore, it is still difficult to evaluate the image captions without enough reference captions due to the diversity of the descriptions. In this paper, we introduce a new metric UMIC, an Unreferenced Metric for Image Captioning which does not require reference captions to evaluate image captions. Based on Vision-and-Language BERT, we train UMIC to discriminate negative captions via contrastive learning. Also, we observe critical problems of the previous benchmark dataset (i.e., human annotations) on image captioning metric, and introduce a new collection of human annotations on the generated captions. We validate UMIC on four datasets, including our new dataset, and show that UMIC has a higher correlation than all previous metrics that require multiple references. We release the benchmark dataset and pre-trained models to compute the UMIC.
• Abstract（参考訳）: BERTScoreのような様々なテキスト生成指標の成功にもかかわらず、説明の多様性のために十分な参照キャプションなしで画像キャプションを評価することは依然として困難である。 本稿では,画像キャプション評価のための参照キャプションを必要としない,画像キャプション用unreferenced Metrics for Image Captioningという新しいメトリックUMICを紹介する。 ビジョン・アンド・ランゲージ BERT に基づいてUMIC を訓練し、対照的な学習を通して否定的なキャプションを識別する。 また、画像キャプションメトリクスにおける従来のベンチマークデータセット(つまりヒューマンアノテーション)の重要な問題を観察し、生成されたキャプションに新たなヒューマンアノテーションの集合を導入する。 我々は、新しいデータセットを含む4つのデータセット上でUMICを検証し、UMICが複数の参照を必要とする以前のすべてのメトリクスよりも高い相関性を持つことを示す。 UMICを計算するために,ベンチマークデータセットと事前学習モデルをリリースする。

関連論文リスト

• InfoMetIC: An Informative Metric for Reference-free Image Caption Evaluation [69.1642316502563]
  インフォメーションフリー画像キャプション評価のためのインフォーマティブメトリックを提案する。 画像とキャプションが与えられた場合、InfoMetICは不正確な単語や未完成の画像領域をきめ細かいレベルで報告することができる。 また,トークンレベルの評価データセットを構築し,詳細な評価におけるInfoMetICの有効性を示す。
  論文  参考訳（メタデータ） (2023-05-10T09:22:44Z)
• Positive-Augmented Contrastive Learning for Image and Video Captioning Evaluation [47.40949434032489]
  画像キャプションのための新しいコントラストベース評価指標,すなわち肯定的拡張コントラスト学習スコア(PAC-S)を提案する。 PAC-Sは、生成した画像とキュレートされたデータにテキストを追加することで、対照的な視覚的意味空間の学習を統一する。 複数のデータセットにまたがる実験により、私たちの新しい測定基準は、画像とビデオの両方で人間の判断と最も高い相関を達成できることが示された。
  論文  参考訳（メタデータ） (2023-03-21T18:03:14Z)
• Transparent Human Evaluation for Image Captioning [70.03979566548823]
  画像キャプションモデルのためのルーリックに基づく人間評価プロトコルを開発した。 人為的キャプションは機械的キャプションよりも著しく高品質であることを示す。 この研究は、画像キャプションのためのより透明な評価プロトコルを促進することを願っている。
  論文  参考訳（メタデータ） (2021-11-17T07:09:59Z)
• Is An Image Worth Five Sentences? A New Look into Semantics for Image-Text Matching [10.992151305603267]
  本稿では,検索項目の意味的関連度を評価するための2つの指標を提案する。 画像キャプションの指標であるCIDErを用いて,標準的な三重項損失に最適化されるセマンティック適応マージン(SAM)を定義する。
  論文  参考訳（メタデータ） (2021-10-06T09:54:28Z)
• COSMic: A Coherence-Aware Generation Metric for Image Descriptions [27.41088864449921]
  画像メトリクスは、テキスト評価モデルのセマンティックおよび実用的成功の正確な学習された推定を与えるのに苦労してきた。 出力の出力を評価するための最初の学習的生成指標を示す。 提案手法では,BLEURTやBERTなどの他の指標と比較して,複数の最先端キャプションモデルの結果に対する人的判断の精度が高いことを示す。
  論文  参考訳（メタデータ） (2021-09-11T13:43:36Z)
• Contrastive Semantic Similarity Learning for Image Captioning Evaluation with Intrinsic Auto-encoder [52.42057181754076]
  自動エンコーダ機構とコントラスト表現学習の進歩により,画像キャプションのための学習基準を提案する。 文レベルの表現を学習するための3つのプログレッシブモデル構造を開発する。 実験結果から,提案手法は他の指標から得られるスコアとよく一致できることが示唆された。
  論文  参考訳（メタデータ） (2021-06-29T12:27:05Z)
• Intrinsic Image Captioning Evaluation [53.51379676690971]
  I2CE(Intrinsic Image Captioning Evaluation)と呼ばれる画像キャプションのための学習ベースメトリクスを提案する。 実験の結果,提案手法は頑健な性能を維持し,意味的類似表現やアライメントの少ない意味論に遭遇した場合,候補キャプションに対してより柔軟なスコアを与えることができた。
  論文  参考訳（メタデータ） (2020-12-14T08:36:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。