論文の概要: WEmbSim: A Simple yet Effective Metric for Image Captioning

• arxiv url: http://arxiv.org/abs/2012.13137v1
• Date: Thu, 24 Dec 2020 06:39:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-25 08:28:51.514921
• Title: WEmbSim: A Simple yet Effective Metric for Image Captioning
• Title（参考訳）: WEmbSim:イメージキャプションのためのシンプルで効果的なメトリック
• Authors: Naeha Sharif, Lyndon White, Mohammed Bennamoun, Wei Liu, Syed Afaq Ali Shah
• Abstract要約: 本研究では,SPICE,CIDEr,WMDなどの複雑な対策を,人間の判断とシステムレベルの相関で打ち負かすWEmbSimを提案する。 また、一般的な教師なしの方法に対して、キャプションペアの人間のコンセンサススコアをマッチングする最高の精度を達成している。
• 参考スコア（独自算出の注目度）: 37.2313913156926
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The area of automatic image caption evaluation is still undergoing intensive research to address the needs of generating captions which can meet adequacy and fluency requirements. Based on our past attempts at developing highly sophisticated learning-based metrics, we have discovered that a simple cosine similarity measure using the Mean of Word Embeddings(MOWE) of captions can actually achieve a surprisingly high performance on unsupervised caption evaluation. This inspires our proposed work on an effective metric WEmbSim, which beats complex measures such as SPICE, CIDEr and WMD at system-level correlation with human judgments. Moreover, it also achieves the best accuracy at matching human consensus scores for caption pairs, against commonly used unsupervised methods. Therefore, we believe that WEmbSim sets a new baseline for any complex metric to be justified.
• Abstract（参考訳）: 自動キャプション評価の分野は、適切性や流動性要件を満たすキャプション生成の必要性に対処するため、依然として集中的な研究が続けられている。 従来の高度学習ベースメトリクスの開発の試みから,字幕の単語埋め込み(MOWE)を用いた簡易なコサイン類似度尺度が,教師なし字幕評価において驚くほど高い性能を達成できることが判明した。 これにより,SPICE,CIDEr,WMDなどの複雑な尺度を人的判断とシステムレベルの相関で打ち負かす有効な尺度WEmbSimが提案された。 さらに、一般的に使われている教師なし手法に対して、キャプションペアのヒトのコンセンサススコアを一致させるのに最適な精度を達成する。 したがって、WEmbSim は任意の複素計量を正当化するための新しい基底線を設定する。

関連論文リスト

• CrossScore: Towards Multi-View Image Evaluation and Scoring [24.853612457257697]
  相互参照画像品質評価法は画像評価景観のギャップを埋める。 本手法は,地上の真理参照を必要とせず,精度の高い画像品質評価を可能にする。
  論文  参考訳（メタデータ） (2024-04-22T17:59:36Z)
• Positive-Augmented Contrastive Learning for Image and Video Captioning Evaluation [47.40949434032489]
  画像キャプションのための新しいコントラストベース評価指標,すなわち肯定的拡張コントラスト学習スコア(PAC-S)を提案する。 PAC-Sは、生成した画像とキュレートされたデータにテキストを追加することで、対照的な視覚的意味空間の学習を統一する。 複数のデータセットにまたがる実験により、私たちの新しい測定基準は、画像とビデオの両方で人間の判断と最も高い相関を達成できることが示された。
  論文  参考訳（メタデータ） (2023-03-21T18:03:14Z)
• Prompt-based Learning for Unpaired Image Captioning [86.44188293709307]
  Unpaired Image Captioning (UIC) は、非整合視覚言語サンプルペアから画像記述を学習するために開発された。 近年のVision-Language Pre-Trained Models (VL-PTMs) の成功は、プロンプトベース学習の発展を引き起こしている。 本稿では,UICモデルをトレーニングするためのプロンプトに基づく新しいスキームを提案し,その強力な一般化能力を最大限に活用する。
  論文  参考訳（メタデータ） (2022-05-26T03:13:43Z)
• Transparent Human Evaluation for Image Captioning [70.03979566548823]
  画像キャプションモデルのためのルーリックに基づく人間評価プロトコルを開発した。 人為的キャプションは機械的キャプションよりも著しく高品質であることを示す。 この研究は、画像キャプションのためのより透明な評価プロトコルを促進することを願っている。
  論文  参考訳（メタデータ） (2021-11-17T07:09:59Z)
• COSMic: A Coherence-Aware Generation Metric for Image Descriptions [27.41088864449921]
  画像メトリクスは、テキスト評価モデルのセマンティックおよび実用的成功の正確な学習された推定を与えるのに苦労してきた。 出力の出力を評価するための最初の学習的生成指標を示す。 提案手法では,BLEURTやBERTなどの他の指標と比較して,複数の最先端キャプションモデルの結果に対する人的判断の精度が高いことを示す。
  論文  参考訳（メタデータ） (2021-09-11T13:43:36Z)
• Contrastive Semantic Similarity Learning for Image Captioning Evaluation with Intrinsic Auto-encoder [52.42057181754076]
  自動エンコーダ機構とコントラスト表現学習の進歩により,画像キャプションのための学習基準を提案する。 文レベルの表現を学習するための3つのプログレッシブモデル構造を開発する。 実験結果から,提案手法は他の指標から得られるスコアとよく一致できることが示唆された。
  論文  参考訳（メタデータ） (2021-06-29T12:27:05Z)
• CLIPScore: A Reference-free Evaluation Metric for Image Captioning [44.14502257230038]
  Webから400M画像+キャプションペアにプリトレーニングされたクロスモーダルモデルであるCLIPは、参照を必要とせずに画像キャプションの堅牢な自動評価に使用できることを示しています。 複数のコーポラにまたがる実験は、私たちの新しい基準なしメトリックであるCLIPScoreが人間の判断と最も高い相関を達成することを実証します。 また、RefCLIPScoreという参照拡張版も提示し、さらに高い相関性を実現する。
  論文  参考訳（メタデータ） (2021-04-18T05:00:29Z)
• Intrinsic Image Captioning Evaluation [53.51379676690971]
  I2CE(Intrinsic Image Captioning Evaluation)と呼ばれる画像キャプションのための学習ベースメトリクスを提案する。 実験の結果,提案手法は頑健な性能を維持し,意味的類似表現やアライメントの少ない意味論に遭遇した場合,候補キャプションに対してより柔軟なスコアを与えることができた。
  論文  参考訳（メタデータ） (2020-12-14T08:36:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。