論文の概要: Improving Image Captioning Descriptiveness by Ranking and LLM-based Fusion

• arxiv url: http://arxiv.org/abs/2306.11593v1
• Date: Tue, 20 Jun 2023 15:13:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-21 13:56:52.434606
• Title: Improving Image Captioning Descriptiveness by Ranking and LLM-based Fusion
• Title（参考訳）: ランク付けとLLM融合による記述性向上
• Authors: Simone Bianco and Luigi Celona and Marco Donzella and Paolo Napoletano
• Abstract要約: State-of-The-Art (SoTA)イメージキャプションモデルは、トレーニングのためにMicrosoft COCO(MS-COCO)データセットに依存することが多い。 本稿では,異なるSoTAモデルから生成されたキャプションを効果的に融合させる方法を示すことによって,従来の課題に対処する新しいアプローチを提案する。
• 参考スコア（独自算出の注目度）: 17.99150939602917
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: State-of-The-Art (SoTA) image captioning models often rely on the Microsoft COCO (MS-COCO) dataset for training. This dataset contains annotations provided by human annotators, who typically produce captions averaging around ten tokens. However, this constraint presents a challenge in effectively capturing complex scenes and conveying detailed information. Furthermore, captioning models tend to exhibit bias towards the ``average'' caption, which captures only the more general aspects. What would happen if we were able to automatically generate longer captions, thereby making them more detailed? Would these captions, evaluated by humans, be more or less representative of the image content compared to the original MS-COCO captions? In this paper, we present a novel approach to address previous challenges by showcasing how captions generated from different SoTA models can be effectively fused, resulting in richer captions. Our proposed method leverages existing models from the literature, eliminating the need for additional training. Instead, it utilizes an image-text based metric to rank the captions generated by SoTA models for a given image. Subsequently, the top two captions are fused using a Large Language Model (LLM). Experimental results demonstrate the effectiveness of our approach, as the captions generated by our model exhibit higher consistency with human judgment when evaluated on the MS-COCO test set. By combining the strengths of various SoTA models, our method enhances the quality and appeal of image captions, bridging the gap between automated systems and the rich, informative nature of human-generated descriptions. This advance opens up new possibilities for generating captions that are more suitable for the training of both vision-language and captioning models.
• Abstract（参考訳）: State-of-The-Art (SoTA)イメージキャプションモデルは、トレーニングのためにMicrosoft COCO(MS-COCO)データセットに依存することが多い。 このデータセットには、人間のアノテーションによって提供されるアノテーションが含まれている。 しかし,この制約は複雑なシーンを効果的に捉え,詳細な情報を伝える上での課題となる。 さらに、キャプションモデルは'平均'キャプションに対するバイアスを示す傾向があり、より一般的な側面のみをキャプチャする。 もし私たちが自動的に長いキャプションを生成できたら、どうなるでしょう? 従来のMS-COCOのキャプションと比べて、画像の内容は多かれ少なかれ人間によって評価されるのか? 本稿では,異なるSoTAモデルから生成されたキャプションを効果的に融合させることによって,よりリッチなキャプションを実現する手法を提案する。 提案手法は文献から既存のモデルを活用し,追加のトレーニングを不要とした。 代わりに、画像テキストベースのメトリクスを使用して、与えられた画像に対してSoTAモデルによって生成されたキャプションをランク付けする。 その後、上位2つのキャプションはLarge Language Model (LLM)で融合される。 実験の結果,MS-COCOテストセットで評価すると,本モデルが生成したキャプションが人間の判断と一致していることが確認できた。 様々なSoTAモデルの強みを組み合わせることで,画像キャプションの品質と魅力を高め,自動システムと人為的記述の豊かな情報的性質のギャップを埋める。 この進歩は、視覚言語とキャプションモデルの両方のトレーニングに適したキャプションを生成する新しい可能性を開く。

関連論文リスト

• Revisit Large-Scale Image-Caption Data in Pre-training Multimodal Foundation Models [63.01630478059315]
  マルチモーダルモデルの最近の進歩は、性能向上のための書き直しキャプションの価値を強調している。 プレトレーニングにおける合成キャプションとオリジナルのWebcrawled AltTextsとの相互作用が、まだよく理解されていないかどうかは不明だ。 様々なマルチモーダルモデルに適した多様なキャプションフォーマットを生成するために,新しい,制御可能な,スケーラブルなキャプションパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-10-03T17:54:52Z)
• Inserting Faces inside Captions: Image Captioning with Attention Guided Merging [0.0]
  画像キャプションタスク用のデータセットであるAstroCaptionsを紹介する。 キャプション内に識別された人物の名前を挿入するための新しいポストプロセッシング手法を提案する。
  論文  参考訳（メタデータ） (2024-03-20T08:38:25Z)
• CapText: Large Language Model-based Caption Generation From Image Context and Description [0.0]
  テキスト記述と文脈のみからキャプションを生成する新しいアプローチを提案し,評価する。 提案手法は,OSCAR-VinVL などの最先端画像テキストアライメントモデルにおいて,CIDEr メトリック上でのタスクにおいて優れる。
  論文  参考訳（メタデータ） (2023-06-01T02:40:44Z)
• FuseCap: Leveraging Large Language Models for Enriched Fused Image Captions [11.274127953112574]
  本稿では,「凍った」視覚専門家を用いて,既存のキャプションを視覚的詳細で拡張するための自動アプローチを提案する。 提案手法であるFuseCapは,そのような視覚専門家の出力を,大規模言語モデルを用いて原文のキャプションと融合する。 私たちはこの大規模な画像キャプチャーペアのデータセットをコミュニティ向けにリリースします。
  論文  参考訳（メタデータ） (2023-05-28T13:16:03Z)
• Paraphrasing Is All You Need for Novel Object Captioning [126.66301869607656]
  新たな物体キャプション (NOC) は, 訓練中に真実のキャプションを観察することなく, 対象を含む画像を記述することを目的としている。 本稿では,NOC の2段階学習フレームワークである Paraphrasing-to-Captioning (P2C) について述べる。
  論文  参考訳（メタデータ） (2022-09-25T22:56:04Z)
• Learning Distinct and Representative Styles for Image Captioning [24.13549951795951]
  画像キャプションのための離散モード学習(DML)パラダイムを提案する。 私たちのイノベーティブなアイデアは、トレーニングキャプションコーパスのリッチモードを探求して、一連の「モード埋め込み」を学ぶことです。 実験では,提案したDMLをTransformerとAoANetの2つの広く使われている画像キャプションモデルに適用した。
  論文  参考訳（メタデータ） (2022-09-17T03:25:46Z)
• Prompt-based Learning for Unpaired Image Captioning [86.44188293709307]
  Unpaired Image Captioning (UIC) は、非整合視覚言語サンプルペアから画像記述を学習するために開発された。 近年のVision-Language Pre-Trained Models (VL-PTMs) の成功は、プロンプトベース学習の発展を引き起こしている。 本稿では,UICモデルをトレーニングするためのプロンプトに基づく新しいスキームを提案し,その強力な一般化能力を最大限に活用する。
  論文  参考訳（メタデータ） (2022-05-26T03:13:43Z)
• Intrinsic Image Captioning Evaluation [53.51379676690971]
  I2CE(Intrinsic Image Captioning Evaluation)と呼ばれる画像キャプションのための学習ベースメトリクスを提案する。 実験の結果,提案手法は頑健な性能を維持し,意味的類似表現やアライメントの少ない意味論に遭遇した場合,候補キャプションに対してより柔軟なスコアを与えることができた。
  論文  参考訳（メタデータ） (2020-12-14T08:36:05Z)
• Length-Controllable Image Captioning [67.2079793803317]
  簡単な長さレベルの埋め込みを用いて,その能力を実現することを提案する。 自己回帰的な性質のため、既存のモデルの計算複雑性は、生成されたキャプションの長さが大きくなるにつれて線形的に増加する。 さらに,非自己回帰的画像キャプション手法を考案し,キャプションを時間的無関係な複雑さで生成する。
  論文  参考訳（メタデータ） (2020-07-19T03:40:51Z)
• Egoshots, an ego-vision life-logging dataset and semantic fidelity metric to evaluate diversity in image captioning models [63.11766263832545]
  我々は,字幕のない実生活画像978枚からなる新しい画像キャプションデータセット,Egoshotsを提案する。 生成されたキャプションの品質を評価するために,新しい画像キャプション指標,オブジェクトベースセマンティックフィデリティ(SF)を提案する。
  論文  参考訳（メタデータ） (2020-03-26T04:43:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。