論文の概要: Beam-Guided Knowledge Replay for Knowledge-Rich Image Captioning using Vision-Language Model

• arxiv url: http://arxiv.org/abs/2505.23358v1
• Date: Thu, 29 May 2025 11:33:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:07.832451
• Title: Beam-Guided Knowledge Replay for Knowledge-Rich Image Captioning using Vision-Language Model
• Title（参考訳）: ビジョンランゲージモデルを用いた知識リッチ画像キャプションのためのビームガイド型知識リプレイ
• Authors: Reem AlJunaid, Muzammil Behzad,
• Abstract要約: KRCapVLMは知識リプレイに基づく新しい画像キャプションフレームワークである。 ビームサーチデコーディングを組み込んで、より多様なコヒーレントなキャプションを生成する。 提案モデルは,知識認識の精度と生成したキャプションの全体的な品質の両方において,明確な改善を示す。
• 参考スコア（独自算出の注目度）: 0.8747606955991707
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generating informative and knowledge-rich image captions remains a challenge for many existing captioning models, which often produce generic descriptions that lack specificity and contextual depth. To address this limitation, we propose KRCapVLM, a knowledge replay-based novel image captioning framework using vision-language model. We incorporate beam search decoding to generate more diverse and coherent captions. We also integrate attention-based modules into the image encoder to enhance feature representation. Finally, we employ training schedulers to improve stability and ensure smoother convergence during training. These proposals accelerate substantial gains in both caption quality and knowledge recognition. Our proposed model demonstrates clear improvements in both the accuracy of knowledge recognition and the overall quality of generated captions. It shows a stronger ability to generalize to previously unseen knowledge concepts, producing more informative and contextually relevant descriptions. These results indicate the effectiveness of our approach in enhancing the model's capacity to generate meaningful, knowledge-grounded captions across a range of scenarios.
• Abstract（参考訳）: 情報と知識に富んだ画像キャプションを生成することは、多くの既存のキャプションモデルにとって依然として課題であり、特異性や文脈の深さに欠ける一般的な記述を生成することが多い。 この制限に対処するために,視覚言語モデルを用いた知識再生に基づく新しい画像キャプションフレームワークKRCapVLMを提案する。 ビームサーチデコーディングを組み込んで、より多様なコヒーレントなキャプションを生成する。 また,アテンションベースのモジュールをイメージエンコーダに統合し,特徴表現を強化する。 最後に、トレーニング中に安定性を改善し、よりスムーズな収束を確保するために、トレーニングスケジューラを使用します。 これらの提案は、キャプションの品質と知識認識の両方において、大幅に向上する。 提案モデルは,知識認識の精度と生成したキャプションの全体的な品質の両方において,明らかな改善を示す。 以前は見つからなかった知識の概念を一般化し、より情報的で文脈的に関係のある記述を生み出す能力を示す。 これらの結果は,モデルが意味のある,知識を基盤としたキャプションを生成する能力を高めるためのアプローチの有効性を示す。

関連論文リスト

• Towards Retrieval-Augmented Architectures for Image Captioning [81.11529834508424]
  本研究は,外部kNNメモリを用いた画像キャプションモデルの構築に向けた新しい手法を提案する。 具体的には、視覚的類似性に基づく知識検索コンポーネントを組み込んだ2つのモデル変種を提案する。 我々はCOCOデータセットとnocapsデータセットに対する我々のアプローチを実験的に検証し、明示的な外部メモリを組み込むことでキャプションの品質を著しく向上させることができることを示した。
  論文  参考訳（メタデータ） (2024-05-21T18:02:07Z)
• What Makes for Good Image Captions? [50.48589893443939]
  我々のフレームワークは、優れた画像キャプションは、情報的に十分であり、最小限の冗長であり、人間によって容易に理解できるという3つの重要な側面のバランスをとるべきであると仮定している。 本稿では,局所的な視覚情報とグローバルな視覚情報を統合することで,豊かなキャプションを生成するParamid of Captions(PoCa)手法を提案する。
  論文  参考訳（メタデータ） (2024-05-01T12:49:57Z)
• Generating Action-conditioned Prompts for Open-vocabulary Video Action Recognition [63.95111791861103]
  既存の方法は、訓練済みの画像テキストモデルをビデオ領域に適応させるのが一般的である。 我々は、人間の事前知識によるテキスト埋め込みの強化が、オープン語彙のビデオ行動認識の鍵となると論じている。 提案手法は,新たなSOTA性能を設定できるだけでなく,解釈性にも優れる。
  論文  参考訳（メタデータ） (2023-12-04T02:31:38Z)
• FuseCap: Leveraging Large Language Models for Enriched Fused Image Captions [11.274127953112574]
  本稿では,「凍った」視覚専門家を用いて,既存のキャプションを視覚的詳細で拡張するための自動アプローチを提案する。 提案手法であるFuseCapは,そのような視覚専門家の出力を,大規模言語モデルを用いて原文のキャプションと融合する。 私たちはこの大規模な画像キャプチャーペアのデータセットをコミュニティ向けにリリースします。
  論文  参考訳（メタデータ） (2023-05-28T13:16:03Z)
• Generating image captions with external encyclopedic knowledge [1.452875650827562]
  我々は、画像固有の百科事典データを広範囲に活用するエンドツーエンドのキャプション生成システムを構築した。 われわれのアプローチは、画像位置を用いて、外部知識ベースで関連するオープンドメインの事実を識別する新しい方法を含む。 我々のシステムは、自然に生成された知識に富んだキャプションを持つ新しいデータセットで訓練され、テストされている。
  論文  参考訳（メタデータ） (2022-10-10T16:09:21Z)
• Retrieval-Augmented Transformer for Image Captioning [51.79146669195357]
  我々は、kNNメモリを用いた画像キャプション手法を開発し、外部コーパスから知識を抽出して生成プロセスを支援する。 我々のアーキテクチャは、視覚的類似性に基づく知識検索と、識別可能なエンコーダと、トークンを予測するためにkNN拡張アテンション層を組み合わせる。 COCOデータセットで実施した実験結果は、明示的な外部メモリを利用することで、生成プロセスの助けとなり、キャプションの品質が向上することを示した。
  論文  参考訳（メタデータ） (2022-07-26T19:35:49Z)
• Neuro-Symbolic Representations for Video Captioning: A Case for Leveraging Inductive Biases for Vision and Language [148.0843278195794]
  ビデオキャプションのためのマルチモーダルなニューラルシンボリック表現を学習するための新しいモデルアーキテクチャを提案する。 本手法では,ビデオ間の関係を学習する辞書学習手法と,そのペアによるテキスト記述を用いる。
  論文  参考訳（メタデータ） (2020-11-18T20:21:19Z)
• Improving Image Captioning with Better Use of Captions [65.39641077768488]
  本稿では,画像表現とキャプション生成の両方を強化するために,キャプションで利用可能なセマンティクスをよりよく探求するための新しい画像キャプションアーキテクチャを提案する。 我々のモデルはまず,弱教師付きマルチインスタンス学習を用いて,有益な帰納バイアスをもたらすキャプション誘導型視覚関係グラフを構築した。 生成期間中、このモデルは、単語とオブジェクト/述語タグのシーケンスを共同で予測するために、マルチタスク学習を用いた視覚関係をさらに取り入れる。
  論文  参考訳（メタデータ） (2020-06-21T14:10:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。