論文の概要: CIAN: Multi-Stage Framework for Event-Enriched Image Captioning via Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2606.17430v1
• Date: Tue, 16 Jun 2026 02:24:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.218876
• Title: CIAN: Multi-Stage Framework for Event-Enriched Image Captioning via Retrieval-Augmented Generation
• Title（参考訳）: CIAN:Retrieval-Augmented Generationによるイベント強化イメージキャプションのためのマルチステージフレームワーク
• Authors: Trinh Thi Thu Hien, Trung-Nghia Le,
• Abstract要約: イベントリッチイメージキャプションは、可視コンテンツだけでなく、イベントのより広いコンテキストも記述している。 本研究では,外部の物語でキャプションを豊かにする多段階フレームワークであるContextual Image-Article Narrator (CIAN)を提案する。 CIANは、SigLIPを使用して関連する記事を取得し、それを要約して、LoRAファインチューニングされたQwenモデルでナラティブジェネレーションステージをガイドし、FluencyとCoherenceにN-GramベースのRefinementを適用する。
• 参考スコア（独自算出の注目度）: 3.8101824866013523
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Event-enriched image captioning describes not only visible content but also the broader context of events, including timing, location, and participants, capabilities missing in most pixel-bound models. We propose the Contextual Image-Article Narrator (CIAN), a multi-stage framework that enriches captions with external narratives. CIAN retrieves relevant articles using SigLIP, summarizes them to guide a Narrative Generation stage with a LoRA-fine-tuned Qwen model, and applies N-Gram-based Refinement for fluency and coherence. On the OpenEvents-V1 benchmark, CIAN achieves high retrieval performance (mAP 0.979) and improves caption quality, increasing CIDEr from 0.030 to 0.094. These results highlight the effectiveness of retrieval-augmented reasoning combined with linguistic refinement for generating context-aware, human-like captions.
• Abstract（参考訳）: イベントに富んだ画像キャプションは、可視コンテンツだけでなく、タイミング、位置、参加者を含むイベントのより広いコンテキストも記述している。 本研究では,外部の物語でキャプションを豊かにする多段階フレームワークであるContextual Image-Article Narrator (CIAN)を提案する。 CIANは、SigLIPを使用して関連する記事を取得し、それを要約して、LoRAファインチューニングされたQwenモデルでナラティブジェネレーションステージをガイドし、FluencyとCoherenceにN-GramベースのRefinementを適用する。 OpenEvents-V1ベンチマークでは、CIANは高い検索性能(mAP 0.979)を達成し、キャプションの品質を改善し、CIDErを0.030から0.094に向上させた。 これらの結果から,検索強化推論と言語改良を併用した文脈認識型人型キャプションの創出の有効性が示唆された。

関連論文リスト

• ReCap: Event-Aware Image Captioning with Article Retrieval and Semantic Gaussian Normalization [9.914251544971686]
  ReCapは、イベント強化された画像検索とキャプションのための新しいパイプラインである。 関連する記事からより広い文脈情報を取り入れ、物語に富んだキャプションを生成する。 我々のアプローチは、標準的な視覚言語モデルの限界に対処する。
  論文  参考訳（メタデータ） (2025-09-01T08:48:33Z)
• EVENT-Retriever: Event-Aware Multimodal Image Retrieval for Realistic Captions [11.853877966862086]
  自由形キャプションからのイベントベースの画像検索は重要な課題である。 本稿では,高密度な記事検索,イベント認識言語モデルの再ランク付け,効率的な画像収集を併用した多段階検索フレームワークを提案する。 本システムは,EVENTA 2025 Grand Challengeにおけるトラック2のプライベートテストセットにおいて,トップ1のスコアを達成している。
  論文  参考訳（メタデータ） (2025-08-31T09:03:25Z)
• Classifier-Guided Captioning Across Modalities [69.75111271002137]
  本稿では,音声キャプションにおける可聴性の獲得など,代替設定のセマンティクスにキャプションネットワークを適用する手法を提案する。 本フレームワークは, (i) 言語モデル(LM)を組み込んだ冷凍キャプションシステムと, (ii) キャプションシステムを案内するテキスト分類器の2つの主要コンポーネントから構成される。 特に、既存のゼロショット音声キャプションシステムと組み合わせることで、その品質を改善し、ゼロショット音声キャプションにおける最先端の性能を設定する。
  論文  参考訳（メタデータ） (2025-01-03T18:09:26Z)
• FLAIR: VLM with Fine-grained Language-informed Image Representations [49.2684130383925]
  FLAIRは、局所的な画像埋め込みを学ぶために、長く詳細な画像記述を利用するアプローチである。 実験では,30M画像テキスト対を用いたFLAIRによる微細な視覚情報収集の有効性を実証した。
  論文  参考訳（メタデータ） (2024-12-04T18:56:04Z)
• Towards Retrieval-Augmented Architectures for Image Captioning [81.11529834508424]
  本研究は,外部kNNメモリを用いた画像キャプションモデルの構築に向けた新しい手法を提案する。 具体的には、視覚的類似性に基づく知識検索コンポーネントを組み込んだ2つのモデル変種を提案する。 我々はCOCOデータセットとnocapsデータセットに対する我々のアプローチを実験的に検証し、明示的な外部メモリを組み込むことでキャプションの品質を著しく向上させることができることを示した。
  論文  参考訳（メタデータ） (2024-05-21T18:02:07Z)
• Mining Fine-Grained Image-Text Alignment for Zero-Shot Captioning via Text-Only Training [14.340740609933437]
  そこで本研究では,モダリティギャップを低減するために,テキストのみのトレーニングを施したゼロショット画像キャプションフレームワークを提案する。 特に,地域情報を活用するためのサブリージョン機能アグリゲーションを導入する。 フレームワークを拡張してゼロショットのVQAパイプラインを構築し、その汎用性を実証します。
  論文  参考訳（メタデータ） (2024-01-04T16:43:46Z)
• Retrieval-Augmented Transformer for Image Captioning [51.79146669195357]
  我々は、kNNメモリを用いた画像キャプション手法を開発し、外部コーパスから知識を抽出して生成プロセスを支援する。 我々のアーキテクチャは、視覚的類似性に基づく知識検索と、識別可能なエンコーダと、トークンを予測するためにkNN拡張アテンション層を組み合わせる。 COCOデータセットで実施した実験結果は、明示的な外部メモリを利用することで、生成プロセスの助けとなり、キャプションの品質が向上することを示した。
  論文  参考訳（メタデータ） (2022-07-26T19:35:49Z)
• CLIP-Event: Connecting Text and Images with Event Structures [123.31452120399827]
  視覚言語事前学習モデルを適用したコントラスト学習フレームワークを提案する。 我々は、イベント構造知識を得るために、テキスト情報抽出技術を利用する。 実験により、ゼロショットCLIP-Eventは引数抽出において最先端の教師付きモデルよりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-01-13T17:03:57Z)
• Improving Image Captioning with Better Use of Captions [65.39641077768488]
  本稿では,画像表現とキャプション生成の両方を強化するために,キャプションで利用可能なセマンティクスをよりよく探求するための新しい画像キャプションアーキテクチャを提案する。 我々のモデルはまず,弱教師付きマルチインスタンス学習を用いて,有益な帰納バイアスをもたらすキャプション誘導型視覚関係グラフを構築した。 生成期間中、このモデルは、単語とオブジェクト/述語タグのシーケンスを共同で予測するために、マルチタスク学習を用いた視覚関係をさらに取り入れる。
  論文  参考訳（メタデータ） (2020-06-21T14:10:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。