論文の概要: Hierarchical Multi-Modal Retrieval for Knowledge-Grounded News Image Captioning

• arxiv url: http://arxiv.org/abs/2606.18553v1
• Date: Wed, 17 Jun 2026 00:08:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-18 17:16:50.938096
• Title: Hierarchical Multi-Modal Retrieval for Knowledge-Grounded News Image Captioning
• Title（参考訳）: 知識付きニュース画像キャプションのための階層的マルチモーダル検索
• Authors: Minh-Loi Nguyen, Xuan-Vu Le, Long-Bao Nguyen, Hoang-Bach Ngo, Trung-Nghia Le,
• Abstract要約: より深い洞察を持つキャプションを生成する検索強化画像キャプションフレームワークを提案する。 本手法は,モノリシックテキストエンティティを超越した階層的マルチモーダル記事検索機構を特徴とする。 私たちはACM Multimedia EVENTA 2025 Challengeに参加し、総合スコア0.2824で5位を獲得しました。
• 参考スコア（独自算出の注目度）: 2.892597015242314
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Traditional image captioning methods often struggle to generate comprehensive, context-rich descriptions, especially for details not directly observable from visual cues. To overcome this, we propose a novel retrieval-augmented image captioning framework that generates captions with deeper insights, such as object attributes, event context, and underlying significance, by leveraging external knowledge. Our approach features a hierarchical multi-modal article retrieval mechanism that moves beyond monolithic text entities. This retrieval considers article structure-aware features, including weighted textual components (e.g., headlines, body sections) and visual placement patterns, alongside multi-faceted similarity computations (content--visual, visual--visual, and discourse positioning). A subsequent contextual relevance refinement stage further enhances the retrieved information. The retrieved articles then serve as the knowledge base for caption generation: first, a VLM generates a concise image description; second, we segment relevant information from the retrieved articles based on this description; and finally, an LLM utilizes both the description and extracted knowledge to generate a comprehensive, contextually detailed caption. We participated in the ACM Multimedia EVENTA 2025 Challenge and achieved 5th place with an overall score of 0.2824 on the private test set of the OpenEvent-V1 dataset. Source code is publicly released at https://github.com/mf0212/EVENTA-Challange.
• Abstract（参考訳）: 伝統的な画像キャプション法は、特に視覚的手がかりから直接観察できない詳細について、包括的で文脈に富んだ記述を生成するのに苦労することが多い。 これを解決するために,オブジェクト属性やイベントコンテキスト,基本的な意味といった深い洞察を持つキャプションを生成する,検索強化画像キャプションフレームワークを提案する。 本手法は,モノリシックテキストエンティティを超越した階層的マルチモーダル記事検索機構を特徴とする。 この検索は、重み付けされたテキスト成分(見出し、ボディセクションなど)や視覚配置パターンを含む記事構造を、多面的類似性計算(コンテンツ-視覚、視覚-視覚、談話の位置決め)と共に考慮する。 その後の文脈関連改善段階は、検索された情報をさらに強化する。 次に、検索された記事は、キャプション生成のための知識ベースとして機能し、まず、VLMが簡潔な画像記述を生成し、次に、この記述に基づいて、検索した記事から関連情報を分割し、最後に、LLMは、記述と抽出された知識の両方を利用して、包括的で文脈的に詳細なキャプションを生成する。 ACM Multimedia EVENTA 2025 Challengeに参加し、OpenEvent-V1データセットのプライベートテストセットで総合スコア0.2824で5位を獲得しました。 ソースコードはhttps://github.com/mf0212/EVENTA-Challangeで公開されている。

関連論文リスト

• Beyond Vision: Contextually Enriched Image Captioning with Multi-Modal Retrieva [0.0]
  実世界のイメージキャプションは文脈の深さを欠いていることが多い。 このギャップは、ジャーナリズム、教育、デジタルアーカイブのような領域における画像理解の有効性を制限する。 視覚入力を外部のテキスト知識で拡張するマルチモーダルパイプラインを提案する。
  論文  参考訳（メタデータ） (2025-12-23T04:21:15Z)
• ReCap: Event-Aware Image Captioning with Article Retrieval and Semantic Gaussian Normalization [9.914251544971686]
  ReCapは、イベント強化された画像検索とキャプションのための新しいパイプラインである。 関連する記事からより広い文脈情報を取り入れ、物語に富んだキャプションを生成する。 我々のアプローチは、標準的な視覚言語モデルの限界に対処する。
  論文  参考訳（メタデータ） (2025-09-01T08:48:33Z)
• Benchmarking Large Vision-Language Models via Directed Scene Graph for Comprehensive Image Captioning [77.2852342808769]
  本稿では、シーングラフビューから視覚的コンテキストを評価するために、CompreCapと呼ばれる詳細なキャプションベンチマークを導入する。 画像は、まず、共通オブジェクトの語彙に従って意味的に意味のある領域に手動で分割し、また、これらすべての領域内のオブジェクトの属性を識別する。 そして、これらのオブジェクトの方向関係ラベルに注釈を付け、画像のリッチな構成情報を十分にエンコードできる方向のシーングラフを構成する。
  論文  参考訳（メタデータ） (2024-12-11T18:37:42Z)
• FLAIR: VLM with Fine-grained Language-informed Image Representations [49.2684130383925]
  FLAIRは、局所的な画像埋め込みを学ぶために、長く詳細な画像記述を利用するアプローチである。 実験では,30M画像テキスト対を用いたFLAIRによる微細な視覚情報収集の有効性を実証した。
  論文  参考訳（メタデータ） (2024-12-04T18:56:04Z)
• Vision-Aware Text Features in Referring Image Segmentation: From Object Understanding to Context Understanding [26.768147543628096]
  本稿では,人間の認知プロセスに触発された対象と文脈の理解を強調する新しい枠組みを提案する。 提案手法は,3つのベンチマークデータセットにおいて,大幅な性能向上を実現する。
  論文  参考訳（メタデータ） (2024-04-12T16:38:48Z)
• VLLMs Provide Better Context for Emotion Understanding Through Common Sense Reasoning [66.23296689828152]
  我々は、視覚・言語モデルの機能を活用し、文脈内感情分類を強化する。 まず、VLLMに対して、視覚的文脈に関連して、被験者の明らかな感情を自然言語で記述するように促す。 第二に、記述は視覚入力とともに、トランスフォーマーベースのアーキテクチャのトレーニングに使用される。
  論文  参考訳（メタデータ） (2024-04-10T15:09:15Z)
• Generating image captions with external encyclopedic knowledge [1.452875650827562]
  我々は、画像固有の百科事典データを広範囲に活用するエンドツーエンドのキャプション生成システムを構築した。 われわれのアプローチは、画像位置を用いて、外部知識ベースで関連するオープンドメインの事実を識別する新しい方法を含む。 我々のシステムは、自然に生成された知識に富んだキャプションを持つ新しいデータセットで訓練され、テストされている。
  論文  参考訳（メタデータ） (2022-10-10T16:09:21Z)
• NewsStories: Illustrating articles with visual summaries [49.924916589209374]
  我々は,3300万記事,2200万画像,100万ビデオを含む大規模マルチモーダルデータセットを提案する。 現状の画像テキストアライメント手法は、複数の画像を持つ長い物語に対して堅牢ではないことを示す。 本稿では,GoodNewsデータセット上で,ゼロショット画像セット検索において,これらの手法を10%向上させる直感的なベースラインを提案する。
  論文  参考訳（メタデータ） (2022-07-26T17:34:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。