論文の概要: VisChronos: Revolutionizing Image Captioning Through Real-Life Events
- arxiv url: http://arxiv.org/abs/2606.24058v1
- Date: Tue, 23 Jun 2026 02:05:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-24 22:16:48.729995
- Title: VisChronos: Revolutionizing Image Captioning Through Real-Life Events
- Title（参考訳）: VisChronos:実生活のイベントを通じて、画像のキャプションを革命させる
- Authors: Phuc-Tan Nguyen, Hieu Nguyen, Minh-Triet Tran, Trung-Nghia Le,
- Abstract要約: 大規模言語モデルと高密度キャプションモデルを用いて,1つの入力画像から実生活事象を識別・記述する新しいフレームワークであるVisChronosを提案する。
本フレームワークは,詳細なイベント記述を自動的に生成し,生成したキャプションの記述品質と文脈的関連性を高める。
- 参考スコア（独自算出の注目度）: 12.417190439711526
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: This paper aims to bridge the semantic gap between visual content and natural language understanding by leveraging historical events in the real world as a source of knowledge for caption generation. We propose VisChronos, a novel framework that utilizes large language models and dense captioning models to identify and describe real-life events from a single input image. Our framework can automatically generate detailed and context-aware event descriptions, enhancing the descriptive quality and contextual relevance of generated captions to address the limitations of traditional methods in capturing contextual narratives. Furthermore, we introduce a new dataset, EventCap (https://zenodo.org/records/14004909), specifically constructed using the proposed framework, designed to enhance the model's ability to identify and understand complex events. The user study demonstrates the efficacy of our solution in generating accurate, coherent, and event-focused descriptions, paving the way for future research in event-centric image understanding.
- Abstract（参考訳）: 本稿では,実世界の歴史的出来事をキャプション生成の知識源として活用することで,視覚内容と自然言語理解のセマンティックギャップを埋めることを目的とする。
大規模言語モデルと高密度キャプションモデルを用いて,1つの入力画像から実生活事象を識別・記述する新しいフレームワークであるVisChronosを提案する。
本フレームワークは,文脈記述における従来の手法の限界に対処するため,記述品質と文脈関連性を向上し,詳細かつ文脈対応のイベント記述を自動生成する。
さらに、提案フレームワークを使用して構築された新しいデータセットであるEventCap (https://zenodo.org/records/14004909)を導入し、複雑なイベントを識別および理解するモデルの能力を高めるように設計された。
ユーザスタディは、正確で一貫性があり、イベントに焦点を当てた説明を生成する上で、私たちのソリューションの有効性を実証し、イベント中心の画像理解における将来の研究の道を開く。
関連論文リスト
- Informative Text-Image Alignment for Visual Affordance Learning with Foundation Models [13.874282137468517]
本稿では,機能レベルでのテキスト画像のアライメントを実現するために,情報に基づく制約を伴ってテキスト誘導型アプライアンス学習のためのフレームワークを提案する。
具体的には、適切なテキストプロンプトとタスク指向の視覚的特徴を同時に学習するのに役立つ割高な相互情報制約を設計する。
さらに,対象物の視覚的特徴と属するカテゴリのテキスト的特徴との間の相互情報を最大化するオブジェクトレベルの情報制約を提案する。
論文 参考訳（メタデータ） (2025-09-21T13:21:16Z) - SmartCLIP: Modular Vision-language Alignment with Identification Guarantees [59.16312652369709]
Contrastive Language-Image Pre-Traiing (CLIP)citepradford2021 Learningは、コンピュータビジョンとマルチモーダル学習において重要なモデルとして登場した。
CLIPは、多くの画像テキストデータセットにおける潜在的な情報ミスアライメントに苦労し、絡み合った表現に悩まされている。
モジュラー方式で、最も関連性の高い視覚的およびテキスト的表現を特定し、調整する新しいアプローチである。
論文 参考訳（メタデータ） (2025-07-29T22:26:20Z) - VinaBench: Benchmark for Faithful and Consistent Visual Narratives [29.111073358773698]
忠実なビジュアルな物語を生み出すという課題に対処する新しいベンチマークであるVinaBenchを提案する。
以上の結果から,VinaBenchの知識制約による学習は,生成した視覚的物語の忠実性と結束性を効果的に向上させることが示された。
論文 参考訳（メタデータ） (2025-03-26T18:00:03Z) - Towards Retrieval-Augmented Architectures for Image Captioning [81.11529834508424]
本研究は,外部kNNメモリを用いた画像キャプションモデルの構築に向けた新しい手法を提案する。
具体的には、視覚的類似性に基づく知識検索コンポーネントを組み込んだ2つのモデル変種を提案する。
我々はCOCOデータセットとnocapsデータセットに対する我々のアプローチを実験的に検証し、明示的な外部メモリを組み込むことでキャプションの品質を著しく向上させることができることを示した。
論文 参考訳（メタデータ） (2024-05-21T18:02:07Z) - CapText: Large Language Model-based Caption Generation From Image
Context and Description [0.0]
テキスト記述と文脈のみからキャプションを生成する新しいアプローチを提案し,評価する。
提案手法は,OSCAR-VinVL などの最先端画像テキストアライメントモデルにおいて,CIDEr メトリック上でのタスクにおいて優れる。
論文 参考訳（メタデータ） (2023-06-01T02:40:44Z) - Word-Level Fine-Grained Story Visualization [58.16484259508973]
ストーリービジュアライゼーションは、動的シーンやキャラクターをまたいだグローバルな一貫性を備えた多文ストーリーで各文をナレーションする一連の画像を生成することを目的としている。
現在の作業は画像の品質と一貫性に苦慮しており、追加のセマンティック情報や補助的なキャプションネットワークに依存している。
まず,全ての物語文からの単語情報を取り入れた新しい文表現を導入し,不整合問題を緩和する。
そこで本稿では,画像の質とストーリーの整合性を改善するために,融合機能を備えた新たな識別器を提案する。
論文 参考訳（メタデータ） (2022-08-03T21:01:47Z) - CLIP-Event: Connecting Text and Images with Event Structures [123.31452120399827]
視覚言語事前学習モデルを適用したコントラスト学習フレームワークを提案する。
我々は、イベント構造知識を得るために、テキスト情報抽出技術を利用する。
実験により、ゼロショットCLIP-Eventは引数抽出において最先端の教師付きモデルよりも優れていることが示された。
論文 参考訳（メタデータ） (2022-01-13T17:03:57Z) - Matching Visual Features to Hierarchical Semantic Topics for Image
Paragraph Captioning [50.08729005865331]
本稿では,階層的トピック誘導画像段落生成フレームワークを開発した。
複数の抽象レベルでの画像とテキストの相関をキャプチャするために、変分推論ネットワークを設計します。
段落生成を導くために、学習した階層的トピックと視覚的特徴を言語モデルに統合する。
論文 参考訳（メタデータ） (2021-05-10T06:55:39Z) - Improving Image Captioning with Better Use of Captions [65.39641077768488]
本稿では,画像表現とキャプション生成の両方を強化するために,キャプションで利用可能なセマンティクスをよりよく探求するための新しい画像キャプションアーキテクチャを提案する。
我々のモデルはまず,弱教師付きマルチインスタンス学習を用いて,有益な帰納バイアスをもたらすキャプション誘導型視覚関係グラフを構築した。
生成期間中、このモデルは、単語とオブジェクト/述語タグのシーケンスを共同で予測するために、マルチタスク学習を用いた視覚関係をさらに取り入れる。
論文 参考訳（メタデータ） (2020-06-21T14:10:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。