論文の概要: MIRCaps: A Large-Scale Mixed-Domain Dataset with Image-Level and Region-Level Captions for Fine-Grained Vision-Language Learning

• arxiv url: http://arxiv.org/abs/2606.21419v1
• Date: Fri, 19 Jun 2026 13:39:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 13:34:36.693312
• Title: MIRCaps: A Large-Scale Mixed-Domain Dataset with Image-Level and Region-Level Captions for Fine-Grained Vision-Language Learning
• Title（参考訳）: MIRCaps: ビジュアルランゲージ学習のための画像レベルと領域レベルキャプションを備えた大規模混合ドメインデータセット
• Authors: Arlindo Luciano Tulumba Roberto, Hyungjoon Kim,
• Abstract要約: このデータセットは141,364のイメージ、981,947のイメージレベルのキャプション、1,742,264のリージョンレベルのキャプション、1,391,779のバウンディングボックスアノテーションで構成されている。 各画像は、シーン全体の異なる側面を記述する平均7つの画像レベルのキャプションに関連付けられている。 本稿では、画像キャプションとオブジェクト検出という2つの重要な下流タスクにおけるデータセットの有効性を示す。
• 参考スコア（独自算出の注目度）: 0.14323566945483493
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite recent progress in Vision-Language Models (VLMs), mixed-domain image-caption datasets for both general-purpose and CCTV-based video surveillance systems remain limited. To address this gap, we introduce a large-scale multimodal dataset comprising 141,364 images, 981,947 image-level captions, 1,742,264 region-level captions, and 1,391,779 bounding box annotations. Each image is associated with an average of seven image-level captions describing different aspects of the overall scene, as well as seven region-level captions for each annotated bounding box. These complementary caption types are designed to help VLMs learn fine-grained visual attributes, including object categories, estimated sizes, colors, actions, states, and surrounding environmental context. We demonstrate the effectiveness of the dataset on two important downstream tasks: image captioning and object detection. Experimental results show that lightweight VLMs, including SmolVLM-256M-Instruct, BLIP, BLIP2, and Qwen2.5-VL 3B-Instruct, can be effectively fine-tuned using our dataset. Our dataset and code are publicly available at https://zenodo.org/records/20418601.
• Abstract（参考訳）: 近年のVLM(Vision-Language Models)の進歩にもかかわらず、汎用およびCCTVベースのビデオ監視システム用の混合ドメイン画像キャプチャデータセットは限定的のままである。 このギャップに対処するため,141,364イメージ,981,947イメージレベルのキャプション,1,742,264リージョンレベルのキャプション,1,391,779境界ボックスアノテーションからなる大規模マルチモーダルデータセットを導入した。 各画像には、シーン全体の異なる側面を記述した平均7つの画像レベルのキャプションと、注釈付きバウンディングボックスごとに7つの地域レベルのキャプションが関連付けられている。 これらの補完的なキャプションタイプは、VLMがオブジェクトカテゴリ、推定サイズ、色、アクション、状態、周囲の環境コンテキストなど、きめ細かい視覚特性を学ぶのに役立つように設計されている。 本稿では、画像キャプションとオブジェクト検出という2つの重要な下流タスクにおけるデータセットの有効性を示す。 実験結果から,SmolVLM-256M-インストラクト,BLIP,BLIP2,Qwen2.5-VL 3B-インストラクトなどの軽量VLMを,データセットを用いて効果的に微調整できることが示唆された。 データセットとコードはhttps://zenodo.org/records/20418601で公開されています。

関連論文リスト

• DenseWorld-1M: Towards Detailed Dense Grounded Caption in the Real World [68.39362698871503]
  我々はDenseWorld-1Mを紹介した。 オープンワールド認識,詳細なオブジェクトキャプション生成,高密度キャプションマージを含む3段階ラベリングパイプラインを設計する。 ラベル付けプロセスの高速化とキャプション品質の向上を目的として, 詳細領域キャプションモデルと空間キャプションマージモデルという2つのVLMモデルを提案する。
  論文  参考訳（メタデータ） (2025-06-30T17:51:25Z)
• VisCon-100K: Leveraging Contextual Web Data for Fine-tuning Vision Language Models [0.351124620232225]
  我々は、インターリーブされた画像テキストWebドキュメントから派生した新しいデータセットVisCon-100Kを紹介する。 提案手法では,45KのWebドキュメントをOBELICSデータセットから100Kの画像会話サンプルに変換する。 GPT-4V を用いて画像・コンテキストキャプションと OpenChat 3.5 モデルを生成し,これらのキャプションを多種多様な自由形式の質問応答対に変換する。
  論文  参考訳（メタデータ） (2025-02-14T15:59:33Z)
• Benchmarking Large Vision-Language Models via Directed Scene Graph for Comprehensive Image Captioning [77.2852342808769]
  本稿では、シーングラフビューから視覚的コンテキストを評価するために、CompreCapと呼ばれる詳細なキャプションベンチマークを導入する。 画像は、まず、共通オブジェクトの語彙に従って意味的に意味のある領域に手動で分割し、また、これらすべての領域内のオブジェクトの属性を識別する。 そして、これらのオブジェクトの方向関係ラベルに注釈を付け、画像のリッチな構成情報を十分にエンコードできる方向のシーングラフを構成する。
  論文  参考訳（メタデータ） (2024-12-11T18:37:42Z)
• SOVC: Subject-Oriented Video Captioning [59.04029220586337]
  本稿では,ビデオキャプションタスクであるSOVC(Subject-Oriented Video Captioning)を提案する。 この課題を支援するために、広く使われている2つのビデオキャプションデータセットに基づいて、2つの主観的ビデオキャプションデータセットを構築した。
  論文  参考訳（メタデータ） (2023-12-20T17:44:32Z)
• MLLMs-Augmented Visual-Language Representation Learning [70.5293060238008]
  MLLM(Multi-modal Large Language Models)が視覚言語表現学習を向上させることを実証した。 本手法は単純で,MLLMを用いて画像毎に複数のキャプションを拡張できる。 拡張キャプションの品質と可用性を維持するために,テキストシーリングを提案する。
  論文  参考訳（メタデータ） (2023-11-30T18:05:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。