論文の概要: MIRCaps: A Large-Scale Mixed-Domain Dataset with Image-Level and Region-Level Captions for Fine-Grained Vision-Language Learning
- arxiv url: http://arxiv.org/abs/2606.21419v1
- Date: Fri, 19 Jun 2026 13:39:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 13:34:36.693312
- Title: MIRCaps: A Large-Scale Mixed-Domain Dataset with Image-Level and Region-Level Captions for Fine-Grained Vision-Language Learning
- Title（参考訳）: MIRCaps: ビジュアルランゲージ学習のための画像レベルと領域レベルキャプションを備えた大規模混合ドメインデータセット
- Abstract要約: このデータセットは141,364のイメージ、981,947のイメージレベルのキャプション、1,742,264のリージョンレベルのキャプション、1,391,779のバウンディングボックスアノテーションで構成されている。
各画像は、シーン全体の異なる側面を記述する平均7つの画像レベルのキャプションに関連付けられている。
本稿では、画像キャプションとオブジェクト検出という2つの重要な下流タスクにおけるデータセットの有効性を示す。
- 参考スコア（独自算出の注目度）: 0.14323566945483493
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite recent progress in Vision-Language Models (VLMs), mixed-domain image-caption datasets for both general-purpose and CCTV-based video surveillance systems remain limited. To address this gap, we introduce a large-scale multimodal dataset comprising 141,364 images, 981,947 image-level captions, 1,742,264 region-level captions, and 1,391,779 bounding box annotations. Each image is associated with an average of seven image-level captions describing different aspects of the overall scene, as well as seven region-level captions for each annotated bounding box. These complementary caption types are designed to help VLMs learn fine-grained visual attributes, including object categories, estimated sizes, colors, actions, states, and surrounding environmental context. We demonstrate the effectiveness of the dataset on two important downstream tasks: image captioning and object detection. Experimental results show that lightweight VLMs, including SmolVLM-256M-Instruct, BLIP, BLIP2, and Qwen2.5-VL 3B-Instruct, can be effectively fine-tuned using our dataset. Our dataset and code are publicly available at https://zenodo.org/records/20418601.
- Abstract（参考訳）: 近年のVLM(Vision-Language Models)の進歩にもかかわらず、汎用およびCCTVベースのビデオ監視システム用の混合ドメイン画像キャプチャデータセットは限定的のままである。
このギャップに対処するため,141,364イメージ,981,947イメージレベルのキャプション,1,742,264リージョンレベルのキャプション,1,391,779境界ボックスアノテーションからなる大規模マルチモーダルデータセットを導入した。
各画像には、シーン全体の異なる側面を記述した平均7つの画像レベルのキャプションと、注釈付きバウンディングボックスごとに7つの地域レベルのキャプションが関連付けられている。
これらの補完的なキャプションタイプは、VLMがオブジェクトカテゴリ、推定サイズ、色、アクション、状態、周囲の環境コンテキストなど、きめ細かい視覚特性を学ぶのに役立つように設計されている。
本稿では、画像キャプションとオブジェクト検出という2つの重要な下流タスクにおけるデータセットの有効性を示す。
実験結果から,SmolVLM-256M-インストラクト,BLIP,BLIP2,Qwen2.5-VL 3B-インストラクトなどの軽量VLMを,データセットを用いて効果的に微調整できることが示唆された。
データセットとコードはhttps://zenodo.org/records/20418601で公開されています。
関連論文リスト
- DenseWorld-1M: Towards Detailed Dense Grounded Caption in the Real World [68.39362698871503]
我々はDenseWorld-1Mを紹介した。
オープンワールド認識,詳細なオブジェクトキャプション生成,高密度キャプションマージを含む3段階ラベリングパイプラインを設計する。
ラベル付けプロセスの高速化とキャプション品質の向上を目的として, 詳細領域キャプションモデルと空間キャプションマージモデルという2つのVLMモデルを提案する。
論文 参考訳（メタデータ） (2025-06-30T17:51:25Z) - Perceive Anything: Recognize, Explain, Caption, and Segment Anything in Images and Videos [53.723410664944566]
本稿では,画像やビデオの総合的な領域レベルの視覚的理解のためのフレームワークであるPerceive Anything Model(PAM)を提案する。
提案手法は,Large Language Models (LLMs) を統合することで,強力なセグメンテーションモデルSAM 2を拡張し,オブジェクトセグメンテーションの同時実現を可能にする。
SAM 2のリッチな視覚的特徴をマルチモーダルトークンに効率的に変換するために、Semantic Perceiverという重要なコンポーネントが導入されている。
論文 参考訳（メタデータ） (2025-06-05T17:51:39Z) - VisCon-100K: Leveraging Contextual Web Data for Fine-tuning Vision Language Models [0.351124620232225]
我々は、インターリーブされた画像テキストWebドキュメントから派生した新しいデータセットVisCon-100Kを紹介する。
提案手法では,45KのWebドキュメントをOBELICSデータセットから100Kの画像会話サンプルに変換する。
GPT-4V を用いて画像・コンテキストキャプションと OpenChat 3.5 モデルを生成し,これらのキャプションを多種多様な自由形式の質問応答対に変換する。
論文 参考訳（メタデータ） (2025-02-14T15:59:33Z) - Benchmarking Large Vision-Language Models via Directed Scene Graph for Comprehensive Image Captioning [77.2852342808769]
本稿では、シーングラフビューから視覚的コンテキストを評価するために、CompreCapと呼ばれる詳細なキャプションベンチマークを導入する。
画像は、まず、共通オブジェクトの語彙に従って意味的に意味のある領域に手動で分割し、また、これらすべての領域内のオブジェクトの属性を識別する。
そして、これらのオブジェクトの方向関係ラベルに注釈を付け、画像のリッチな構成情報を十分にエンコードできる方向のシーングラフを構成する。
論文 参考訳（メタデータ） (2024-12-11T18:37:42Z) - FLAIR: VLM with Fine-grained Language-informed Image Representations [49.2684130383925]
FLAIRは、局所的な画像埋め込みを学ぶために、長く詳細な画像記述を利用するアプローチである。
実験では,30M画像テキスト対を用いたFLAIRによる微細な視覚情報収集の有効性を実証した。
論文 参考訳（メタデータ） (2024-12-04T18:56:04Z) - Semantic Alignment for Multimodal Large Language Models [72.10272479476161]
多モード大言語モデル(SAM)のセマンティックアライメントについて紹介する。
画像間の双方向的意味指導を視覚的・視覚的抽出プロセスに組み込むことにより,コヒーレント解析のためのリンク情報の保存性を高めることを目的とする。
画像間の双方向的意味指導を視覚的・視覚的抽出プロセスに組み込むことにより,コヒーレント解析のためのリンク情報の保存性を高めることを目的とする。
論文 参考訳（メタデータ） (2024-08-23T06:48:46Z) - MMTrail: A Multimodal Trailer Video Dataset with Language and Music Descriptions [69.9122231800796]
MMTrailは,2000万回以上のトレーラークリップと視覚的キャプションを組み込んだ大規模マルチモーダルビデオ言語データセットである。
本稿では,27.1k時間以上のトレーラービデオで様々なモダリティアノテーションを実現するシステムキャプションフレームワークを提案する。
我々のデータセットは、大きめのマルチモーダル言語モデルトレーニングのためのパスを舗装する可能性がある。
論文 参考訳（メタデータ） (2024-07-30T16:43:24Z) - SOVC: Subject-Oriented Video Captioning [59.04029220586337]
本稿では,ビデオキャプションタスクであるSOVC(Subject-Oriented Video Captioning)を提案する。
この課題を支援するために、広く使われている2つのビデオキャプションデータセットに基づいて、2つの主観的ビデオキャプションデータセットを構築した。
論文 参考訳（メタデータ） (2023-12-20T17:44:32Z) - SkyScript: A Large and Semantically Diverse Vision-Language Dataset for
Remote Sensing [14.79627534702196]
我々は、29Kの異なるセマンティックタグを含む260万の画像テキストペアからなる、リモートセンシング画像のための視覚言語データセットを構築した。
このデータセット上で連続的な事前学習を行うことで、ゼロショットシーン分類において平均精度が6.2%のベースラインモデルを超えるVLMが得られる。
また、オブジェクト属性の細粒度分類とクロスモーダル検索のためのゼロショット転送の能力を示す。
論文 参考訳（メタデータ） (2023-12-20T09:19:48Z) - MLLMs-Augmented Visual-Language Representation Learning [70.5293060238008]
MLLM(Multi-modal Large Language Models)が視覚言語表現学習を向上させることを実証した。
本手法は単純で,MLLMを用いて画像毎に複数のキャプションを拡張できる。
拡張キャプションの品質と可用性を維持するために,テキストシーリングを提案する。
論文 参考訳（メタデータ） (2023-11-30T18:05:52Z) - CapOnImage: Context-driven Dense-Captioning on Image [13.604173177437536]
画像上のキャプション(CapOnImage)と呼ばれる新しいタスクを導入し、コンテキスト情報に基づいて画像の異なる場所で高密度キャプションを生成する。
テキストと画像位置の対応を段階的に学習するマルチレベル事前学習タスクを備えたマルチモーダル事前学習モデルを提案する。
他の画像キャプションモデルと比較すると、キャプション精度と多様性の両面で最良の結果が得られる。
論文 参考訳（メタデータ） (2022-04-27T14:40:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。