論文の概要: FINECAPTION: Compositional Image Captioning Focusing on Wherever You Want at Any Granularity

• arxiv url: http://arxiv.org/abs/2411.15411v1
• Date: Sat, 23 Nov 2024 02:20:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:21:20.823404
• Title: FINECAPTION: Compositional Image Captioning Focusing on Wherever You Want at Any Granularity
• Title（参考訳）: FINECAPTION:どんな粒度でも好きなところを撮影できるコンピレーション・イメージ・キャプション
• Authors: Hang Hua, Qing Liu, Lingzhi Zhang, Jing Shi, Zhifei Zhang, Yilin Wang, Jianming Zhang, Jiebo Luo,
• Abstract要約: Fine CapTIONは、任意のマスクを参照入力として認識し、異なるレベルの合成画像キャプションのための高解像度画像を処理する新しいVLMである。 本研究では,多粒領域合成画像キャプションのための新しいデータセットであるコンポジションCAPを紹介し,コンポジション属性対応地域画像キャプションの課題を紹介した。
• 参考スコア（独自算出の注目度）: 68.15983300711355
• License:
• Abstract: The advent of large Vision-Language Models (VLMs) has significantly advanced multimodal tasks, enabling more sophisticated and accurate reasoning across various applications, including image and video captioning, visual question answering, and cross-modal retrieval. Despite their superior capabilities, VLMs struggle with fine-grained image regional composition information perception. Specifically, they have difficulty accurately aligning the segmentation masks with the corresponding semantics and precisely describing the compositional aspects of the referred regions. However, compositionality - the ability to understand and generate novel combinations of known visual and textual components - is critical for facilitating coherent reasoning and understanding across modalities by VLMs. To address this issue, we propose FINECAPTION, a novel VLM that can recognize arbitrary masks as referential inputs and process high-resolution images for compositional image captioning at different granularity levels. To support this endeavor, we introduce COMPOSITIONCAP, a new dataset for multi-grained region compositional image captioning, which introduces the task of compositional attribute-aware regional image captioning. Empirical results demonstrate the effectiveness of our proposed model compared to other state-of-the-art VLMs. Additionally, we analyze the capabilities of current VLMs in recognizing various visual prompts for compositional region image captioning, highlighting areas for improvement in VLM design and training.
• Abstract（参考訳）: VLM(Varge Vision-Language Models)の出現は、画像やビデオのキャプション、視覚的質問応答、相互モーダル検索など、様々なアプリケーションにおいて、より高度で正確な推論を可能にした。 優れた能力にもかかわらず、VLMはきめ細かい画像合成情報知覚に苦慮している。 具体的には、セグメンテーションマスクと対応する意味論を正確に整合させることが困難であり、参照領域の構成的側面を正確に記述することが困難である。 しかしながら、構成性 – 既知の視覚的およびテキスト的コンポーネントの新たな組み合わせを理解し、生成する能力 – は、VLMによるモダリティ間の一貫性のある推論と理解を促進するために重要である。 この問題に対処するために、任意のマスクを参照入力として認識し、異なる粒度レベルで合成画像キャプションのための高解像度画像を処理できる新しいVLMであるFINECAPTIONを提案する。 この取り組みを支援するために,多粒領域合成画像キャプションのための新しいデータセットであるコンポジションCAPを導入し,コンポジション属性認識地域画像キャプションのタスクを導入する。 実験により,提案手法の有効性を他の最先端VLMと比較した。 さらに,合成領域画像キャプションの様々な視覚的プロンプトの認識における現在のVLMの機能の解析を行い,VLMの設計と訓練を改善する領域の強調を行った。

関連論文リスト

• MMCOMPOSITION: Revisiting the Compositionality of Pre-trained Vision-Language Models [85.10375181040436]
  本稿では,視覚言語モデルを包括的かつ正確に評価する新しい人間アノテーションベンチマークMMCOMPOSITIONを提案する。 GPT-4oのコンポジション性は,最も優れたオープンソースモデルよりも劣ることがわかった。
  論文  参考訳（メタデータ） (2024-10-13T05:35:09Z)
• ComAlign: Compositional Alignment in Vision-Language Models [2.3250871476216814]
  コンポジションアライメント(ComAlign)を導入し、テキストと画像コンポーネントのより正確な対応を見出す。 本手法は, テキストのモダリティから抽出した構成構造も画像のモダリティに残さなければならないことを強調する。 私たちは、小さなデータセットを使用して、既存のビジュアルおよび言語エンコーダの上に横たわる軽量ネットワークをトレーニングします。
  論文  参考訳（メタデータ） (2024-09-12T16:46:41Z)
• Rethinking Visual Prompting for Multimodal Large Language Models with External Knowledge [76.45868419402265]
  マルチモーダルな大言語モデル(MLLM)は、膨大な高品質の画像テキストデータセットをトレーニングすることで、大きな進歩を遂げている。 しかし、マスクのような細粒度や空間的に密集した情報をテキストで明示的に伝達することの難しさは、MLLMにとって困難である。 本稿では、特殊な視覚モデルから派生した細粒度の外部知識をMLLMに統合する新しい視覚的プロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-07-05T17:43:30Z)
• TextCoT: Zoom In for Enhanced Multimodal Text-Rich Image Understanding [91.30065932213758]
  大規模マルチモーダルモデル(LMM)は、その顕著な推論能力を活用することを目的とした研究の急増を引き起こした。 テキストリッチな画像理解のための新しいChain-of-ThoughtフレームワークであるTextCoTを提案する。 私たちのメソッドは追加のトレーニングが不要で、即時プラグアンドプレイ機能を提供します。
  論文  参考訳（メタデータ） (2024-04-15T13:54:35Z)
• Enhancing Visual Document Understanding with Contrastive Learning in Large Visual-Language Models [56.76307866160105]
  文書オブジェクト協調学習(Document Object Contrastive Learning, DoCo)と呼ばれる対照的な学習フレームワークを提案する。 DoCoは補助的なマルチモーダルエンコーダを利用して文書オブジェクトの特徴を取得し、それをLVLM(Large Visual-Language Models)の視覚エンコーダによって生成された視覚的特徴に合わせる。 提案するDoCoは,様々なLVLMの事前学習において,推論過程における計算複雑性の増大を招くことなく,プラグイン・アンド・プレイの事前学習手法として機能することが実証された。
  論文  参考訳（メタデータ） (2024-02-29T10:17:27Z)
• Incorporating Structured Representations into Pretrained Vision & Language Models Using Scene Graphs [79.64891686479213]
  シーングラフ(SG)から学習する場合、視覚と言語モデル(VLM)を改善することができることを示す。 視覚面では、SG情報を予測するために訓練されたイメージトランスフォーマーに特別な「SG成分」を組み込む一方、テキスト側では、SGを使ってきめ細かなキャプションを生成する。 提案手法は,ZS能力を軽度に低下させるだけで,複数のデータセット上でのVLMの性能を向上する。
  論文  参考訳（メタデータ） (2023-05-10T17:52:26Z)
• Multi-Modal Representation Learning with Text-Driven Soft Masks [48.19806080407593]
  自己教師型学習フレームワークにおける視覚言語表現学習手法を提案する。 画像中の領域をソフトメイキングすることで、画像テキストマッチング(ITM)タスクの多様な特徴を生成する。 マルチモーダルエンコーダを用いて単語条件の視覚的注意を計算し,各単語に関連する領域を同定する。
  論文  参考訳（メタデータ） (2023-04-03T05:07:49Z)
• VLMAE: Vision-Language Masked Autoencoder [21.97700040013084]
  視覚言語事前学習のための視覚言語マスク付きオートエンコーダフレームワーク(VLMAE)を提案する。 VLMAEは視覚的生成学習を採用しており、モデルが細粒度で偏りのない特徴を取得するのを容易にする。
  論文  参考訳（メタデータ） (2022-08-19T14:39:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。