論文の概要: Contextual Object Detection with Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2305.18279v2
• Date: Mon, 12 Aug 2024 07:14:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-14 01:18:22.919789
• Title: Contextual Object Detection with Multimodal Large Language Models
• Title（参考訳）: マルチモーダル大言語モデルを用いた文脈オブジェクト検出
• Authors: Yuhang Zang, Wei Li, Jun Han, Kaiyang Zhou, Chen Change Loy,
• Abstract要約: 本稿では,コンテキストオブジェクト検出の新たな研究課題について紹介する。 言語クローゼテスト,視覚キャプション,質問応答の3つの代表的なシナリオについて検討した。 本稿では、視覚的コンテキストのエンドツーエンドの微分可能なモデリングが可能な統合マルチモーダルモデルContextDETを提案する。
• 参考スコア（独自算出の注目度）: 66.15566719178327
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent Multimodal Large Language Models (MLLMs) are remarkable in vision-language tasks, such as image captioning and question answering, but lack the essential perception ability, i.e., object detection. In this work, we address this limitation by introducing a novel research problem of contextual object detection -- understanding visible objects within different human-AI interactive contexts. Three representative scenarios are investigated, including the language cloze test, visual captioning, and question answering. Moreover, we present ContextDET, a unified multimodal model that is capable of end-to-end differentiable modeling of visual-language contexts, so as to locate, identify, and associate visual objects with language inputs for human-AI interaction. Our ContextDET involves three key submodels: (i) a visual encoder for extracting visual representations, (ii) a pre-trained LLM for multimodal context decoding, and (iii) a visual decoder for predicting bounding boxes given contextual object words. The new generate-then-detect framework enables us to detect object words within human vocabulary. Extensive experiments show the advantages of ContextDET on our proposed CODE benchmark, open-vocabulary detection, and referring image segmentation. Github: https://github.com/yuhangzang/ContextDET.
• Abstract（参考訳）: 近年のMLLM(Multimodal Large Language Models)は、画像キャプションや質問応答といった視覚言語タスクにおいて顕著であるが、本質的な知覚能力、すなわちオブジェクト検出に欠ける。 本研究では,人間とAIの対話的コンテキストにおける可視物体の理解という,コンテキストオブジェクト検出の新たな研究課題を導入することで,この制限に対処する。 言語クローゼテスト,視覚キャプション,質問応答の3つの代表的なシナリオについて検討した。 さらに、視覚的オブジェクトと人間のAIインタラクションのための言語入力を識別、識別、関連付けるために、視覚的コンテキストのエンドツーエンドで微分可能なモデリングが可能な統合マルチモーダルモデルであるContextDETを提案する。 ContextDETには3つの重要なサブモデルがあります。 一 視覚表現を抽出するための視覚エンコーダ (ii)マルチモーダルコンテキスト復号のための事前訓練LDM、及び 三 文脈オブジェクトワードを与えられた境界ボックスを予測する視覚デコーダ。 新しいジェネレーション・then-detectフレームワークにより,人間の語彙内で対象語を検出することができる。 大規模な実験により、提案したCODEベンチマークにおけるContextDETの利点、オープン語彙検出、参照画像セグメント化が示された。 Github:https://github.com/yuhangzang/ContextDET.com

関連論文リスト

• More Pictures Say More: Visual Intersection Network for Open Set Object Detection [4.206612461069489]
  オープンセットオブジェクト検出(VINO)のための強力なDETRモデルであるVisual Intersection Networkを導入する。 VINOは、すべての時間ステップにまたがるカテゴリのセマンティックな交差を保存するために、マルチイメージのビジュアルバンクを構築する。 提案手法は,対象カテゴリ意味論と領域意味論のより正確な一致を保証するとともに,事前学習時間とリソース要求を著しく低減する。
  論文  参考訳（メタデータ） (2024-08-26T05:52:35Z)
• Lyrics: Boosting Fine-grained Language-Vision Alignment and Comprehension via Semantic-aware Visual Objects [11.117055725415446]
  LVLM(Large Vision Language Models)は、様々な視覚言語対話シナリオにおいて、印象的なゼロショット機能を示す。 きめ細かい視覚オブジェクト検出がないことは、画像の詳細を理解するのを妨げ、不可分な視覚幻覚や事実的誤りを引き起こす。 リリックス(Lyrics)は、視覚言語アライメントを微粒なクロスモーダル協調からブートストラップする、新しいマルチモーダル事前学習および微調整パラダイムである。
  論文  参考訳（メタデータ） (2023-12-08T09:02:45Z)
• Exploring Multi-Modal Contextual Knowledge for Open-Vocabulary Object Detection [72.36017150922504]
  教師の融合変換器から学生検出器へ学習した文脈知識を伝達するためのマルチモーダルな文脈知識蒸留フレームワーク MMC-Det を提案する。 多様なマルチモーダルマスキング言語モデリングは、従来のマルチモーダルマスキング言語モデリング(MLM)に基づくオブジェクト分散制約により実現される。
  論文  参考訳（メタデータ） (2023-08-30T08:33:13Z)
• Multi-Modal Classifiers for Open-Vocabulary Object Detection [104.77331131447541]
  本論文の目的は,OVOD(Open-vocabulary Object Detection)である。 標準の2段階オブジェクト検出器アーキテクチャを採用する。 言語記述、画像例、これら2つの組み合わせの3つの方法を探究する。
  論文  参考訳（メタデータ） (2023-06-08T18:31:56Z)
• Learning Object-Language Alignments for Open-Vocabulary Object Detection [83.09560814244524]
  画像とテキストのペアデータから直接学習する新しいオープン語彙オブジェクト検出フレームワークを提案する。 これにより、画像とテキストのペア上でオープンな語彙オブジェクト検出器を、よりシンプルで効果的な方法で訓練することが可能になります。
  論文  参考訳（メタデータ） (2022-11-27T14:47:31Z)
• Beyond Bounding Box: Multimodal Knowledge Learning for Object Detection [3.785123406103386]
  我々は、オブジェクト検出に効果的な言語指導を導入するために、言語プロンプトを利用する。 本稿では,多モーダル知識学習(textbfMKL)と呼ばれる新しいメカニズムを提案する。
  論文  参考訳（メタデータ） (2022-05-09T07:03:30Z)
• Vision-Language Pre-Training for Boosting Scene Text Detectors [57.08046351495244]
  シーンテキスト検出に視覚言語を用いた共同学習を特に応用する。 本稿では,視覚言語による事前学習を通して,文脈化された共同表現を学習することを提案する。 事前訓練されたモデルは、よりリッチなセマンティクスでより情報的な表現を生成することができる。
  論文  参考訳（メタデータ） (2022-04-29T03:53:54Z)
• Multi-modal Transformers Excel at Class-agnostic Object Detection [105.10403103027306]
  既存の手法では、人間の理解可能な意味論によって支配されるトップダウンの監視信号が欠落していると論じる。 マルチスケール特徴処理と変形可能な自己アテンションを用いた効率よく柔軟なMViTアーキテクチャを開発した。 多様なアプリケーションにおけるMViT提案の重要性を示す。
  論文  参考訳（メタデータ） (2021-11-22T18:59:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。