論文の概要: Beyond Bounding Box: Multimodal Knowledge Learning for Object Detection
- arxiv url: http://arxiv.org/abs/2205.04072v1
- Date: Mon, 9 May 2022 07:03:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-10 15:45:03.348447
- Title: Beyond Bounding Box: Multimodal Knowledge Learning for Object Detection
- Title(参考訳): beyond bounding box: オブジェクト検出のためのマルチモーダル知識学習
- Authors: Weixin Feng, Xingyuan Bu, Chenchen Zhang, Xubin Li
- Abstract要約: 我々は、オブジェクト検出に効果的な言語指導を導入するために、言語プロンプトを利用する。
本稿では,多モーダル知識学習(textbfMKL)と呼ばれる新しいメカニズムを提案する。
- 参考スコア(独自算出の注目度): 3.785123406103386
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal supervision has achieved promising results in many visual language
understanding tasks, where the language plays an essential role as a hint or
context for recognizing and locating instances. However, due to the defects of
the human-annotated language corpus, multimodal supervision remains unexplored
in fully supervised object detection scenarios. In this paper, we take
advantage of language prompt to introduce effective and unbiased linguistic
supervision into object detection, and propose a new mechanism called
multimodal knowledge learning (\textbf{MKL}), which is required to learn
knowledge from language supervision. Specifically, we design prompts and fill
them with the bounding box annotations to generate descriptions containing
extensive hints and context for instances recognition and localization. The
knowledge from language is then distilled into the detection model via
maximizing cross-modal mutual information in both image- and object-level.
Moreover, the generated descriptions are manipulated to produce hard negatives
to further boost the detector performance. Extensive experiments demonstrate
that the proposed method yields a consistent performance gain by 1.6\% $\sim$
2.1\% and achieves state-of-the-art on MS-COCO and OpenImages datasets.
- Abstract(参考訳): マルチモーダル監視は、多くの視覚的言語理解タスクにおいて有望な結果を達成している。
しかしながら、人間の注釈付き言語コーパスの欠陥のため、完全に管理されたオブジェクト検出シナリオでは、マルチモーダル監視は未探索のままである。
本稿では,オブジェクト検出に効果的で偏りのない言語指導を導入するための言語プロンプトを活用し,言語指導から知識を学ぶために必要なマルチモーダル知識学習(\textbf{MKL})と呼ばれる新しいメカニズムを提案する。
具体的には、インスタンス認識とローカライゼーションのための広範囲なヒントとコンテキストを含む記述を生成するために、プロンプトを設計し、バウンディングボックスアノテーションで満たす。
言語からの知識は、画像レベルとオブジェクトレベルの相互情報を最大化することで、検出モデルに蒸留される。
さらに、生成された記述を操作して強陰性を生成し、検出器の性能をさらに向上させる。
実験の結果,提案手法は,MS-COCO と OpenImages のデータセットに対して 1.6 % $\sim$ 2.1 % で一貫した性能向上を実現した。
関連論文リスト
- Multi-modal Instruction Tuned LLMs with Fine-grained Visual Perception [63.03288425612792]
マルチモーダル参照から画素単位のオブジェクト認識と自然言語記述を生成できる汎用MLLMモデルであるbfAnyRefを提案する。
本モデルでは,領域レベルの参照表現生成とセグメンテーションの多様さを含む,複数のベンチマークにおける最先端結果を実現する。
論文 参考訳(メタデータ) (2024-03-05T13:45:46Z) - LanGWM: Language Grounded World Model [24.86620763902546]
我々は,世界モデル学習を強化するために,言語による視覚的特徴を学習することに注力する。
提案手法は,人間とロボットの相互作用モデルを改善する可能性を秘めている。
論文 参考訳(メタデータ) (2023-11-29T12:41:55Z) - Synchronizing Vision and Language: Bidirectional Token-Masking
AutoEncoder for Referring Image Segmentation [26.262887028563163]
Referring Image (RIS)は、自然言語で表現されたターゲットオブジェクトをピクセルレベルのシーン内でセグメントすることを目的としている。
マスク付きオートエンコーダ(MAE)に触発された新しい双方向トークンマスキングオートエンコーダ(BTMAE)を提案する。
BTMAEは、画像と言語の両方に欠けている機能をトークンレベルで再構築することで、画像から言語、言語へのイメージのコンテキストを学習する。
論文 参考訳(メタデータ) (2023-11-29T07:33:38Z) - Incorporating Language-Driven Appearance Knowledge Units with Visual
Cues in Pedestrian Detection [58.06262483736671]
本稿では,LLMの強みを文脈変化の理解に活用するための新しい手法を提案する。
本稿では,言語による外観知識単位を定式化し,歩行者検出に視覚的手がかりを取り入れることを提案する。
論文 参考訳(メタデータ) (2023-11-02T06:38:19Z) - Exploring Multi-Modal Contextual Knowledge for Open-Vocabulary Object
Detection [72.36017150922504]
教師の融合変換器から学生検出器へ学習した文脈知識を伝達するためのマルチモーダルな文脈知識蒸留フレームワーク MMC-Det を提案する。
多様なマルチモーダルマスキング言語モデリングは、従来のマルチモーダルマスキング言語モデリング(MLM)に基づくオブジェクト分散制約により実現される。
論文 参考訳(メタデータ) (2023-08-30T08:33:13Z) - Contextual Object Detection with Multimodal Large Language Models [78.30374204127418]
本稿では,コンテキストオブジェクト検出の新たな研究課題について紹介する。
言語クローゼテスト,視覚キャプション,質問応答の3つの代表的なシナリオについて検討した。
本稿では、視覚的コンテキストのエンドツーエンドの微分可能なモデリングが可能な統合マルチモーダルモデルContextDETを提案する。
論文 参考訳(メタデータ) (2023-05-29T17:50:33Z) - Position-Aware Contrastive Alignment for Referring Image Segmentation [65.16214741785633]
マルチモーダル特徴のアライメントを強化するために,位置認識型コントラストアライメントネットワーク(PCAN)を提案する。
1)自然言語記述に関連するすべてのオブジェクトの位置情報を提供する位置認識モジュール(PAM)と,2)マルチモーダルアライメントを強化するコントラスト言語理解モジュール(CLUM)の2つのモジュールで構成されている。
論文 参考訳(メタデータ) (2022-12-27T09:13:19Z) - OmDet: Large-scale vision-language multi-dataset pre-training with
multimodal detection network [17.980765138522322]
この研究は、新しい言語対応のオブジェクト検出アーキテクチャであるOmDetを紹介した。
自然言語を普遍的な知識表現として活用することで、OmDetは多様なデータセットから"視覚語彙"を蓄積する。
我々は,OmDetが野生におけるオブジェクト検出,オープンボキャブラリ検出,句接地において,強いベースラインよりも優れていることを示す。
論文 参考訳(メタデータ) (2022-09-10T14:25:14Z) - Multi-modal Transformers Excel at Class-agnostic Object Detection [105.10403103027306]
既存の手法では、人間の理解可能な意味論によって支配されるトップダウンの監視信号が欠落していると論じる。
マルチスケール特徴処理と変形可能な自己アテンションを用いた効率よく柔軟なMViTアーキテクチャを開発した。
多様なアプリケーションにおけるMViT提案の重要性を示す。
論文 参考訳(メタデータ) (2021-11-22T18:59:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。