論文の概要: Visual Relationship Detection with Visual-Linguistic Knowledge from Multimodal Representations

• arxiv url: http://arxiv.org/abs/2009.04965v3
• Date: Mon, 5 Apr 2021 07:48:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-20 02:35:28.572775
• Title: Visual Relationship Detection with Visual-Linguistic Knowledge from Multimodal Representations
• Title（参考訳）: マルチモーダル表現からの視覚言語知識を用いた視覚関係検出
• Authors: Meng-Jiun Chiou, Roger Zimmermann, Jiashi Feng
• Abstract要約: 視覚的関係検出は、画像内の有能なオブジェクト間の関係を推論することを目的としている。 変換器からの視覚言語表現(RVL-BERT)という新しい手法を提案する。 RVL-BERTは、自己教師付き事前学習を通じて学習した視覚的・言語的常識知識を用いて空間推論を行う。
• 参考スコア（独自算出の注目度）: 103.00383924074585
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual relationship detection aims to reason over relationships among salient objects in images, which has drawn increasing attention over the past few years. Inspired by human reasoning mechanisms, it is believed that external visual commonsense knowledge is beneficial for reasoning visual relationships of objects in images, which is however rarely considered in existing methods. In this paper, we propose a novel approach named Relational Visual-Linguistic Bidirectional Encoder Representations from Transformers (RVL-BERT), which performs relational reasoning with both visual and language commonsense knowledge learned via self-supervised pre-training with multimodal representations. RVL-BERT also uses an effective spatial module and a novel mask attention module to explicitly capture spatial information among the objects. Moreover, our model decouples object detection from visual relationship recognition by taking in object names directly, enabling it to be used on top of any object detection system. We show through quantitative and qualitative experiments that, with the transferred knowledge and novel modules, RVL-BERT achieves competitive results on two challenging visual relationship detection datasets. The source code is available at https://github.com/coldmanck/RVL-BERT.
• Abstract（参考訳）: 視覚的な関係検出は、画像中のサルエントオブジェクト間の関係を推論することを目的としており、ここ数年で注目を集めている。 人間の推論機構にインスパイアされた外部視覚コモンセンス知識は、画像中の物体の視覚的関係を推論するのに有用であると考えられている。 本稿では,複数モーダル表現を用いた自己教師型事前学習を通じて学習した視覚的・言語的コモンセンス知識を用いて,リレーショナル推論を行うリレーショナルビジュアル言語双方向エンコーダ表現(RVL-BERT)を提案する。 RVL-BERTは、有効空間モジュールと新しいマスクアテンションモジュールを使用して、オブジェクト間の空間情報を明示的にキャプチャする。 さらに,物体名を直接取り込むことにより,視覚関係認識から物体検出を分離し,任意の物体検出システム上での利用を可能にする。 トランスファーナレッジと新規モジュールにより,rvl-bertは2つの難解な視覚関係検出データセットにおいて,競争力のある結果が得られることを示す。 ソースコードはhttps://github.com/coldmanck/RVL-BERT.comで入手できる。

関連論文リスト

• End-to-end Open-vocabulary Video Visual Relationship Detection using Multi-modal Prompting [68.37943632270505]
  Open-vocabulary video visual relationship detectionは、ビデオの視覚的関係の検出をカテゴリを超えて拡張することを目的としている。 既存の方法は、通常、閉じたデータセットで訓練された軌跡検出器を使用して物体の軌跡を検出する。 我々はCLIPの豊富な意味的知識を活用して新しい関係を発見するオープン語彙関係を提案する。
  論文  参考訳（メタデータ） (2024-09-19T06:25:01Z)
• Augmented Commonsense Knowledge for Remote Object Grounding [67.30864498454805]
  エージェントナビゲーションを改善するための時間的知識グラフとして,コモンセンス情報を活用するための拡張コモンセンス知識モデル(ACK)を提案する。 ACKは知識グラフ対応のクロスモーダルとコンセプトアグリゲーションモジュールで構成され、視覚的表現と視覚的テキストデータアライメントを強化する。 我々は、より正確な局所的な行動予測につながるコモンセンスに基づく意思決定プロセスのための新しいパイプラインを追加します。
  論文  参考訳（メタデータ） (2024-06-03T12:12:33Z)
• Scene-Graph ViT: End-to-End Open-Vocabulary Visual Relationship Detection [14.22646492640906]
  オープン語彙の視覚的関係検出のための単純かつ高効率なデコーダレスアーキテクチャを提案する。 我々のモデルはTransformerベースの画像エンコーダで、オブジェクトをトークンとして表現し、それらの関係を暗黙的にモデル化する。 提案手法は,ビジュアルゲノムおよび大語彙GQAベンチマーク上で,リアルタイムな推論速度で,最先端の関係検出性能を実現する。
  論文  参考訳（メタデータ） (2024-03-21T10:15:57Z)
• Video Relationship Detection Using Mixture of Experts [1.6574413179773761]
  本稿では,専門家の混在を利用した視覚的関係検出手法であるMoE-VRDを紹介する。 MoE-VRDは、視覚処理から関係を抽出するために、主語、述語、オブジェクトの形で言語三つ子を識別する。 実験結果から, 条件付き計算能力と混合実験手法のスケーラビリティは, 最先端手法と比較して, 視覚的関係の検出性能に優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-03-06T19:08:34Z)
• Self-Supervised Learning for Visual Relationship Detection through Masked Bounding Box Reconstruction [6.798515070856465]
  表現学習のための新しい自己教師型アプローチ,特に視覚的関係検出(VRD)の課題について述べる。 Masked Image Modeling (MIM) の有効性を活かして, Masked bounding Box Reconstruction (MBBR) を提案する。
  論文  参考訳（メタデータ） (2023-11-08T16:59:26Z)
• Contextual Object Detection with Multimodal Large Language Models [66.15566719178327]
  本稿では,コンテキストオブジェクト検出の新たな研究課題について紹介する。 言語クローゼテスト,視覚キャプション,質問応答の3つの代表的なシナリオについて検討した。 本稿では、視覚的コンテキストのエンドツーエンドの微分可能なモデリングが可能な統合マルチモーダルモデルContextDETを提案する。
  論文  参考訳（メタデータ） (2023-05-29T17:50:33Z)
• Unified Visual Relationship Detection with Vision and Language Models [89.77838890788638]
  この研究は、複数のデータセットからラベル空間の結合を予測する単一の視覚的関係検出器のトレーニングに焦点を当てている。 視覚と言語モデルを活用した統合視覚関係検出のための新しいボトムアップ手法UniVRDを提案する。 人物体間相互作用検出とシーングラフ生成の双方による実験結果から,本モデルの競合性能が示された。
  論文  参考訳（メタデータ） (2023-03-16T00:06:28Z)
• Knowledge-augmented Few-shot Visual Relation Detection [25.457693302327637]
  視覚的関係検出(VRD)は、画像理解のためのオブジェクト間の関係を検出することを目的としている。 既存のVRD手法の多くは、良好なパフォーマンスを達成するために、各関係の何千ものトレーニングサンプルに依存している。 我々は、テキスト知識と視覚的関係知識の両方を活用する、知識を付加した、数発のVRDフレームワークを考案する。
  論文  参考訳（メタデータ） (2023-03-09T15:38:40Z)
• Exploiting Multi-Object Relationships for Detecting Adversarial Attacks in Complex Scenes [51.65308857232767]
  ディープニューラルネットワーク(DNN)をデプロイするビジョンシステムは、敵の例に弱いことが知られている。 近年の研究では、入力データの固有成分のチェックは、敵攻撃を検出するための有望な方法であることが示された。 言語モデルを用いてコンテキスト整合性チェックを行う新しい手法を開発した。
  論文  参考訳（メタデータ） (2021-08-19T00:52:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。