論文の概要: Finding Structural Knowledge in Multimodal-BERT

• arxiv url: http://arxiv.org/abs/2203.09306v1
• Date: Thu, 17 Mar 2022 13:20:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-18 13:00:36.989510
• Title: Finding Structural Knowledge in Multimodal-BERT
• Title（参考訳）: マルチモーダルBERTにおける構造知識の発見
• Authors: Victor Milewski, Miryam de Lhoneux, Marie-Francine Moens
• Abstract要約: 画像を記述する文の係り受け解析によって言語と視覚の固有の構造を明示する。 我々は、この明示的な視覚構造を、言語記述の依存性木に基づくテクスタイセンツリーと呼んでいる。
• 参考スコア（独自算出の注目度）: 18.469318775468754
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we investigate the knowledge learned in the embeddings of multimodal-BERT models. More specifically, we probe their capabilities of storing the grammatical structure of linguistic data and the structure learned over objects in visual data. To reach that goal, we first make the inherent structure of language and visuals explicit by a dependency parse of the sentences that describe the image and by the dependencies between the object regions in the image, respectively. We call this explicit visual structure the \textit{scene tree}, that is based on the dependency tree of the language description. Extensive probing experiments show that the multimodal-BERT models do not encode these scene trees.Code available at \url{https://github.com/VSJMilewski/multimodal-probes}.
• Abstract（参考訳）: 本研究では,マルチモーダルBERTモデルの埋め込みにおける知識について検討する。 より具体的には、言語データの文法構造を記憶する能力と、視覚データのオブジェクト上で学習した構造を探索する。 その目標を達成するために、まず、画像を記述する文の依存関係パースと、画像内の対象領域間の依存関係によって、言語と視覚の固有の構造を明示する。 この明示的な視覚的構造を \textit{scene tree} と呼び、それは言語記述の依存関係ツリーに基づいている。 広範囲な探索実験により、マルチモーダルベルトモデルはこれらのシーンツリーをエンコードしていないことが示されている。

関連論文リスト

• ARMADA: Attribute-Based Multimodal Data Augmentation [93.05614922383822]
  Attribute-based Multimodal Data Augmentation (ARMADA) は、知識誘導による視覚属性の操作による新しいマルチモーダルデータ拡張手法である。 ARMADAは、新しいマルチモーダルデータ生成フレームワークである。 (i) 意味的に一貫性があるがユニークな画像-テキストペア生成のために、シンボリックKBから知識基底属性を抽出する。 これはまた、解釈可能性の向上と現実世界の接地のために外部の知識プロキシを活用する必要性を強調している。
  論文  参考訳（メタデータ） (2024-08-19T15:27:25Z)
• Emergent Visual-Semantic Hierarchies in Image-Text Representations [13.300199242824934]
  既存の基盤モデルの知識について検討し、視覚・意味的階層の創発的な理解を示すことを明らかにする。 本稿では,階層的理解の探索と最適化を目的としたRadial Embedding (RE)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-11T14:09:42Z)
• TRINS: Towards Multimodal Language Models that Can Read [61.17806538631744]
  TRINSはText-RichイメージINStructionデータセットである。 39,153の画像、キャプション、102,437の質問が含まれている。 本稿では,画像中のテキスト内容の理解に長けたLanguage-vision Reading Assistant(LaRA)を提案する。
  論文  参考訳（メタデータ） (2024-06-10T18:52:37Z)
• Contextual Object Detection with Multimodal Large Language Models [66.15566719178327]
  本稿では,コンテキストオブジェクト検出の新たな研究課題について紹介する。 言語クローゼテスト,視覚キャプション,質問応答の3つの代表的なシナリオについて検討した。 本稿では、視覚的コンテキストのエンドツーエンドの微分可能なモデリングが可能な統合マルチモーダルモデルContextDETを提案する。
  論文  参考訳（メタデータ） (2023-05-29T17:50:33Z)
• Unsupervised Vision-Language Parsing: Seamlessly Bridging Visual Scene Graphs with Language Structures via Dependency Relationships [17.930724926012264]
  教師なしの方法で共同視覚言語構造を誘導することを目的とした新しいタスクを導入する。 私たちの目標は、視覚的なシーングラフと言語依存ツリーをシームレスにブリッジすることにあります。 そこで我々は, 粗い構造を創出する自動アライメント手法を提案する。
  論文  参考訳（メタデータ） (2022-03-27T09:51:34Z)
• Integrating Visuospatial, Linguistic and Commonsense Structure into Story Visualization [81.26077816854449]
  まず、構造的入力を符号化するための選挙区解析木の利用について検討する。 第二に、構造化されたインプットをコモンセンス情報で強化し、この外部知識が視覚的ストーリーの生成に与える影響について検討する。 第3に、境界ボックスと高密度キャプションによって視覚構造を組み込んで、生成された画像の文字やオブジェクトに関するフィードバックを提供する。
  論文  参考訳（メタデータ） (2021-10-21T00:16:02Z)
• Structured Multi-modal Feature Embedding and Alignment for Image-Sentence Retrieval [12.050958976545914]
  現在の最先端画像文検索手法は、視覚的テクスチャの断片を暗黙的に整列させる。 画像文検索のための構造的マルチモーダル特徴埋め込みとアライメントモデルを提案する。 特に、ビジュアルコンテキスト対応構造化木エンコーダ(VCS-Tree)とテキストコンテキスト対応構造化木エンコーダ(TCS-Tree)を共有ラベルで構築することにより、視覚的およびテキスト的フラグメントの関係をモデル化する。
  論文  参考訳（メタデータ） (2021-08-05T07:24:54Z)
• Boosting Entity-aware Image Captioning with Multi-modal Knowledge Graph [96.95815946327079]
  名前付きエンティティの長期分布により、名前付きエンティティと視覚的キューの関係を学習することは困難である。 本稿では、視覚オブジェクトと名前付きエンティティを関連付けるために、マルチモーダルな知識グラフを構築する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2021-07-26T05:50:41Z)
• Linguistic Structure Guided Context Modeling for Referring Image Segmentation [61.701577239317785]
  本稿では,マルチモーダルコンテキストを相互モーダル相互作用によりモデル化する「ガザ・プロパゲート・ディストリビュート」方式を提案する。 我々のLSCMモジュールは依存パーシングツリーワードグラフ(DPT-WG)を構築し、文の有効なマルチモーダルコンテキストを含むようにすべての単語を誘導する。
  論文  参考訳（メタデータ） (2020-10-01T16:03:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。