論文の概要: Joint Multimodal Entity-Relation Extraction Based on Edge-enhanced Graph
Alignment Network and Word-pair Relation Tagging
- arxiv url: http://arxiv.org/abs/2211.15028v1
- Date: Mon, 28 Nov 2022 03:23:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-29 15:39:07.100183
- Title: Joint Multimodal Entity-Relation Extraction Based on Edge-enhanced Graph
Alignment Network and Word-pair Relation Tagging
- Title（参考訳）: エッジ強化グラフアライメントネットワークとワードペア関係タグを用いた共同マルチモーダルエンティティ-リレーション抽出
- Authors: Li Yuan, Yi Cai, Jin Wang, Qing Li
- Abstract要約: 本稿では,MNER と MRE を併用したマルチモーダル・エンティティ・リレーション抽出タスクを提案する。
提案手法は,オブジェクトとエンティティ間の補助的なアライメントにエッジ情報を利用することができる。
- 参考スコア（独自算出の注目度）: 19.872199943795195
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal named entity recognition (MNER) and multimodal relation extraction
(MRE) are two fundamental subtasks in the multimodal knowledge graph
construction task. However, the existing methods usually handle two tasks
independently, which ignores the bidirectional interaction between them. This
paper is the first to propose jointly performing MNER and MRE as a joint
multimodal entity-relation extraction task (JMERE). Besides, the current MNER
and MRE models only consider aligning the visual objects with textual entities
in visual and textual graphs but ignore the entity-entity relationships and
object-object relationships. To address the above challenges, we propose an
edge-enhanced graph alignment network and a word-pair relation tagging (EEGA)
for JMERE task. Specifically, we first design a word-pair relation tagging to
exploit the bidirectional interaction between MNER and MRE and avoid the error
propagation. Then, we propose an edge-enhanced graph alignment network to
enhance the JMERE task by aligning nodes and edges in the cross-graph. Compared
with previous methods, the proposed method can leverage the edge information to
auxiliary alignment between objects and entities and find the correlations
between entity-entity relationships and object-object relationships.
Experiments are conducted to show the effectiveness of our model.
- Abstract（参考訳）: マルチモーダル認識(MNER)とマルチモーダル関係抽出(MRE)は、マルチモーダル知識グラフ構築タスクにおける2つの基本的なサブタスクである。
しかし、既存のメソッドは通常2つのタスクを独立に処理し、両者の双方向インタラクションを無視する。
本稿では,MNERとMREをJMERE(Joint Multimodal entity-relation extract task)として共同実行することを提案する。
さらに、現在のmnerおよびmreモデルは、視覚およびテキストグラフにおける視覚オブジェクトとテキストエンティティの整合のみを考慮し、エンティティ-エンティティ関係とオブジェクト-オブジェクト関係を無視する。
上記の課題に対処するため、JMEREタスクのためのエッジ強化グラフアライメントネットワークとワードペア関係タグ付け(EEGA)を提案する。
具体的には、まず、MNERとMREの双方向相互作用を利用して単語対関係タグを設計し、エラー伝搬を回避する。
次に,クロスグラフのノードとエッジをアライメントすることにより,jmereタスクを強化するためのエッジエンハンスグラフアライメントネットワークを提案する。
従来の手法と比較して,エッジ情報を利用してオブジェクトとエンティティのアライメントを補助し,エンティティ-エンティティ関係とオブジェクト-オブジェクト関係の相関関係を求めることができる。
本モデルの有効性を示す実験を行った。
関連論文リスト
- DRIN: Dynamic Relation Interactive Network for Multimodal Entity Linking [31.15972952813689]
本稿では,MEL タスクのための Dynamic Relation Interactive Network (DRIN) という新しいフレームワークを提案する。
DRINは、参照とエンティティの間の4種類のアライメントを明示的にモデル化し、動的グラフ畳み込みネットワーク(GCN)を構築し、異なる入力サンプルに対して対応するアライメント関係を動的に選択する。
2つのデータセットの実験により、DRINは最先端の手法を大きなマージンで上回り、我々のアプローチの有効性を実証した。
論文 参考訳（メタデータ） (2023-10-09T10:21:42Z) - CARE: Co-Attention Network for Joint Entity and Relation Extraction [0.0]
本稿では,共同エンティティと関係抽出のためのコ・アテンション・ネットワークを提案する。
提案手法では,サブタスク毎に異なる表現を学習するための並列符号化方式を採用する。
このアプローチのコアとなるのは,2つのサブタスク間の双方向のインタラクションをキャプチャするコアテンションモジュールです。
論文 参考訳（メタデータ） (2023-08-24T03:40:54Z) - Learning Implicit Entity-object Relations by Bidirectional Generative
Alignment for Multimodal NER [43.425998295991135]
本稿では,BGA-MNERという双方向生成アライメント手法を提案する。
提案手法は,推論中に画像入力を伴わずに最先端の性能を実現する。
論文 参考訳（メタデータ） (2023-08-03T10:37:20Z) - Multi-Grained Multimodal Interaction Network for Entity Linking [65.30260033700338]
マルチモーダルエンティティリンクタスクは、マルチモーダル知識グラフへの曖昧な言及を解決することを目的としている。
MELタスクを解決するための新しいMulti-Grained Multimodal InteraCtion Network $textbf(MIMIC)$ frameworkを提案する。
論文 参考訳（メタデータ） (2023-07-19T02:11:19Z) - Dual-Gated Fusion with Prefix-Tuning for Multi-Modal Relation Extraction [13.454953507205278]
マルチモーダル関係抽出は、視覚的手がかりを含むテキスト中の2つの実体間の関係を特定することを目的としている。
本稿では,テキスト,エンティティペア,画像/オブジェクトのより深い相関関係をよりよく捉えるための新しいMMREフレームワークを提案する。
本手法は, 少数の状況においても, 強力な競合相手と比較して優れた性能を発揮する。
論文 参考訳（メタデータ） (2023-06-19T15:31:34Z) - From Alignment to Entailment: A Unified Textual Entailment Framework for
Entity Alignment [17.70562397382911]
既存のメソッドは通常、エンティティのトリプルを埋め込みとしてエンコードし、埋め込みの整列を学ぶ。
我々は両トリプルを統一されたテキストシーケンスに変換し、EAタスクを双方向のテキストエンタテインメントタスクとしてモデル化する。
提案手法は,エンティティ間の2種類の情報の統合相関パターンを捕捉し,元のエンティティ情報間のきめ細かい相互作用を明示的にモデル化する。
論文 参考訳（メタデータ） (2023-05-19T08:06:50Z) - Entity-Graph Enhanced Cross-Modal Pretraining for Instance-level Product
Retrieval [152.3504607706575]
本研究の目的は, 細粒度製品カテゴリを対象とした, 弱制御型マルチモーダル・インスタンスレベルの製品検索である。
まず、Product1Mデータセットをコントリビュートし、2つの実際のインスタンスレベルの検索タスクを定義します。
我々は、マルチモーダルデータから重要な概念情報を組み込むことができるより効果的なクロスモーダルモデルを訓練するために活用する。
論文 参考訳（メタデータ） (2022-06-17T15:40:45Z) - CoADNet: Collaborative Aggregation-and-Distribution Networks for
Co-Salient Object Detection [91.91911418421086]
Co-Salient Object Detection (CoSOD)は、2つ以上の関連する画像を含む所定のクエリグループに繰り返し現れる健全なオブジェクトを発見することを目的としている。
課題の1つは、画像間の関係をモデリングし、活用することによって、コ・サリヤ・キューを効果的にキャプチャする方法である。
我々は,複数画像から有能かつ反復的な視覚パターンを捉えるために,エンドツーエンドの協調集約配信ネットワーク(CoADNet)を提案する。
論文 参考訳（メタデータ） (2020-11-10T04:28:11Z) - HittER: Hierarchical Transformers for Knowledge Graph Embeddings [85.93509934018499]
複雑な知識グラフにおける実体と関係の表現を学習するためにHittを提案する。
実験結果から,Hittは複数リンク予測において最先端の新たな結果が得られることがわかった。
さらに,HittをBERTに統合する簡単なアプローチを提案し,その効果を2つのFreebaseファクトイド対応データセットで示す。
論文 参考訳（メタデータ） (2020-08-28T18:58:15Z) - Jointly Cross- and Self-Modal Graph Attention Network for Query-Based
Moment Localization [77.21951145754065]
本稿では,共同グラフを渡る反復的メッセージのプロセスとして,このタスクをリキャストするクロスモーダルグラフ注意ネットワーク(CSMGAN)を提案する。
CSMGANは2つのモード間の高次相互作用を効果的に捉えることができ、より正確な局所化を可能にします。
論文 参考訳（メタデータ） (2020-08-04T08:25:24Z) - Bidirectional Graph Reasoning Network for Panoptic Segmentation [126.06251745669107]
本稿では,BGRNet(Bidirectional Graph Reasoning Network)を導入し,前景物と背景物間のモジュラー内およびモジュラー間関係について検討する。
BGRNetはまず、インスタンスとセマンティックセグメンテーションの両方でイメージ固有のグラフを構築し、提案レベルとクラスレベルで柔軟な推論を可能にする。
論文 参考訳（メタデータ） (2020-04-14T02:32:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。