Fugu-MT 論文翻訳(概要): Vision, Deduction and Alignment: An Empirical Study on Multi-modal Knowledge Graph Alignment

論文の概要: Vision, Deduction and Alignment: An Empirical Study on Multi-modal Knowledge Graph Alignment

arxiv url: http://arxiv.org/abs/2302.08774v1
Date: Fri, 17 Feb 2023 09:20:51 GMT
ステータス: 処理完了
システム内更新日: 2023-02-20 15:22:40.088474
Title: Vision, Deduction and Alignment: An Empirical Study on Multi-modal Knowledge Graph Alignment
Title（参考訳）: ビジョン・推論・アライメント:マルチモーダル知識グラフアライメントに関する実証的研究
Authors: Yangning Li, Jiaoyan Chen, Yinghui Li, Yuejia Xiang, Xi Chen, Hai-Tao Zheng
Abstract要約: われわれはまず8つの大規模画像付きEAベンチマークであるMulti-OpenEAを構築し、画像を利用する既存の埋め込み方式を評価した。視覚的モーダル情報と論理的推論の相補性の観点から,LODEMEという新しいマルチモーダルEA法を開発した。
参考スコア（独自算出の注目度）: 30.35207258680977
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Entity alignment (EA) for knowledge graphs (KGs) plays a critical role in knowledge engineering. Existing EA methods mostly focus on utilizing the graph structures and entity attributes (including literals), but ignore images that are common in modern multi-modal KGs. In this study we first constructed Multi-OpenEA -- eight large-scale, image-equipped EA benchmarks, and then evaluated some existing embedding-based methods for utilizing images. In view of the complementary nature of visual modal information and logical deduction, we further developed a new multi-modal EA method named LODEME using logical deduction and multi-modal KG embedding, with state-of-the-art performance achieved on Multi-OpenEA and other existing multi-modal EA benchmarks.
Abstract（参考訳）: 知識グラフのためのエンティティアライメント(EA)は知識工学において重要な役割を果たす。既存のEA手法は主にグラフ構造とエンティティ属性(リテラルを含む)の利用に重点を置いているが、現代のマルチモーダルKGで一般的な画像は無視している。本研究では,まず8つの大規模画像付きEAベンチマークを構築し,既存の埋め込みベースの画像利用手法を評価した。視覚的モーダル情報と論理的推論の相補性の観点から、我々は、論理的推論とマルチモーダルKG埋め込みを用いたLODEMEと呼ばれる新しいマルチモーダルEA手法を開発し、マルチOpenEAや他の既存のマルチモーダルEAベンチマークで最新性能を達成した。

関連論文リスト

Knowledge-Aware Reasoning over Multimodal Semi-structured Tables [85.24395216111462]
本研究では、現在のAIモデルがマルチモーダルな構造化データに基づいて知識を考慮した推論を行うことができるかどうかを検討する。この目的のために設計された新しいデータセットであるMMTabQAを紹介する。我々の実験は、複数のテキストと画像の入力を効果的に統合し解釈する上で、現在のAIモデルに対する重大な課題を浮き彫りにしている。
論文参考訳（メタデータ） (2024-08-25T15:17:43Z)
Leveraging Entity Information for Cross-Modality Correlation Learning: The Entity-Guided Multimodal Summarization [49.08348604716746]
Multimodal Summarization with Multimodal Output (MSMO) は、テキストと関連する画像の両方を統合するマルチモーダル要約を作成することを目的としている。本稿では,Entity-Guided Multimodal Summarization Model (EGMS)を提案する。我々のモデルは,BART上に構築され,共有重み付きデュアルマルチモーダルエンコーダを用いて,テキスト画像とエンティティ画像情報を並列に処理する。
論文参考訳（メタデータ） (2024-08-06T12:45:56Z)
DERA: Dense Entity Retrieval for Entity Alignment in Knowledge Graphs [3.500936203815729]
エンティティアライメント(EA)のための高密度エンティティ検索フレームワークを提案する。我々は言語モデルを活用し、エンティティの様々な特徴を均一にエンコードし、知識グラフ(KG)をまたいで最も近いエンティティ検索を容易にする。提案手法は,既存のEA手法と比較して最先端の性能を実現する。
論文参考訳（メタデータ） (2024-08-02T10:12:42Z)
Multiple Heads are Better than One: Mixture of Modality Knowledge Experts for Entity Representation Learning [51.80447197290866]
高品質なマルチモーダル実体表現を学習することは、マルチモーダル知識グラフ(MMKG)表現学習の重要な目標である。既存の手法は、エレガントなエンティティワイドマルチモーダル融合戦略の構築に重点を置いている。適応型マルチモーダルな実体表現を学習するために,Mixture of Modality Knowledge Expert (MoMoK) を用いた新しいフレームワークを提案する。
論文参考訳（メタデータ） (2024-05-27T06:36:17Z)
NativE: Multi-modal Knowledge Graph Completion in the Wild [51.80447197290866]
本研究では,MMKGCを実現するための包括的フレームワークNativEを提案する。 NativEは、任意のモダリティに対して適応的な融合を可能にするリレーショナル誘導デュアルアダプティブフュージョンモジュールを提案する。提案手法を評価するために,5つのデータセットを用いたWildKGCという新しいベンチマークを構築した。
論文参考訳（メタデータ） (2024-03-28T03:04:00Z)
Gradient Flow of Energy: A General and Efficient Approach for Entity Alignment Decoding [24.613735853099534]
我々は,エンティティの埋め込みのみに依存する,新しい,一般化された,効率的なデコーディング手法をEAに導入する。本手法はディリクレエネルギーを最小化してデコード処理を最適化し,グラフ内の勾配流を最大化し,グラフのホモフィリーを最大化する。特に、この手法は、追加計算時間の6秒未満でこれらの進歩を達成する。
論文参考訳（メタデータ） (2024-01-23T14:31:12Z)
Information Screening whilst Exploiting! Multimodal Relation Extraction with Feature Denoising and Multimodal Topic Modeling [96.75821232222201]
既存のマルチモーダル関係抽出(MRE)研究は、内部情報過剰利用と外部情報過多という2つの共存課題に直面している。内部情報スクリーニングと外部情報活用を同時に実現する新しいフレームワークを提案する。
論文参考訳（メタデータ） (2023-05-19T14:56:57Z)
Multi-modal Contrastive Representation Learning for Entity Alignment [57.92705405276161]
マルチモーダルなエンティティアライメントは、2つの異なるマルチモーダルな知識グラフ間で等価なエンティティを識別することを目的としている。マルチモーダルコントラスト学習に基づくエンティティアライメントモデルであるMCLEAを提案する。特に、MCLEAはまず複数のモダリティから複数の個別表現を学習し、その後、モダリティ内およびモダリティ間相互作用を共同でモデル化するコントラスト学習を行う。
論文参考訳（メタデータ） (2022-09-02T08:59:57Z)
High-quality Task Division for Large-scale Entity Alignment [28.001266850114643]
DivEAは、代替の最先端ソリューションよりも高いEAパフォーマンスを達成する。我々は、EAタスクの局所性原理と訓練されたEAモデルのパワーを生かした他の発見手法を考案する。
論文参考訳（メタデータ） (2022-08-22T14:46:38Z)
Fusion with Hierarchical Graphs for Mulitmodal Emotion Recognition [7.147235324895931]
本稿では,より情報に富んだマルチモーダル表現を学習する階層型グラフネットワーク(HFGCN)モデルを提案する。具体的には,2段階グラフ構築手法を用いてマルチモーダル入力を融合し,モダリティ依存性を会話表現にエンコードする。実験により,より正確なAERモデルの有効性が示された。
論文参考訳（メタデータ） (2021-09-15T08:21:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。