論文の概要: LoginMEA: Local-to-Global Interaction Network for Multi-modal Entity Alignment

• arxiv url: http://arxiv.org/abs/2407.19625v1
• Date: Mon, 29 Jul 2024 01:06:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-30 15:25:50.062046
• Title: LoginMEA: Local-to-Global Interaction Network for Multi-modal Entity Alignment
• Title（参考訳）: LoginMEA:マルチモーダルエンティティアライメントのためのローカル-グローバルインタラクションネットワーク
• Authors: Taoyu Su, Xinghua Zhang, Jiawei Sheng, Zhenyu Zhang, Tingwen Liu,
• Abstract要約: マルチモーダルなエンティティアライメント(MMEA)は、2つのマルチモーダルな知識グラフ間で等価なエンティティを識別することを目的としている。 我々は、ロギンメAと呼ばれるMMEAのための新しいローカル・グローバル・インタラクション・ネットワークを提案する。
• 参考スコア（独自算出の注目度）: 18.365849722239865
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-modal entity alignment (MMEA) aims to identify equivalent entities between two multi-modal knowledge graphs (MMKGs), whose entities can be associated with relational triples and related images. Most previous studies treat the graph structure as a special modality, and fuse different modality information with separate uni-modal encoders, neglecting valuable relational associations in modalities. Other studies refine each uni-modal information with graph structures, but may introduce unnecessary relations in specific modalities. To this end, we propose a novel local-to-global interaction network for MMEA, termed as LoginMEA. Particularly, we first fuse local multi-modal interactions to generate holistic entity semantics and then refine them with global relational interactions of entity neighbors. In this design, the uni-modal information is fused adaptively, and can be refined with relations accordingly. To enrich local interactions of multi-modal entity information, we device modality weights and low-rank interactive fusion, allowing diverse impacts and element-level interactions among modalities. To capture global interactions of graph structures, we adopt relation reflection graph attention networks, which fully capture relational associations between entities. Extensive experiments demonstrate superior results of our method over 5 cross-KG or bilingual benchmark datasets, indicating the effectiveness of capturing local and global interactions.
• Abstract（参考訳）: マルチモーダル・エンティティ・アライメント(MMEA)は、2つのマルチモーダル・ナレッジ・グラフ(MMKG)間の等価なエンティティを識別することを目的としている。 これまでのほとんどの研究では、グラフ構造を特別なモダリティとして扱い、異なるモダリティ情報を別のユニモーダルエンコーダと融合させ、モダリティにおける貴重なリレーショナルな関連性を無視している。 他の研究では、各ユニモーダル情報をグラフ構造で洗練するが、特定のモダリティに不要な関係を導入することもある。 そこで本稿では,ロギンメA(LoginMEA)と呼ばれるMMEAのためのローカル・グローバル・インタラクション・ネットワークを提案する。 特に,まず局所的なマルチモーダル相互作用を融合させて,全体論的実体意味論を生成し,その上で,その関係をグローバルな関係的相互作用で洗練する。 この設計では、ユニモーダル情報は適応的に融合され、それに応じて洗練される。 マルチモーダルな実体情報の局所的な相互作用を強化するため、モーダル間の多様な影響や要素レベルの相互作用を可能にする、モダリティ重みと低ランクなインタラクティブな融合を行う。 グラフ構造のグローバルな相互作用を捉えるために,関係リフレクショングラフアテンションネットワークを導入し,エンティティ間の関係関係を網羅する。 広汎な実験により,5つのクロスKGまたはバイリンガルベンチマークデータセットよりも優れた結果が得られ,局所的およびグローバルな相互作用を捉える効果が示された。

関連論文リスト

• NativE: Multi-modal Knowledge Graph Completion in the Wild [51.80447197290866]
  本研究では,MMKGCを実現するための包括的フレームワークNativEを提案する。 NativEは、任意のモダリティに対して適応的な融合を可能にするリレーショナル誘導デュアルアダプティブフュージョンモジュールを提案する。 提案手法を評価するために,5つのデータセットを用いたWildKGCという新しいベンチマークを構築した。
  論文  参考訳（メタデータ） (2024-03-28T03:04:00Z)
• Multi-Grained Multimodal Interaction Network for Entity Linking [65.30260033700338]
  マルチモーダルエンティティリンクタスクは、マルチモーダル知識グラフへの曖昧な言及を解決することを目的としている。 MELタスクを解決するための新しいMulti-Grained Multimodal InteraCtion Network $textbf(MIMIC)$ frameworkを提案する。
  論文  参考訳（メタデータ） (2023-07-19T02:11:19Z)
• Multimodal Learning Without Labeled Multimodal Data: Guarantees and Applications [90.6849884683226]
  ラベル付き単調データのみを用いた半教師付き環境における相互作用定量化の課題について検討する。 相互作用の正確な情報理論的定義を用いて、我々の重要な貢献は下界と上界の導出である。 本稿では、これらの理論結果を用いてマルチモーダルモデルの性能を推定し、データ収集をガイドし、様々なタスクに対して適切なマルチモーダルモデルを選択する方法について述べる。
  論文  参考訳（メタデータ） (2023-06-07T15:44:53Z)
• Global-and-Local Collaborative Learning for Co-Salient Object Detection [162.62642867056385]
  Co-Salient Object Detection (CoSOD)の目標は、2つ以上の関連する画像を含むクエリグループに一般的に現れる有能なオブジェクトを見つけることである。 本稿では,グローバル対応モデリング(GCM)とローカル対応モデリング(LCM)を含む,グローバル・ローカル協調学習アーキテクチャを提案する。 提案したGLNetは3つの一般的なCoSODベンチマークデータセットに基づいて評価され、我々のモデルが小さなデータセット(約3k画像)でトレーニングされた場合、一部の大規模データセット(約8k-200k画像)でトレーニングされた11の最先端の競合製品(約8k-200k画像)を上回っていることを示す。
  論文  参考訳（メタデータ） (2022-04-19T14:32:41Z)
• Coordination Among Neural Modules Through a Shared Global Workspace [78.08062292790109]
  認知科学において、機能的に特殊なコンポーネントが情報を共有するグローバルなワークスペースアーキテクチャが提案されている。 キャパシティ制限は、特殊化と構成性を奨励する合理的な基礎を持つことを示す。
  論文  参考訳（メタデータ） (2021-03-01T18:43:48Z)
• RAGA: Relation-aware Graph Attention Networks for Global Entity Alignment [14.287681294725438]
  実体と関係の相互作用を捉えるために,Relation-aware Graph Attention Networksに基づく新しいフレームワークを提案する。 本フレームワークでは,エンティティ情報を関係に分散し,関係情報をエンティティに集約する自己認識機構を採用している。
  論文  参考訳（メタデータ） (2021-03-01T06:30:51Z)
• Cascaded Human-Object Interaction Recognition [175.60439054047043]
  マルチステージで粗大なHOI理解のためのカスケードアーキテクチャを提案する。 各段階で、インスタンスローカライゼーションネットワークは、HOI提案を段階的に洗練し、インタラクション認識ネットワークにフィードする。 慎重に設計された人間中心の関係機能により、これらの2つのモジュールは効果的な相互作用理解に向けて協調的に機能する。
  論文  参考訳（メタデータ） (2020-03-09T17:05:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。