論文の概要: End-to-End Learning on Multimodal Knowledge Graphs

• arxiv url: http://arxiv.org/abs/2309.01169v1
• Date: Sun, 3 Sep 2023 13:16:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-06 21:01:32.135752
• Title: End-to-End Learning on Multimodal Knowledge Graphs
• Title（参考訳）: マルチモーダル知識グラフによるエンドツーエンド学習
• Authors: W. X. Wilcke, P. Bloem, V. de Boer, R. H. van t Veer
• Abstract要約: 本稿では,グラフ構造からエンドツーエンドを学習するマルチモーダルメッセージパッシングネットワークを提案する。 我々のモデルは、専用(神経)エンコーダを使用して、5種類のモードに属するノードの特徴の埋め込みを自然に学習する。 この結果から,任意の知識グラフからエンド・ツー・エンドのマルチモーダル学習が可能であることが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Knowledge graphs enable data scientists to learn end-to-end on heterogeneous knowledge. However, most end-to-end models solely learn from the relational information encoded in graphs' structure: raw values, encoded as literal nodes, are either omitted completely or treated as regular nodes without consideration for their values. In either case we lose potentially relevant information which could have otherwise been exploited by our learning methods. We propose a multimodal message passing network which not only learns end-to-end from the structure of graphs, but also from their possibly divers set of multimodal node features. Our model uses dedicated (neural) encoders to naturally learn embeddings for node features belonging to five different types of modalities, including numbers, texts, dates, images and geometries, which are projected into a joint representation space together with their relational information. We implement and demonstrate our model on node classification and link prediction for artificial and real-worlds datasets, and evaluate the effect that each modality has on the overall performance in an inverse ablation study. Our results indicate that end-to-end multimodal learning from any arbitrary knowledge graph is indeed possible, and that including multimodal information can significantly affect performance, but that much depends on the characteristics of the data.
• Abstract（参考訳）: 知識グラフは、データサイエンティストが異質な知識をエンドツーエンドで学習することを可能にする。 しかし、ほとんどのエンドツーエンドモデルは、グラフの構造に符号化された関係情報からのみ学習する:生の値はリテラルノードとして符号化され、その値を考慮して完全に省略されるか、正規ノードとして扱われる。 いずれの場合も、学習方法によって悪用された可能性のある潜在的な関連情報が失われます。 本稿では,グラフ構造からエンドツーエンドを学習するだけでなく,多モーダルノードの機能セットから多モーダルメッセージパッシングネットワークを提案する。 本モデルでは, 数値, テキスト, 日付, 画像, ジオメトリを含む5種類のノード特徴の埋め込みを, 関係情報とともに共同表現空間に投影する専用(神経)エンコーダを用いて自然に学習する。 実世界のデータセットに対するノード分類とリンク予測のモデルの実装と実証を行い、逆アブレーション研究において各モードが全体的な性能に与える影響を評価する。 その結果,任意の知識グラフからエンド・ツー・エンドのマルチモーダル学習が可能であり,マルチモーダル情報を含むことは性能に大きく影響するが,その特性に大きく依存することが示された。

関連論文リスト

• Representation learning in multiplex graphs: Where and how to fuse information? [5.0235828656754915]
  多重グラフはよりリッチな情報を持ち、より良いモデリング機能を提供し、潜在的に異なるソースからより詳細なデータを統合する。 本稿では,マルチプレックスネットワークにおけるノードの表現を教師なしあるいは自己管理的に学習する問題に対処する。 多重グラフを扱うGNNアーキテクチャの構築方法の改善を提案する。
  論文  参考訳（メタデータ） (2024-02-27T21:47:06Z)
• DGNN: Decoupled Graph Neural Networks with Structural Consistency between Attribute and Graph Embedding Representations [62.04558318166396]
  グラフニューラルネットワーク(GNN)は、複雑な構造を持つグラフ上での表現学習の堅牢性を示す。 ノードのより包括的な埋め込み表現を得るために、Decoupled Graph Neural Networks (DGNN)と呼ばれる新しいGNNフレームワークが導入された。 複数のグラフベンチマークデータセットを用いて、ノード分類タスクにおけるDGNNの優位性を検証した。
  論文  参考訳（メタデータ） (2024-01-28T06:43:13Z)
• KMF: Knowledge-Aware Multi-Faceted Representation Learning for Zero-Shot Node Classification [75.95647590619929]
  Zero-Shot Node Classification (ZNC)は、グラフデータ分析において、新しく重要なタスクである。 ラベルセマンティクスの豊かさを向上する知識認識型多面的フレームワーク(KMF)を提案する。 ノード情報集約によるプロトタイプドリフトの問題を軽減するために,新しい幾何学的制約を開発した。
  論文  参考訳（メタデータ） (2023-08-15T02:38:08Z)
• Recognizing Unseen Objects via Multimodal Intensive Knowledge Graph Propagation [68.13453771001522]
  画像の領域と対応するセマンティック埋め込みとをマッチングする多モード集中型ZSLフレームワークを提案する。 我々は、大規模な実世界のデータに基づいて、広範囲な実験を行い、そのモデルを評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:07:48Z)
• Learning Representations without Compositional Assumptions [79.12273403390311]
  本稿では,特徴集合をグラフノードとして表現し,それらの関係を学習可能なエッジとして表現することで,特徴集合の依存関係を学習するデータ駆動型アプローチを提案する。 また,複数のビューから情報を動的に集約するために,より小さな潜在グラフを学習する新しい階層グラフオートエンコーダLEGATOを導入する。
  論文  参考訳（メタデータ） (2023-05-31T10:36:10Z)
• Learning Strong Graph Neural Networks with Weak Information [64.64996100343602]
  我々は、弱い情報(GLWI)を用いたグラフ学習問題に対する原則的アプローチを開発する。 非完全構造を持つ入力グラフ上で長距離情報伝搬を行うデュアルチャネルGNNフレームワークであるD$2$PTを提案するが、グローバルな意味的類似性を符号化するグローバルグラフも提案する。
  論文  参考訳（メタデータ） (2023-05-29T04:51:09Z)
• PersonaSAGE: A Multi-Persona Graph Neural Network [27.680820534771485]
  我々はPersonaSAGEと呼ばれるペルソナベースのグラフニューラルネットワークフレームワークを開発し、グラフの各ノードに対する複数のペルソナベースの埋め込みを学習する。 PersonaSAGEはグラフ内の各ノードに対して適切なペルソナ埋め込みのセットを学習し、各ノードに割り当てられたペルソナ埋め込みの数が異なる可能性がある。 リンク予測を含む様々な重要なタスクに対して,ペルソナサージの有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2022-12-28T05:50:38Z)
• Graph Representation Learning by Ensemble Aggregating Subgraphs via Mutual Information Maximization [5.419711903307341]
  グラフニューラルネットワークが学習するグラフレベルの表現を高めるための自己監視型学習法を提案する。 グラフ構造を網羅的に理解するために,サブグラフ法のようなアンサンブル学習を提案する。 また, 効率的かつ効果的な対位学習を実現するために, ヘッドテールコントラストサンプル構築法を提案する。
  論文  参考訳（メタデータ） (2021-03-24T12:06:12Z)
• Learning the Implicit Semantic Representation on Graph-Structured Data [57.670106959061634]
  グラフ畳み込みネットワークにおける既存の表現学習手法は主に、各ノードの近傍を知覚全体として記述することで設計される。 本稿では,グラフの潜在意味パスを学習することで暗黙的な意味を探索する意味グラフ畳み込みネットワーク(sgcn)を提案する。
  論文  参考訳（メタデータ） (2021-01-16T16:18:43Z)
• End-to-End Entity Classification on Multimodal Knowledge Graphs [0.0]
  本稿では,グラフ構造からエンドツーエンドを学習するマルチモーダルメッセージパッシングネットワークを提案する。 我々のモデルは、専用(神経)エンコーダを使用して、5種類のモードに属するノードの特徴の埋め込みを自然に学習する。 私たちの結果は、複数のモダリティからの情報を含めることで、モデル全体のパフォーマンスが向上する、という私たちの仮説を支持します。
  論文  参考訳（メタデータ） (2020-03-25T14:57:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。