論文の概要: End-to-End Entity Classification on Multimodal Knowledge Graphs
- arxiv url: http://arxiv.org/abs/2003.12383v1
- Date: Wed, 25 Mar 2020 14:57:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-20 02:32:00.444147
- Title: End-to-End Entity Classification on Multimodal Knowledge Graphs
- Title(参考訳): マルチモーダル知識グラフを用いたエンドツーエンドエンティティ分類
- Authors: W.X. Wilcke (1), P. Bloem (1), V. de Boer (1), R.H. van t Veer (2),
F.A.H. van Harmelen (1) ((1) Department of Computer Science Vrije
Universiteit Amsterdam The Netherlands, (2) Geodan Amsterdam The Netherlands)
- Abstract要約: 本稿では,グラフ構造からエンドツーエンドを学習するマルチモーダルメッセージパッシングネットワークを提案する。
我々のモデルは、専用(神経)エンコーダを使用して、5種類のモードに属するノードの特徴の埋め込みを自然に学習する。
私たちの結果は、複数のモダリティからの情報を含めることで、モデル全体のパフォーマンスが向上する、という私たちの仮説を支持します。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: End-to-end multimodal learning on knowledge graphs has been left largely
unaddressed. Instead, most end-to-end models such as message passing networks
learn solely from the relational information encoded in graphs' structure: raw
values, or literals, are either omitted completely or are stripped from their
values and treated as regular nodes. In either case we lose potentially
relevant information which could have otherwise been exploited by our learning
methods. To avoid this, we must treat literals and non-literals as separate
cases. We must also address each modality separately and accordingly: numbers,
texts, images, geometries, et cetera. We propose a multimodal message passing
network which not only learns end-to-end from the structure of graphs, but also
from their possibly divers set of multimodal node features. Our model uses
dedicated (neural) encoders to naturally learn embeddings for node features
belonging to five different types of modalities, including images and
geometries, which are projected into a joint representation space together with
their relational information. We demonstrate our model on a node classification
task, and evaluate the effect that each modality has on the overall
performance. Our result supports our hypothesis that including information from
multiple modalities can help our models obtain a better overall performance.
- Abstract(参考訳): 知識グラフにおけるエンドツーエンドのマルチモーダル学習は、ほとんど適用されていない。
代わりに、メッセージパッシングネットワークのようなほとんどのエンドツーエンドモデルは、グラフの構造に符号化された関係情報からのみ学習する: 生値またはリテラルは、完全に省略されるか、それらの値から取り除かれ、通常のノードとして扱われる。
いずれの場合も、学習方法によって悪用された可能性のある潜在的な関連情報が失われます。
これを避けるためには、リテラルと非リテラルを別々のケースとして扱う必要がある。
数字、テキスト、画像、ジオメトリなど、それぞれのモダリティも別々に扱う必要があります。
本稿では,グラフ構造からエンドツーエンドを学習するだけでなく,多モーダルノードの機能セットから多モーダルメッセージパッシングネットワークを提案する。
本モデルでは,画像やジオメトリを含む5種類のモードに属するノードの特徴の埋め込みを,リレーショナル情報とともに共同表現空間に投影する専用(神経)エンコーダを用いて自然に学習する。
我々は,ノード分類タスクにおけるモデルを示し,各モダリティが全体の性能に与える影響を評価する。
私たちの結果は、複数のモダリティからの情報を含めることで、モデル全体のパフォーマンスを向上させることができるという仮説を支持します。
関連論文リスト
- Representation learning in multiplex graphs: Where and how to fuse
information? [5.0235828656754915]
多重グラフはよりリッチな情報を持ち、より良いモデリング機能を提供し、潜在的に異なるソースからより詳細なデータを統合する。
本稿では,マルチプレックスネットワークにおけるノードの表現を教師なしあるいは自己管理的に学習する問題に対処する。
多重グラフを扱うGNNアーキテクチャの構築方法の改善を提案する。
論文 参考訳(メタデータ) (2024-02-27T21:47:06Z) - End-to-End Learning on Multimodal Knowledge Graphs [0.0]
本稿では,グラフ構造からエンドツーエンドを学習するマルチモーダルメッセージパッシングネットワークを提案する。
我々のモデルは、専用(神経)エンコーダを使用して、5種類のモードに属するノードの特徴の埋め込みを自然に学習する。
この結果から,任意の知識グラフからエンド・ツー・エンドのマルチモーダル学習が可能であることが示唆された。
論文 参考訳(メタデータ) (2023-09-03T13:16:18Z) - KMF: Knowledge-Aware Multi-Faceted Representation Learning for Zero-Shot
Node Classification [75.95647590619929]
Zero-Shot Node Classification (ZNC)は、グラフデータ分析において、新しく重要なタスクである。
ラベルセマンティクスの豊かさを向上する知識認識型多面的フレームワーク(KMF)を提案する。
ノード情報集約によるプロトタイプドリフトの問題を軽減するために,新しい幾何学的制約を開発した。
論文 参考訳(メタデータ) (2023-08-15T02:38:08Z) - Learning Representations without Compositional Assumptions [79.12273403390311]
本稿では,特徴集合をグラフノードとして表現し,それらの関係を学習可能なエッジとして表現することで,特徴集合の依存関係を学習するデータ駆動型アプローチを提案する。
また,複数のビューから情報を動的に集約するために,より小さな潜在グラフを学習する新しい階層グラフオートエンコーダLEGATOを導入する。
論文 参考訳(メタデータ) (2023-05-31T10:36:10Z) - PersonaSAGE: A Multi-Persona Graph Neural Network [27.680820534771485]
我々はPersonaSAGEと呼ばれるペルソナベースのグラフニューラルネットワークフレームワークを開発し、グラフの各ノードに対する複数のペルソナベースの埋め込みを学習する。
PersonaSAGEはグラフ内の各ノードに対して適切なペルソナ埋め込みのセットを学習し、各ノードに割り当てられたペルソナ埋め込みの数が異なる可能性がある。
リンク予測を含む様々な重要なタスクに対して,ペルソナサージの有効性を示す実験を行った。
論文 参考訳(メタデータ) (2022-12-28T05:50:38Z) - Multi-view Graph Convolutional Networks with Differentiable Node
Selection [29.575611350389444]
差別化可能なノード選択(MGCN-DNS)を備えた多視点グラフ畳み込みネットワーク(Multi-view Graph Convolutional Network)を提案する。
MGCN-DNSは、マルチチャネルグラフ構造データを入力として受け入れ、微分可能なニューラルネットワークを通じてより堅牢なグラフ融合を学ぶことを目的としている。
提案手法の有効性は,最先端手法と厳密な比較により検証した。
論文 参考訳(メタデータ) (2022-12-09T21:48:36Z) - Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。
完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。
本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
論文 参考訳(メタデータ) (2022-09-20T14:41:37Z) - A Robust Stacking Framework for Training Deep Graph Models with
Multifaceted Node Features [61.92791503017341]
数値ノード特徴とグラフ構造を入力とするグラフニューラルネットワーク(GNN)は,グラフデータを用いた各種教師付き学習タスクにおいて,優れた性能を示した。
IID(non-graph)データをGNNに簡単に組み込むことはできない。
本稿では、グラフ認識の伝播をIDデータに意図した任意のモデルで融合するロバストな積み重ねフレームワークを提案する。
論文 参考訳(メタデータ) (2022-06-16T22:46:33Z) - GraphFormers: GNN-nested Transformers for Representation Learning on
Textual Graph [53.70520466556453]
階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。
提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。
さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
論文 参考訳(メタデータ) (2021-05-06T12:20:41Z) - Unsupervised Differentiable Multi-aspect Network Embedding [52.981277420394846]
本稿では,asp2vecと呼ばれるマルチアスペクトネットワーク埋め込みのための新しいエンドツーエンドフレームワークを提案する。
提案するフレームワークは容易に異種ネットワークに拡張できる。
論文 参考訳(メタデータ) (2020-06-07T19:26:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。