論文の概要: Convolutional Hypercomplex Embeddings for Link Prediction

• arxiv url: http://arxiv.org/abs/2106.15230v1
• Date: Tue, 29 Jun 2021 10:26:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-30 15:17:52.906671
• Title: Convolutional Hypercomplex Embeddings for Link Prediction
• Title（参考訳）: リンク予測のための畳み込みハイパープレックス埋め込み
• Authors: Caglar Demir, Diego Moussallem, Stefan Heindorf, Axel-Cyrille Ngonga Ngomo
• Abstract要約: 本稿では,リンク予測問題に対処するため,QMult,OMult,ConvQ,ConvOを提案する。 QMult、OMult、ConvQ、ConvOは、残留学習フレームワークにインスパイアされた方法で畳み込み操作を含めることで、QMultとOMultの上に構築する。 我々は,WN18RR,FB15K-237,YAGO3-10を含む7つのリンク予測データセットに対するアプローチを評価した。
• 参考スコア（独自算出の注目度）: 2.6209112069534046
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Knowledge graph embedding research has mainly focused on the two smallest normed division algebras, $\mathbb{R}$ and $\mathbb{C}$. Recent results suggest that trilinear products of quaternion-valued embeddings can be a more effective means to tackle link prediction. In addition, models based on convolutions on real-valued embeddings often yield state-of-the-art results for link prediction. In this paper, we investigate a composition of convolution operations with hypercomplex multiplications. We propose the four approaches QMult, OMult, ConvQ and ConvO to tackle the link prediction problem. QMult and OMult can be considered as quaternion and octonion extensions of previous state-of-the-art approaches, including DistMult and ComplEx. ConvQ and ConvO build upon QMult and OMult by including convolution operations in a way inspired by the residual learning framework. We evaluated our approaches on seven link prediction datasets including WN18RR, FB15K-237 and YAGO3-10. Experimental results suggest that the benefits of learning hypercomplex-valued vector representations become more apparent as the size and complexity of the knowledge graph grows. ConvO outperforms state-of-the-art approaches on FB15K-237 in MRR, Hit@1 and Hit@3, while QMult, OMult, ConvQ and ConvO outperform state-of-the-approaches on YAGO3-10 in all metrics. Results also suggest that link prediction performances can be further improved via prediction averaging. To foster reproducible research, we provide an open-source implementation of approaches, including training and evaluation scripts as well as pretrained models.
• Abstract（参考訳）: 知識グラフ埋め込みの研究は主に2つの最小ノルム分割代数、$\mathbb{R}$と$\mathbb{C}$に焦点を当てている。 最近の結果は、四元価値埋め込みの三線型積がリンク予測に取り組むためのより効果的な手段であることを示唆している。 さらに、実数値埋め込みの畳み込みに基づくモデルはしばしばリンク予測のための最先端の結果をもたらす。 本稿では,超複素乗算を用いた畳み込み演算の構成について検討する。 本稿では,リンク予測問題に対処するため,QMult,OMult,ConvQ,ConvOの4つのアプローチを提案する。 QMult と OMult は、DistMult や ComplEx を含む従来の最先端アプローチの四元数拡張と八元数拡張と見なすことができる。 ConvQとConvOは、残留学習フレームワークにインスパイアされた方法で畳み込み操作を含めることで、QMultとOMultの上に構築する。 我々は,WN18RR,FB15K-237,YAGO3-10を含む7つのリンク予測データセットについて検討した。 実験結果から,知識グラフのサイズや複雑さが大きくなるにつれて,超複素数値ベクトル表現の学習のメリットがより明らかになることが示された。 ConvOは、MRR、Hit@1、Hit@3のFB15K-237における最先端のアプローチよりも優れており、QMult、OMult、ConvQ、ConvOは、YAGO3-10における最先端のアプローチよりも優れています。 また,予測平均化によってリンク予測の性能がさらに向上することが示唆された。 再現可能な研究を促進するために,我々は,事前学習されたモデルだけでなく,トレーニングや評価スクリプトを含むアプローチのオープンソース実装を提供する。

関連論文リスト

• Understanding Augmentation-based Self-Supervised Representation Learning via RKHS Approximation and Regression [53.15502562048627]
  最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。 この研究は、増強に基づく事前訓練の統計的分析に発展する。
  論文  参考訳（メタデータ） (2023-06-01T15:18:55Z)
• Quaternion-valued Correlation Learning for Few-Shot Semantic Segmentation [33.88445464404075]
  Few-shot segmentation (FSS)は、少数のサンプルしか与えられていないクラスをセグメントすることを目的としている。 相関学習に関する四元数視点を導入し、新しい四元数評価相関学習ネットワーク(QCLNet)を提案する。 我々のQCLNetは超複素値ネットワークとして定式化され、四元数値畳み込みを用いてクエリ部分空間の外部関係を探索する四元数領域の相関テンソルを表す。
  論文  参考訳（メタデータ） (2023-05-12T06:56:22Z)
• Normalizing Flow-based Neural Process for Few-Shot Knowledge Graph Completion [69.55700751102376]
  FKGC (Few-shot Knowledge Graph completion) は、失明した事実を、無意味な関連のある事実で予測することを目的としている。 既存のFKGC手法はメートル法学習やメタラーニングに基づいており、しばしば分布外や過度に適合する問題に悩まされる。 本稿では,数ショット知識グラフ補完(NP-FKGC)のためのフローベースニューラルプロセスの正規化を提案する。
  論文  参考訳（メタデータ） (2023-04-17T11:42:28Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Out-of-Vocabulary Entities in Link Prediction [1.9036571490366496]
  リンク予測はしばしば、埋め込みの品質を評価するプロキシとして使用される。 ベンチマークはアルゴリズムの公正な比較に欠かせないため、より良いソリューションを開発するための確固たる基盤を提供するため、その品質が確実に確保される。 我々は、そのようなエンティティの発見と削除のためのアプローチの実装を提供し、データセットWN18RR、FB15K-237、YAGO3-10の修正版を提供する。
  論文  参考訳（メタデータ） (2021-05-26T12:58:18Z)
• Why Approximate Matrix Square Root Outperforms Accurate SVD in Global Covariance Pooling? [59.820507600960745]
  本稿では,前方通過のSVDと後方伝播のPad'e近似を用いて勾配を計算する新しいGCPメタ層を提案する。 提案するメタレイヤは,さまざまなCNNモデルに統合され,大規模および微細なデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-05-06T08:03:45Z)
• A shallow neural model for relation prediction [2.2559617939136505]
  本稿では,エンティティからの欠落関係を正確に推測する浅層神経モデル(shallom)を提案する。 本実験は、SHALLOMがFB15K-237およびWN18RRデータセットにおける最先端のアプローチを上回っていることを示しています。
  論文  参考訳（メタデータ） (2021-01-22T13:10:11Z)
• Knowledge Generation -- Variational Bayes on Knowledge Graphs [0.685316573653194]
  この論文は、現実世界の知識グラフの表現に関するVari Auto-Encoder (VAE) の概念実証である。 生成グラフへのアプローチの成功に触発されて,本モデルである変分オートエンコーダ(rgvae)の能力を評価する。 RGVAEはリンク予測に基づいて評価される。 2つのFB15K-237およびWN18RRデータセットの平均相互ランク(MRR)スコアを比較します。 2次実験における潜伏空間について検討する:まず、2つの三重項の潜伏表現の間の線型、そして各三重項の探索
  論文  参考訳（メタデータ） (2021-01-21T21:23:17Z)
• RatE: Relation-Adaptive Translating Embedding for Knowledge Graph Completion [51.64061146389754]
  複素空間における新たな重み付き積の上に構築された関係適応変換関数を提案する。 次に、関係適応型翻訳埋め込み(RatE)アプローチを示し、各グラフを3倍にスコアする。
  論文  参考訳（メタデータ） (2020-10-10T01:30:30Z)
• Convolutional Complex Knowledge Graph Embeddings [1.1650381752104297]
  複素数値埋め込みベクトルのエルミート内積との2次元畳み込みを利用して、欠落リンクを推論するConExと呼ばれる新しい手法を提案する。 We evaluate ConEx against state-of-the-art approach on the WN18RR, FB15K-237, KINSHIP and UMLS benchmark datasets。
  論文  参考訳（メタデータ） (2020-08-07T12:49:01Z)
• Heuristic Semi-Supervised Learning for Graph Generation Inspired by Electoral College [80.67842220664231]
  本稿では,新たなノードやエッジを自動的に拡張して,高密度サブグラフ内のラベル類似性を向上する,新しい前処理手法であるElectoral College(ELCO)を提案する。 テストされたすべての設定において、我々の手法はベースモデルの平均スコアを4.7ポイントの広いマージンで引き上げるとともに、常に最先端のモデルよりも優れています。
  論文  参考訳（メタデータ） (2020-06-10T14:48:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。