論文の概要: From Wide to Deep: Dimension Lifting Network for Parameter-efficient
Knowledge Graph Embedding
- arxiv url: http://arxiv.org/abs/2303.12816v2
- Date: Mon, 26 Jun 2023 02:45:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-27 23:20:09.360701
- Title: From Wide to Deep: Dimension Lifting Network for Parameter-efficient
Knowledge Graph Embedding
- Title（参考訳）: 幅広から深部まで:パラメータ効率の知識グラフ埋め込みのための次元リフティングネットワーク
- Authors: Borui Cai, Yong Xiang, Longxiang Gao, Di Wu, He Zhang, Jiong Jin, Tom
Luan
- Abstract要約: エンティティと関係をベクトル表現にマッピングする知識グラフ埋め込み(KGE)は下流タスクに不可欠である。
近年の手法では、低次元の実体表現を採用することでモデルパラメータを削減し、縮小次元を補償する手法を開発した。
本稿では, エンティティ表現のためのより深い埋め込みネットワーク, すなわち, 狭い埋め込み層と多層次元リフトネットワークを提案する。
- 参考スコア（独自算出の注目度）: 22.73237433041757
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Knowledge graph embedding (KGE) that maps entities and relations into vector
representations is essential for downstream tasks. Conventional KGE methods
require relatively high-dimensional entity representations to preserve the
structural information of knowledge graph, but lead to oversized model
parameters. Recent methods reduce model parameters by adopting low-dimensional
entity representations, while developing techniques (e.g., knowledge
distillation) to compensate for the reduced dimension. However, such operations
produce degraded model accuracy and limited reduction of model parameters.
Specifically, we view the concatenation of all entity representations as an
embedding layer, and then conventional KGE methods that adopt high-dimensional
entity representations equal to enlarging the width of the embedding layer to
gain expressiveness. To achieve parameter efficiency without sacrificing
accuracy, we instead increase the depth and propose a deeper embedding network
for entity representations, i.e., a narrow embedding layer and a multi-layer
dimension lifting network (LiftNet). Experiments on three public datasets show
that the proposed method (implemented based on TransE and DistMult) with
4-dimensional entity representations achieves more accurate link prediction
results than counterpart parameter-efficient KGE methods and strong KGE
baselines, including TransE and DistMult with 512-dimensional entity
representations.
- Abstract（参考訳）: エンティティと関係をベクトル表現にマッピングする知識グラフ埋め込み(KGE)は下流タスクに不可欠である。
従来のKGE法は知識グラフの構造情報を保存するために比較的高次元の実体表現を必要とするが、大きすぎるモデルパラメータをもたらす。
近年の手法では、低次元の実体表現を採用することでモデルパラメータを減らすとともに、縮小次元を補う技術(例えば、知識蒸留)を開発する。
しかし、そのような操作はモデルの精度を低下させ、モデルのパラメータを限定的に削減する。
具体的には、すべての実体表現の連結を埋め込み層とみなし、次に、埋め込み層の幅を拡大して表現性を得るのに等しい高次元実体表現を採用する従来のKGE手法を考察する。
精度を犠牲にすることなくパラメータ効率を実現するため,より深度を高くし,細い埋め込み層と多層リフトネットワーク(LiftNet)というエンティティ表現のためのより深い埋め込みネットワークを提案する。
3つの公開データセットを用いた実験により, 4次元実体表現を用いた提案手法(TransEとDistMultをベースとした実装)は, 512次元実体表現を持つTransEやDistMultを含む,対応するパラメータ効率の高いKGE法や強力なKGEベースラインよりも正確なリンク予測結果が得られることが示された。
関連論文リスト
- GFN: A graph feedforward network for resolution-invariant reduced operator learning in multifidelity applications [0.0]
本研究は,多忠実度アプリケーションのための新しい分解能不変モデルオーダー削減戦略を提案する。
我々はこの研究で開発された新しいニューラルネットワーク層、グラフフィードフォワードネットワークに基づいてアーキテクチャを構築した。
パラメトリックな偏微分方程式に対する自己エンコーダに基づく還元戦略において,異なるメッシュサイズでのトレーニングとテストの能力を利用する。
論文 参考訳（メタデータ） (2024-06-05T18:31:37Z) - Block-Diagonal Orthogonal Relation and Matrix Entity for Knowledge Graph Embedding [5.463034010805521]
知識グラフ埋め込み (KGE) は、実体の低次元表現と、行方不明な事実を予測するための関係を学習することである。
我々は,エンティティの行列と関係のブロック対角行列を用いた新しいKGEモデルOrthogonalEを紹介する。
実験結果から,我々の新しいKGEモデルOrthogonalEは汎用的かつ柔軟であり,最先端のKGEモデルよりも優れていたことが示唆された。
論文 参考訳（メタデータ） (2024-01-11T15:13:00Z) - Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。
具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
論文 参考訳（メタデータ） (2023-12-03T13:50:24Z) - ClusVPR: Efficient Visual Place Recognition with Clustering-based
Weighted Transformer [13.0858576267115]
ClusVPRは重複する領域における冗長な情報の特定の問題と、小さなオブジェクトの表現に対処する新しいアプローチである。
ClusVPRはClustering-based weighted Transformer Network (CWTNet)と呼ばれるユニークなパラダイムを導入した
また,パラメータ数を大幅に削減し,モデル効率を向上させる最適化VLAD層を導入する。
論文 参考訳（メタデータ） (2023-10-06T09:01:15Z) - Network Alignment with Transferable Graph Autoencoders [79.89704126746204]
本稿では,強力で堅牢なノード埋め込みを抽出するグラフオートエンコーダアーキテクチャを提案する。
生成した埋め込みがグラフの固有値と固有ベクトルと結びついていることを証明する。
提案フレームワークは転送学習とデータ拡張を利用して,大規模なネットワークアライメントを実現する。
論文 参考訳（メタデータ） (2023-10-05T02:58:29Z) - Quaternion-Based Graph Convolution Network for Recommendation [45.005089037955536]
Graph Convolution Network (GCN) はリコメンデータシステムで広く利用されている。
GCNは実世界でよく見られるノイズや不完全グラフに弱い。
本稿では,Queternion-based Graph Convolution Network (QGCN)レコメンデーションモデルを提案する。
論文 参考訳（メタデータ） (2021-11-20T07:42:18Z) - Spatio-Temporal Inception Graph Convolutional Networks for
Skeleton-Based Action Recognition [126.51241919472356]
我々はスケルトンに基づく行動認識のためのシンプルで高度にモジュール化されたグラフ畳み込みネットワークアーキテクチャを設計する。
ネットワークは,空間的および時間的経路から多粒度情報を集約するビルディングブロックを繰り返すことで構築される。
論文 参考訳（メタデータ） (2020-11-26T14:43:04Z) - Lightweight, Dynamic Graph Convolutional Networks for AMR-to-Text
Generation [56.73834525802723]
軽量な動的グラフ畳み込みネットワーク (LDGCN) を提案する。
LDGCNは入力グラフから高次情報を合成することにより、よりリッチな非局所的な相互作用をキャプチャする。
我々は,グループグラフの畳み込みと重み付き畳み込みに基づく2つの新しいパラメータ保存戦略を開発し,メモリ使用量とモデル複雑性を低減する。
論文 参考訳（メタデータ） (2020-10-09T06:03:46Z) - SCG-Net: Self-Constructing Graph Neural Networks for Semantic
Segmentation [23.623276007011373]
本稿では,画像から直接長距離依存グラフを学習し,コンテキスト情報を効率的に伝達するモジュールを提案する。
モジュールは、新しい適応対角法と変分下界により最適化される。
ニューラルネットワーク(SCG-Net)に組み込まれると、セマンティックセグメンテーションがエンドツーエンドで行われ、競争性能が向上する。
論文 参考訳（メタデータ） (2020-09-03T12:13:09Z) - Mix Dimension in Poincar\'{e} Geometry for 3D Skeleton-based Action
Recognition [57.98278794950759]
グラフ畳み込みネットワーク(GCN)はすでに、不規則なデータをモデル化する強力な能力を実証している。
本稿では,ポアンカー幾何学を用いて定義した空間時空間GCNアーキテクチャを提案する。
提案手法を,現在最大規模の2つの3次元データセット上で評価する。
論文 参考訳（メタデータ） (2020-07-30T18:23:18Z) - Pre-Trained Models for Heterogeneous Information Networks [57.78194356302626]
異種情報ネットワークの特徴を捉えるための自己教師付き事前学習・微調整フレームワークPF-HINを提案する。
PF-HINは4つのデータセットにおいて、各タスクにおける最先端の代替よりも一貫して、大幅に優れています。
論文 参考訳（メタデータ） (2020-07-07T03:36:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。