論文の概要: DSparsE: Dynamic Sparse Embedding for Knowledge Graph Completion
- arxiv url: http://arxiv.org/abs/2410.07140v1
- Date: Sun, 22 Sep 2024 08:25:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-10 15:26:53.945529
- Title: DSparsE: Dynamic Sparse Embedding for Knowledge Graph Completion
- Title（参考訳）: DSparsE:知識グラフ補完のための動的スパース埋め込み
- Authors: Chuhong Yang, Bin Li, Nan Wu,
- Abstract要約: 知識グラフ補完のための動的スパース埋め込み(DSparsE)と呼ばれる新しい手法を提案する。
提案モデルでは,入力されたエンティティ-リレーションペアを動的層と関係対応層からなる浅層に埋め込む。
提案手法は,既存のベースライン手法と比較して,Hits@1の観点から最先端性能を実現することを実証した。
- 参考スコア（独自算出の注目度）: 10.963560900106835
- License:
- Abstract: Addressing the incompleteness problem in knowledge graph remains a significant challenge. Current knowledge graph completion methods have their limitations. For example, ComDensE is prone to overfitting and suffers from the degradation with the increase of network depth while InteractE has the limitations in feature interaction and interpretability. To this end, we propose a new method called dynamic sparse embedding (DSparsE) for knowledge graph completion. The proposed model embeds the input entity-relation pairs by a shallow encoder composed of a dynamic layer and a relation-aware layer. Subsequently, the concatenated output of the dynamic layer and relation-aware layer is passed through a projection layer and a deep decoder with residual connection structure. This model ensures the network robustness and maintains the capability of feature extraction. Furthermore, the conventional dense layers are replaced by randomly initialized sparse connection layers in the proposed method, which can mitigate the model overfitting. Finally, comprehensive experiments are conducted on the datasets of FB15k-237, WN18RR and YAGO3-10. It was demonstrated that the proposed method achieves the state-of-the-art performance in terms of Hits@1 compared to the existing baseline approaches. An ablation study is performed to examine the effects of the dynamic layer and relation-aware layer, where the combined model achieves the best performance.
- Abstract（参考訳）: 知識グラフにおける不完全性の問題に対処することは依然として大きな課題である。
現在の知識グラフ補完法には限界がある。
例えば、ComDensEはオーバーフィットする傾向があり、ネットワーク深度の増加による劣化に悩まされる一方、InteractEは機能の相互作用と解釈可能性に制限がある。
そこで本研究では,知識グラフ補完のための動的スパース埋め込み (DSparsE) と呼ばれる新しい手法を提案する。
提案モデルでは, 動的層と関係認識層からなる浅層エンコーダにより, 入力エンティティ-リレーションペアを埋め込む。
その後、ダイナミック層とリレーションアウェア層の連結出力を、残りの接続構造を有するプロジェクション層とディープデコーダとを通す。
このモデルはネットワークの堅牢性を保証し、特徴抽出の能力を維持する。
さらに,従来の高密度層をランダムに初期化したスパース接続層に置き換えることにより,モデルオーバーフィッティングを緩和する。
最後に、FB15k-237、WN18RR、YAGO3-10のデータセットについて包括的な実験を行った。
提案手法は,既存のベースライン手法と比較して,Hits@1の観点から最先端性能を実現することを実証した。
動的層と関係認識層の効果を比較検討するためにアブレーション実験を行った。
関連論文リスト
- Language Models as Zero-shot Lossless Gradient Compressors: Towards
General Neural Parameter Prior Models [66.1595537904019]
大型言語モデル(LLM)はゼロショット設定でグラデーション先行として振る舞うことができる。
本稿では,LSMと算術符号を統合する新しい手法であるLM-GCを紹介する。
論文 参考訳（メタデータ） (2024-09-26T13:38:33Z) - Achieving Byzantine-Resilient Federated Learning via Layer-Adaptive Sparsified Model Aggregation [7.200910949076064]
フェデレートラーニング(FL)は、複数のクライアントがローカルデータを共有せずに、協調的にモデルをトレーニングすることを可能にする。
しかし、FLシステムは、悪質なモデルの更新をアップロードすることでモデルのトレーニングプロセスを妨害することを目的とした、よく設計されたByzantine攻撃に対して脆弱である。
本稿では,階層的適応アグリゲーションと事前アグリゲーション・スパリフィケーションを組み合わせたLayer-Adaptive Sparsified Model Aggregation(LASA)手法を提案する。
論文 参考訳（メタデータ） (2024-09-02T19:28:35Z) - Strengthening Layer Interaction via Dynamic Layer Attention [12.341997220052486]
既存のレイヤーアテンション手法は固定された特徴写像上の層間相互作用を静的に達成する。
注意機構の動的コンテキスト表現能力を復元するために,動的レイヤアテンションアーキテクチャを提案する。
実験の結果,提案したDLAアーキテクチャの有効性が示され,画像認識や物体検出タスクにおける他の最先端手法よりも優れていた。
論文 参考訳（メタデータ） (2024-06-19T09:35:14Z) - Layer-wise Linear Mode Connectivity [52.6945036534469]
ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。
フェデレートラーニングにおいて最も顕著に用いられている。
私たちは、単一グループやグループを平均化するモデルの性能を分析します。
論文 参考訳（メタデータ） (2023-07-13T09:39:10Z) - AGNN: Alternating Graph-Regularized Neural Networks to Alleviate
Over-Smoothing [29.618952407794776]
グラフ畳み込み層(GCL)とグラフ埋め込み層(GEL)からなる交代グラフ正規化ニューラルネットワーク(AGNN)を提案する。
GELはラプラシアン埋め込み項を含むグラフ正規化最適化から導かれる。
AGNNは、いくつかの多層または多次グラフニューラルネットワークのパフォーマンス比較を含む、多数の実験を通じて評価されている。
論文 参考訳（メタデータ） (2023-04-14T09:20:03Z) - Deep Manifold Learning with Graph Mining [80.84145791017968]
グラフマイニングのための非段階的決定層を持つ新しいグラフ深層モデルを提案する。
提案モデルでは,現行モデルと比較して最先端性能を実現している。
論文 参考訳（メタデータ） (2022-07-18T04:34:08Z) - ComDensE : Combined Dense Embedding of Relation-aware and Common
Features for Knowledge Graph Completion [3.771779364624616]
ニューラルネットワークを用いた相関認識と共通特徴を組み合わせたComDensEを提案する。
ComDensEは、MRR、FB15k-237のHIT@1、WN18RRのHIT@1のリンク予測における最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2022-06-29T22:04:07Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳（メタデータ） (2022-05-11T17:43:54Z) - Rethinking Skip Connection with Layer Normalization in Transformers and
ResNets [49.87919454950763]
スキップ接続は、ディープニューラルネットワークの性能を改善するために広く使われているテクニックである。
本研究では,スキップ接続の有効性におけるスケール要因について検討する。
論文 参考訳（メタデータ） (2021-05-15T11:44:49Z) - Accumulated Decoupled Learning: Mitigating Gradient Staleness in
Inter-Layer Model Parallelization [16.02377434191239]
本稿では, 定常勾配効果を緩和するために, 勾配累積法を取り入れた累積非結合学習(ADL)を提案する。
提案手法は, 非同期性にもかかわらず, 臨界点, すなわち勾配が0に収束することを示す。
ADLは分類タスクにおいていくつかの最先端技術よりも優れており、比較手法の中では最速である。
論文 参考訳（メタデータ） (2020-12-03T11:52:55Z) - Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。
一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。
本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文 参考訳（メタデータ） (2020-06-16T13:41:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。