論文の概要: Kronecker Decomposition for Knowledge Graph Embeddings

• arxiv url: http://arxiv.org/abs/2205.06560v1
• Date: Fri, 13 May 2022 11:11:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-16 12:35:06.367662
• Title: Kronecker Decomposition for Knowledge Graph Embeddings
• Title（参考訳）: 知識グラフ埋め込みのためのクロネッカー分解
• Authors: Caglar Demir and Julian Lienen and Axel-Cyrille Ngonga Ngomo
• Abstract要約: 知識グラフ埋め込みモデルにおけるパラメータ数を削減するために,Kronecker分解に基づく手法を提案する。 この分解により、3つの埋め込みベクトル間の要素的相互作用が各埋め込みベクトル内の相互作用によって拡張されることが保証される。 実験により,Kronecker分解を埋め込み行列に適用すると,全てのベンチマークデータセットのパラメータ効率が向上することが示唆された。
• 参考スコア（独自算出の注目度）: 5.49810117202384
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Knowledge graph embedding research has mainly focused on learning continuous representations of entities and relations tailored towards the link prediction problem. Recent results indicate an ever increasing predictive ability of current approaches on benchmark datasets. However, this effectiveness often comes with the cost of over-parameterization and increased computationally complexity. The former induces extensive hyperparameter optimization to mitigate malicious overfitting. The latter magnifies the importance of winning the hardware lottery. Here, we investigate a remedy for the first problem. We propose a technique based on Kronecker decomposition to reduce the number of parameters in a knowledge graph embedding model, while retaining its expressiveness. Through Kronecker decomposition, large embedding matrices are split into smaller embedding matrices during the training process. Hence, embeddings of knowledge graphs are not plainly retrieved but reconstructed on the fly. The decomposition ensures that elementwise interactions between three embedding vectors are extended with interactions within each embedding vector. This implicitly reduces redundancy in embedding vectors and encourages feature reuse. To quantify the impact of applying Kronecker decomposition on embedding matrices, we conduct a series of experiments on benchmark datasets. Our experiments suggest that applying Kronecker decomposition on embedding matrices leads to an improved parameter efficiency on all benchmark datasets. Moreover, empirical evidence suggests that reconstructed embeddings entail robustness against noise in the input knowledge graph. To foster reproducible research, we provide an open-source implementation of our approach, including training and evaluation scripts as well as pre-trained models in our knowledge graph embedding framework (https://github.com/dice-group/dice-embeddings).
• Abstract（参考訳）: 知識グラフ埋め込み研究は主にリンク予測問題に適した実体と関係の連続的な表現を学習することに焦点を当てている。 最近の結果は、ベンチマークデータセットに対する現在のアプローチの予測能力の増大を示している。 しかし、この効果はしばしば過パラメータ化と計算複雑性の増大によるコストが伴う。 前者は、悪意のあるオーバーフィッティングを軽減するために、広範なハイパーパラメータ最適化を誘導する。 後者は、ハードウェア宝くじに勝つことの重要性を拡大する。 ここでは,最初の問題に対する対策について検討する。 Kronecker分解に基づく手法を提案し,その表現性を保ちながら知識グラフ埋め込みモデルにおけるパラメータ数を削減する。 クロネッカー分解により、大きな埋め込み行列は訓練過程でより小さな埋め込み行列に分割される。 したがって、知識グラフの埋め込みは平易な検索ではなく、オンザフライで再構築される。 この分解は、3つの埋め込みベクトル間の要素的相互作用が各埋め込みベクトル内の相互作用によって拡張されることを保証する。 これにより、埋め込みベクトルの冗長性が暗黙的に減少し、機能の再利用が促進される。 Kronecker分解が埋め込み行列に与える影響を定量化するために、ベンチマークデータセット上で一連の実験を行う。 実験により,Kronecker分解を埋め込み行列に適用すると,全てのベンチマークデータセットのパラメータ効率が向上することが示唆された。 さらに、再構成された埋め込みは入力知識グラフにおける雑音に対する頑健性を伴うという実証的な証拠が示唆されている。 再現可能な研究を促進するため、我々は、知識グラフ埋め込みフレームワーク(https://github.com/dice-group/dice-embeddings)のトレーニングおよび評価スクリプト、事前学習されたモデルを含む、我々のアプローチのオープンソース実装を提供する。

関連論文リスト

• Activation Map Compression through Tensor Decomposition for Deep Learning [5.008189006630566]
  バックプロパゲーションの主なボトルネック、すなわちアクティベーションマップストレージのメモリフットプリントに取り組む。 低次分解の応用は、学習に不可欠な特徴を保ちながら、かなりのメモリ節約をもたらす。
  論文  参考訳（メタデータ） (2024-11-10T03:32:42Z)
• Amplify Graph Learning for Recommendation via Sparsity Completion [16.32861024767423]
  グラフ学習モデルは、協調フィルタリング(CF)ベースのレコメンデーションシステムに広くデプロイされている。 データ疎度の問題により、元の入力のグラフ構造は潜在的な肯定的な嗜好エッジを欠いている。 AGL-SC(Amplify Graph Learning framework)を提案する。
  論文  参考訳（メタデータ） (2024-06-27T08:26:20Z)
• CONVERT:Contrastive Graph Clustering with Reliable Augmentation [110.46658439733106]
  信頼性オーグメンテーション(CONVERT)を用いたContrastiVe Graph ClustEringネットワークを提案する。 本手法では,データ拡張を可逆的パーターブ・リカバリネットワークにより処理する。 セマンティクスの信頼性をさらに保証するために、ネットワークを制約する新たなセマンティクス損失が提示される。
  論文  参考訳（メタデータ） (2023-08-17T13:07:09Z)
• Gradient-Based Spectral Embeddings of Random Dot Product Graphs [7.612218105739107]
  本稿では,RDPG (Random Dot Product Graph) の組込み問題の解法について述べる。 そこで我々は, 結果の多様体に対して, 実現可能な新しい最適化手法を開発した。 当社のオープンソースアルゴリズムの実装はスケーラブルで、エッジデータに欠ける堅牢さと異なり、ストリーミンググラフからゆっくりと、潜伏した位置を追跡することができます。
  論文  参考訳（メタデータ） (2023-07-25T21:09:55Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• GraphLearner: Graph Node Clustering with Fully Learnable Augmentation [76.63963385662426]
  Contrastive Deep Graph Clustering (CDGC)は、異なるクラスタにノードをグループ化するために、コントラスト学習のパワーを活用する。 我々は、GraphLearnerと呼ばれる、完全学習可能な拡張を備えたグラフノードクラスタリングを提案する。 学習可能な拡張器を導入し、CDGCのための高品質でタスク固有の拡張サンプルを生成する。
  論文  参考訳（メタデータ） (2022-12-07T10:19:39Z)
• Fast and Provable Tensor Robust Principal Component Analysis via Scaled Gradient Descent [30.299284742925852]
  本稿では、テンソルロバスト主成分分析(RPCA)に取り組む。 希少な腐敗によって汚染された観測から低ランクのテンソルを回収することを目的としている。 提案アルゴリズムは, 最先端行列やテンソルRPCAアルゴリズムよりも, より優れた, よりスケーラブルな性能を実現する。
  論文  参考訳（メタデータ） (2022-06-18T04:01:32Z)
• Bayesian Graph Contrastive Learning [55.36652660268726]
  本稿では,ランダムな拡張がエンコーダにつながることを示すグラフコントラスト学習手法の新たな視点を提案する。 提案手法は,各ノードを決定論的ベクトルに埋め込む既存の手法とは対照的に,各ノードを潜在空間の分布で表現する。 いくつかのベンチマークデータセットにおける既存の最先端手法と比較して,性能が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2021-12-15T01:45:32Z)
• Solving weakly supervised regression problem using low-rank manifold regularization [77.34726150561087]
  我々は弱い教師付き回帰問題を解く。 weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。 数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
  論文  参考訳（メタデータ） (2021-04-13T23:21:01Z)
• Multilayer Clustered Graph Learning [66.94201299553336]
  我々は、観測された層を代表グラフに適切に集約するために、データ忠実度用語として対照的な損失を用いる。 実験により,本手法がクラスタクラスタw.r.tに繋がることが示された。 クラスタリング問題を解くためのクラスタリングアルゴリズムを学習する。
  論文  参考訳（メタデータ） (2020-10-29T09:58:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。