論文の概要: Knowledge Graph Embedding by Normalizing Flows
- arxiv url: http://arxiv.org/abs/2409.19977v1
- Date: Mon, 30 Sep 2024 06:04:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-01 22:06:21.679528
- Title: Knowledge Graph Embedding by Normalizing Flows
- Title（参考訳）: フローの正規化による知識グラフ埋め込み
- Authors: Changyi Xiao, Xiangnan He, Yixin Cao,
- Abstract要約: 知識グラフ埋め込み(KGE)の鍵は、適切な表現空間(例えば、点右ユークリッド空間と複素ベクトル空間)を選択することである。
グループ理論の観点から,KGE への埋め込みの統一的な視点を提案し,不確実性を導入する。
- 参考スコア（独自算出の注目度）: 26.732799849307316
- License:
- Abstract: A key to knowledge graph embedding (KGE) is to choose a proper representation space, e.g., point-wise Euclidean space and complex vector space. In this paper, we propose a unified perspective of embedding and introduce uncertainty into KGE from the view of group theory. Our model can incorporate existing models (i.e., generality), ensure the computation is tractable (i.e., efficiency) and enjoy the expressive power of complex random variables (i.e., expressiveness). The core idea is that we embed entities/relations as elements of a symmetric group, i.e., permutations of a set. Permutations of different sets can reflect different properties of embedding. And the group operation of symmetric groups is easy to compute. In specific, we show that the embedding of many existing models, point vectors, can be seen as elements of a symmetric group. To reflect uncertainty, we first embed entities/relations as permutations of a set of random variables. A permutation can transform a simple random variable into a complex random variable for greater expressiveness, called a normalizing flow. We then define scoring functions by measuring the similarity of two normalizing flows, namely NFE. We construct several instantiating models and prove that they are able to learn logical rules. Experimental results demonstrate the effectiveness of introducing uncertainty and our model. The code is available at https://github.com/changyi7231/NFE.
- Abstract（参考訳）: 知識グラフ埋め込み(KGE)の鍵は、適切な表現空間、例えば、点右ユークリッド空間と複素ベクトル空間を選択することである。
本稿では、グループ理論の観点から、KGEへの埋め込みの統一的な視点を提案し、不確実性を導入する。
我々のモデルは、既存のモデル(一般性)を取り入れ、計算がトラクタブルであること(すなわち効率性)を保証し、複雑な確率変数(すなわち表現性)の表現力を楽しむことができる。
中心となる考え方は、実体/関係を対称群の要素、すなわち集合の置換として埋め込むことである。
異なる集合の置換は埋め込みの異なる性質を反映することができる。
また、対称群の群演算は計算が容易である。
具体的には、多くの既存のモデル、点ベクトルの埋め込みが対称群の要素として見ることができることを示す。
不確かさを反映するために、まずランダム変数の集合の置換としてエンティティ/リレーションを埋め込む。
置換は、単純な確率変数をより表現力のある複素確率変数に変換することができ、正規化フローと呼ばれる。
次に、2つの正規化フロー、すなわち NFE の類似度を測定することでスコアリング関数を定義する。
いくつかのインスタンス化モデルを構築し、論理ルールを学習できることを証明する。
実験の結果,不確実性の導入の有効性とモデルの有効性が示された。
コードはhttps://github.com/changyi7231/NFEで公開されている。
関連論文リスト
- Data-driven path collective variables [0.0]
本稿では,集合変数の生成,最適化,比較のための新しい手法を提案する。
結果として得られる集合変数は1次元、解釈可能、微分可能である。
2つの異なるアプリケーションに対して,本手法の有効性を示す。
論文 参考訳（メタデータ） (2023-12-21T14:07:47Z) - Lie Group Decompositions for Equivariant Neural Networks [12.139222986297261]
コンボリューションカーネルをパラメータ化してアフィン変換に対する同変モデルを構築する方法を示す。
我々は,ベンチマークアフィン不変分類タスクにおいて,モデルのロバスト性と分布外一般化能力を評価する。
論文 参考訳（メタデータ） (2023-10-17T16:04:33Z) - Geometry of Linear Neural Networks: Equivariance and Invariance under
Permutation Groups [0.0]
置換群の作用の下で同変あるいは不変な函数の部分多様体について検討する。
パラメータ化と等変線形ネットワークの設計に関する結論を導出する。
論文 参考訳（メタデータ） (2023-09-24T19:40:15Z) - Sampled Transformer for Point Sets [80.66097006145999]
スパース変換器は、連続列列列関数の普遍近似器でありながら、自己アテンション層の計算複雑性を$O(n)$に下げることができる。
我々は、追加の帰納バイアスを伴わずに点集合要素を直接処理できる$O(n)$複雑性サンプリング変換器を提案する。
論文 参考訳（メタデータ） (2023-02-28T06:38:05Z) - Deep Learning Symmetries and Their Lie Groups, Algebras, and Subalgebras
from First Principles [55.41644538483948]
ラベル付きデータセットに存在する連続した対称性群の検出と同定のためのディープラーニングアルゴリズムを設計する。
完全に接続されたニューラルネットワークを用いて、変換対称性と対応するジェネレータをモデル化する。
また,Lie群とその性質の数学的研究に機械学習アプローチを使うための扉を開く。
論文 参考訳（メタデータ） (2023-01-13T16:25:25Z) - Connecting Permutation Equivariant Neural Networks and Partition Diagrams [0.0]
置換同変ニューラルネットワークに現れる重み行列はすべて、シュル=ワイル双対性から得られることを示す。
特に、シュル=ワイル双対性を適用して、ウェイト行列自身を計算するための単純で図式的な手法を導出する。
論文 参考訳（メタデータ） (2022-12-16T18:48:54Z) - Top-N: Equivariant set and graph generation without exchangeability [61.24699600833916]
集合やグラフ上の分布の前にベクトル形状をマッピングするワンショット確率デコーダを考える。
これらの機能は、可変オートエンコーダ(VAE)、生成逆数ネットワーク(GAN)、正規化フローに統合することができる。
Top-nは、トレーニング可能な参照セットから最も関連性の高いポイントを選択することを学ぶ、決定論的で非交換可能なセット生成メカニズムである。
論文 参考訳（メタデータ） (2021-10-05T14:51:19Z) - Sparse Quadratic Optimisation over the Stiefel Manifold with Application
to Permutation Synchronisation [71.27989298860481]
二次目的関数を最大化するスティーフェル多様体上の行列を求める非最適化問題に対処する。
そこで本研究では,支配的固有空間行列を求めるための,単純かつ効果的なスパーシティプロモーティングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-09-30T19:17:35Z) - Commutative Lie Group VAE for Disentanglement Learning [96.32813624341833]
本研究では,データに表される因子の変動を同変的に反映する基盤構造を見いだすこととして,非絡み合い学習を考察する。
グループベースの非絡み合い学習を実現するために、Communative Lie Group VAEというシンプルなモデルが導入された。
実験により,本モデルでは,教師なしの非絡み合い表現を効果的に学習し,余分な制約を伴わずに最先端のパフォーマンスを達成できることが示されている。
論文 参考訳（メタデータ） (2021-06-07T07:03:14Z) - The general theory of permutation equivarant neural networks and higher
order graph variational encoders [6.117371161379209]
一般置換同変層の式を導出し、各層が列と列を同時に置換することで行列に作用する場合を含む。
このケースはグラフ学習や関係学習アプリケーションで自然に発生する。
2階グラフ変分エンコーダを提案し、同変生成モデルの潜在分布は交換可能である必要があることを示す。
論文 参考訳（メタデータ） (2020-04-08T13:29:56Z) - Anchor & Transform: Learning Sparse Embeddings for Large Vocabularies [60.285091454321055]
我々は,アンカー埋め込みとスパース変換行列の小さな組を学習する,単純で効率的な埋め込みアルゴリズムを設計する。
テキスト分類、言語モデリング、映画レコメンデーションのベンチマークでは、ANTは大きな語彙サイズに特に適していることが示されている。
論文 参考訳（メタデータ） (2020-03-18T13:07:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。