論文の概要: Embedding Knowledge Graphs in Degenerate Clifford Algebras
- arxiv url: http://arxiv.org/abs/2402.04870v1
- Date: Tue, 6 Feb 2024 11:23:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-08 15:17:44.193846
- Title: Embedding Knowledge Graphs in Degenerate Clifford Algebras
- Title（参考訳）: Degenerate Clifford Algebrasにおける知識グラフの埋め込み
- Authors: Louis Mozart Kamdem, Caglar Demir and Axel-Cyrille Ngonga
- Abstract要約: 知識グラフ埋め込みの文脈において、Cl_p,q$という形のクリフォード代数を研究する。
パラメータの発見には$p$,$q$,$r$の2つの新しいモデルを設計する。
7つのベンチマークデータセットによる評価結果から, 零ベクトルが埋め込みの捕集に有効であることが示唆された。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Clifford algebras are a natural generalization of the real numbers, the
complex numbers, and the quaternions. So far, solely Clifford algebras of the
form $Cl_{p,q}$ (i.e., algebras without nilpotent base vectors) have been
studied in the context of knowledge graph embeddings. We propose to consider
nilpotent base vectors with a nilpotency index of two. In these spaces, denoted
$Cl_{p,q,r}$, allows generalizing over approaches based on dual numbers (which
cannot be modelled using $Cl_{p,q}$) and capturing patterns that emanate from
the absence of higher-order interactions between real and complex parts of
entity embeddings. We design two new models for the discovery of the parameters
$p$, $q$, and $r$. The first model uses a greedy search to optimize $p$, $q$,
and $r$. The second predicts $(p, q,r)$ based on an embedding of the input
knowledge graph computed using neural networks. The results of our evaluation
on seven benchmark datasets suggest that nilpotent vectors can help capture
embeddings better. Our comparison against the state of the art suggests that
our approach generalizes better than other approaches on all datasets w.r.t.
the MRR it achieves on validation data. We also show that a greedy search
suffices to discover values of $p$, $q$ and $r$ that are close to optimal.
- Abstract（参考訳）: クリフォード代数は実数、複素数、四元数の自然な一般化である。
これまでのところ、cl_{p,q}$(つまり、零基ベクトルを持たない代数)という形のクリフォード代数のみが知識グラフ埋め込みの文脈で研究されてきた。
そこで本研究では,nilpotency index が 2 である nilpotent base vector について考察する。
これらの空間において、$Cl_{p,q,r}$ は双対数に基づくアプローチ(これは $Cl_{p,q}$ でモデル化できない)を一般化し、実体埋め込みの現実部分と複素部分の間の高次相互作用が存在しないことから生じるパターンを捉えることができる。
パラメータの発見には$p$,$q$,$r$の2つの新しいモデルを設計する。
最初のモデルはgreedy検索を使用して$p$、$q$、$r$を最適化する。
2つ目は、ニューラルネットワークを用いて計算された入力知識グラフの埋め込みに基づいて$(p, q,r)$を予測する。
7つのベンチマークデータセットによる評価結果から, 零ベクトルが埋め込みの捕集に有効であることが示唆された。
我々の技術との比較は、検証データで達成するmrを全てのデータセットの他のアプローチよりも一般化していることを示唆している。
また、greedy検索は$p$、$q$、$r$の値が最適に近い値を見つけるのに十分であることを示す。
関連論文リスト
- Learning sum of diverse features: computational hardness and efficient gradient-based training for ridge combinations [40.77319247558742]
目的関数 $f_*:mathbbRdtomathbbR$ を加法構造で学習する際の計算複雑性について検討する。
2層ニューラルネットワークの勾配学習により,$f_*$の大規模なサブセットを効率的に学習できることを実証した。
論文 参考訳（メタデータ） (2024-06-17T17:59:17Z) - Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の等方的ガウスデータの下で勾配降下学習の問題を考察する。
SGDアルゴリズムで最適化された2層ニューラルネットワークは、サンプル付き任意のリンク関数の$f_*$を学習し、実行時の複雑さは$n asymp T asymp C(q) cdot dであることを示す。
論文 参考訳（メタデータ） (2024-06-03T17:56:58Z) - Agnostic Active Learning of Single Index Models with Linear Sample Complexity [27.065175036001246]
F(mathbf x) = f(langle mathbf w, mathbf xrangle)$。
論文 参考訳（メタデータ） (2024-05-15T13:11:28Z) - Agnostically Learning Multi-index Models with Queries [54.290489524576756]
本稿では,ガウス分布下での非依存学習の課題に対するクエリアクセスのパワーについて検討する。
クエリアクセスは、MIMを不可知的に学習するためのランダムな例よりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2023-12-27T15:50:47Z) - Learning Hierarchical Polynomials with Three-Layer Neural Networks [56.71223169861528]
3層ニューラルネットワークを用いた標準ガウス分布における階層関数の学習問題について検討する。
次数$k$s$p$の大規模なサブクラスの場合、正方形損失における階層的勾配によるトレーニングを受けた3層ニューラルネットワークは、テストエラーを消すためにターゲット$h$を学習する。
この研究は、3層ニューラルネットワークが複雑な特徴を学習し、その結果、幅広い階層関数のクラスを学ぶ能力を示す。
論文 参考訳（メタデータ） (2023-11-23T02:19:32Z) - Compressive Recovery of Sparse Precision Matrices [5.557600489035657]
我々は,$d$変数の統計的関係を,mathbbRn times d$の$n$サンプル$Xのデータセットからモデル化するグラフの学習問題を考察する。
サイズ $m=Omegaleft((d+2k)log(d)right)$ ここで、$k$は基礎となるグラフのエッジの最大数である。
本稿では, グラフィカルラッソに基づく反復アルゴリズムを用いて, 具体的デノイザとみなす実用的リカバリを実現する可能性について検討する。
論文 参考訳（メタデータ） (2023-11-08T13:29:08Z) - Efficiently Learning One-Hidden-Layer ReLU Networks via Schur
Polynomials [50.90125395570797]
正方形損失に関して、標準的なガウス分布の下での$k$ReLU活性化の線形結合をPAC学習する問題をmathbbRd$で検討する。
本研究の主な成果は,この学習課題に対して,サンプルおよび計算複雑性が$(dk/epsilon)O(k)$で,epsilon>0$が目標精度である。
論文 参考訳（メタデータ） (2023-07-24T14:37:22Z) - Learning Sparse Graph Laplacian with K Eigenvector Prior via Iterative
GLASSO and Projection [58.5350491065936]
グラフ Laplacian 行列 $L$ 上の構造的仮定を考える。
最初の$K$ eigenvectors of $L$は、例えばドメイン固有の基準に基づいて事前選択される。
本稿では,H_u+$$$$barC$で最も適切なグラフラプラシアン行列$L*を計算するために,効率的なハイブリッドグラフラッソ/投影アルゴリズムを設計する。
論文 参考訳（メタデータ） (2020-10-25T18:12:50Z) - Estimating Stochastic Linear Combination of Non-linear Regressions
Efficiently and Scalably [23.372021234032363]
サブサンプルサイズが大きくなると、推定誤差が過度に犠牲になることを示す。
私たちの知る限りでは、線形テキスト+確率モデルが保証される最初の研究です。
論文 参考訳（メタデータ） (2020-10-19T07:15:38Z) - Scalable Deep Generative Modeling for Sparse Graphs [105.60961114312686]
既存のディープニューラルネットワーク手法では、隣接行列を構築することで、$Omega(n2)$複雑さを必要とする。
我々は,この空間を利用して完全隣接行列を生成する新しい自己回帰モデルBiGGを開発した。
トレーニング中、この自己回帰モデルは$O(log n)$同期ステージで並列化できる。
論文 参考訳（メタデータ） (2020-06-28T04:37:57Z) - Does generalization performance of $l^q$ regularization learning depend
on $q$? A negative example [19.945160684285003]
$lq$-regularizationは、機械学習と統計モデリングにおいて魅力的なテクニックであることが示されている。
0 infty$ に対するすべての $lq$ 推定子は、同様の一般化誤差境界が得られることを示す。
この発見は、あるモデリングの文脈において、$q$の選択が一般化能力に強い影響を与えることはないことを仮に示している。
論文 参考訳（メタデータ） (2013-07-25T00:48:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。