論文の概要: TWIG: Towards pre-hoc Hyperparameter Optimisation and Cross-Graph
Generalisation via Simulated KGE Models
- arxiv url: http://arxiv.org/abs/2402.06097v1
- Date: Thu, 8 Feb 2024 23:12:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-12 18:31:22.723977
- Title: TWIG: Towards pre-hoc Hyperparameter Optimisation and Cross-Graph
Generalisation via Simulated KGE Models
- Title（参考訳）: TWIG: 模擬KGEモデルによるプレホックハイパーパラメータ最適化とクロスグラフ一般化を目指して
- Authors: Jeffrey Sardina, John D. Kelleher, Declan O'Sullivan
- Abstract要約: 我々は、KGEの出力をシミュレートする新しい埋め込み不要なパラダイムであるTWIG(Topologically-Weighted Intelligence Generation)を紹介する。
UMLSデータセットの実験では、単一のTWIGニューラルネットワークが最先端のComplEx-N3 KGEモデルの結果を予測することができる。
- 参考スコア（独自算出の注目度）: 2.550226198121927
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper we introduce TWIG (Topologically-Weighted Intelligence
Generation), a novel, embedding-free paradigm for simulating the output of KGEs
that uses a tiny fraction of the parameters. TWIG learns weights from inputs
that consist of topological features of the graph data, with no coding for
latent representations of entities or edges. Our experiments on the UMLS
dataset show that a single TWIG neural network can predict the results of
state-of-the-art ComplEx-N3 KGE model nearly exactly on across all
hyperparameter configurations. To do this it uses a total of 2590 learnable
parameters, but accurately predicts the results of 1215 different
hyperparameter combinations with a combined cost of 29,322,000 parameters.
Based on these results, we make two claims: 1) that KGEs do not learn latent
semantics, but only latent representations of structural patterns; 2) that
hyperparameter choice in KGEs is a deterministic function of the KGE model and
graph structure. We further hypothesise that, as TWIG can simulate KGEs without
embeddings, that node and edge embeddings are not needed to learn to accurately
predict new facts in KGs. Finally, we formulate all of our findings under the
umbrella of the ``Structural Generalisation Hypothesis", which suggests that
``twiggy" embedding-free / data-structure-based learning methods can allow a
single neural network to simulate KGE performance, and perhaps solve the Link
Prediction task, across many KGs from diverse domains and with different
semantics.
- Abstract（参考訳）: 本稿では,少量のパラメータを用いたkgs出力をシミュレートする新しい組込みフリーパラダイムであるtwig(topological-weighted intelligence generation)を紹介する。
TWIGは、エンティティやエッジの潜在表現をコーディングすることなく、グラフデータのトポロジ的特徴からなる入力から重みを学習する。
UMLSデータセットを用いた実験により,1つのTWIGニューラルネットワークが,ほぼすべてのハイパーパラメータ構成に対して,最先端のComplEx-N3 KGEモデルの結果を予測することができた。
これを実現するには、合計2590の学習可能なパラメータを使用するが、1215の異なるハイパーパラメータの組み合わせの結果を29,322,000のパラメータで正確に予測する。
これらの結果に基づき、我々は2つの主張を行う。
1) KGEは潜時意味学を学ばず,構造パターンの潜時表現のみを学ぶ。
2) KGEにおけるハイパーパラメータの選択は、KGEモデルとグラフ構造の決定論的関数である。
さらに、TWIGは埋め込みなしでKGEをシミュレートできるので、ノードとエッジの埋め込みはKGの新たな事実を正確に予測するために学習する必要がないという仮説を立てた。
最後に,`twiggy'埋め込みフリー/データ構造ベースの学習手法が単一のニューラルネットワークでkge性能をシミュレートし,多種多様なドメインの多数のkgにわたってリンク予測タスクを解くことができることを示唆する`構造一般化仮説(`twiggy' embedded-free / data-structure-based learning method)の傘の下に,すべての知見を定式化した。
関連論文リスト
- Semi-parametric Expert Bayesian Network Learning with Gaussian Processes
and Horseshoe Priors [26.530289799110562]
本稿では,エキスパートベイズネットワーク(SEBN)におけるセミパラメトリック・レラ・オンシップの学習モデルを提案する。
我々は、最小限の非リン耳成分を導入する前に、ガウスのプロシースとホースシューを使用する。
実世界の未知のデータセットでは、ユーザ入力に対応するために多様なグラフを作成し、識別可能性の問題に対処し、解釈可能性を高める。
論文 参考訳（メタデータ） (2024-01-29T18:57:45Z) - A Comprehensive Study on Knowledge Graph Embedding over Relational
Patterns Based on Rule Learning [49.09125100268454]
KGE(Knowledge Graph Embedding)は、KGC(Knowledge Completion Graph)タスクを解決するための効果的なアプローチであることが証明されている。
関係パターンはKGEモデルの性能において重要な要素である。
我々は,KGEモデルの性能を様々な関係パターン上で向上させるトレーニングフリー手法を提案する。
論文 参考訳（メタデータ） (2023-08-15T17:30:57Z) - GCondNet: A Novel Method for Improving Neural Networks on Small High-Dimensional Tabular Data [14.124731264553889]
我々はGCondNetを提案し、データに存在する暗黙構造を活用してニューラルネットワークを強化する。
GCondNetはデータの高次元性を利用して、基礎となる予測ネットワークの性能を向上させる。
GCondNetが実世界の12のデータセットに対して有効であることを示す。
論文 参考訳（メタデータ） (2022-11-11T16:13:34Z) - ExpressivE: A Spatio-Functional Embedding For Knowledge Graph Completion [78.8942067357231]
ExpressivEは、一対の実体を点として埋め込み、仮想三重空間に超平行グラフとして関係を埋め込む。
我々は、ExpressivEが最先端のKGEと競合し、W18RRでさらに優れています。
論文 参考訳（メタデータ） (2022-06-08T23:34:39Z) - Sequence-to-Sequence Knowledge Graph Completion and Question Answering [8.207403859762044]
既製のエンコーダ・デコーダ変換器モデルは,スケーラブルで汎用的なKGEモデルとして機能することを示す。
我々は,KGリンク予測をシーケンス・ツー・シーケンス・タスクとして用い,従来のKGE手法による3つのスコアリングアプローチを自己回帰復号化と交換することで,これを実現する。
論文 参考訳（メタデータ） (2022-03-19T13:01:49Z) - Post-mortem on a deep learning contest: a Simpson's paradox and the
complementary roles of scale metrics versus shape metrics [61.49826776409194]
我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。
メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。
本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
論文 参考訳（メタデータ） (2021-06-01T19:19:49Z) - Motif Learning in Knowledge Graphs Using Trajectories Of Differential
Equations [14.279419014064047]
知識グラフ埋め込み(KGE)は、リンク予測タスクで有望なパフォーマンスを示している。
多くのKGEは平坦な幾何学を使い、複雑な構造を保存することができない。
正規微分方程式(ODE)の軌道上にKGのノードを埋め込む神経微分KGEを提案する。
論文 参考訳（メタデータ） (2020-10-13T20:53:17Z) - ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。
我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
論文 参考訳（メタデータ） (2020-09-04T20:41:47Z) - Learning Reasoning Strategies in End-to-End Differentiable Proving [50.9791149533921]
条件付き定理プローバーは勾配に基づく最適化により最適規則選択戦略を学習する。
条件付き定理プローサは拡張性があり、CLUTRRデータセット上で最先端の結果が得られることを示す。
論文 参考訳（メタデータ） (2020-07-13T16:22:14Z) - Embedding Graph Auto-Encoder for Graph Clustering [90.8576971748142]
グラフ自動エンコーダ(GAE)モデルは、半教師付きグラフ畳み込みネットワーク(GCN)に基づく
我々は、グラフクラスタリングのための特定のGAEベースのモデルを設計し、その理論、すなわち、埋め込みグラフオートエンコーダ(EGAE)と整合する。
EGAEは1つのエンコーダと2つのデコーダで構成される。
論文 参考訳（メタデータ） (2020-02-20T09:53:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。