論文の概要: From Semantics to Hierarchy: A Hybrid Euclidean-Tangent-Hyperbolic Space Model for Temporal Knowledge Graph Reasoning
- arxiv url: http://arxiv.org/abs/2409.00149v1
- Date: Fri, 30 Aug 2024 10:33:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-06 16:50:17.408712
- Title: From Semantics to Hierarchy: A Hybrid Euclidean-Tangent-Hyperbolic Space Model for Temporal Knowledge Graph Reasoning
- Title（参考訳）: セマンティックスから階層へ:時間的知識グラフ推論のためのハイブリッドユークリッド-タングル-双曲空間モデル
- Authors: Siling Feng, Zhisheng Qi, Cong Lin,
- Abstract要約: 時間的知識グラフ(TKG)推論は、過去のデータに基づいて将来の出来事を予測する。
既存のユークリッドモデルはセマンティクスを捉えるのに優れているが、階層構造に苦しむ。
ユークリッドモデルと双曲モデルの両方の強みを利用する新しいハイブリッド幾何空間アプローチを提案する。
- 参考スコア（独自算出の注目度）: 1.1372536310854844
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Temporal knowledge graph (TKG) reasoning predicts future events based on historical data, but it's challenging due to the complex semantic and hierarchical information involved. Existing Euclidean models excel at capturing semantics but struggle with hierarchy. Conversely, hyperbolic models manage hierarchical features well but fail to represent complex semantics due to limitations in shallow models' parameters and the absence of proper normalization in deep models relying on the L2 norm. Current solutions, as curvature transformations, are insufficient to address these issues. In this work, a novel hybrid geometric space approach that leverages the strengths of both Euclidean and hyperbolic models is proposed. Our approach transitions from single-space to multi-space parameter modeling, effectively capturing both semantic and hierarchical information. Initially, complex semantics are captured through a fact co-occurrence and autoregressive method with normalizations in Euclidean space. The embeddings are then transformed into Tangent space using a scaling mechanism, preserving semantic information while relearning hierarchical structures through a query-candidate separated modeling approach, which are subsequently transformed into Hyperbolic space. Finally, a hybrid inductive bias for hierarchical and semantic learning is achieved by combining hyperbolic and Euclidean scoring functions through a learnable query-specific mixing coefficient, utilizing embeddings from hyperbolic and Euclidean spaces. Experimental results on four TKG benchmarks demonstrate that our method reduces error relatively by up to 15.0% in mean reciprocal rank on YAGO compared to previous single-space models. Additionally, enriched visualization analysis validates the effectiveness of our approach, showing adaptive capabilities for datasets with varying levels of semantic and hierarchical complexity.
- Abstract（参考訳）: 時間的知識グラフ(TKG)推論は、過去のデータに基づいて将来の出来事を予測するが、複雑な意味と階層的な情報が絡むため、それは難しい。
既存のユークリッドモデルはセマンティクスを捉えるのに優れているが、階層構造に苦しむ。
逆に、双曲的モデルは階層的特徴をうまく管理するが、浅いモデルのパラメータの制限やL2ノルムに依存する深層モデルの適切な正規化がないため、複雑な意味論を表現できない。
曲率変換のような現在の解はこれらの問題に対処するには不十分である。
本研究ではユークリッドモデルと双曲モデルの両方の強みを利用する新しいハイブリッド幾何空間アプローチを提案する。
提案手法は単一空間から多空間パラメータモデリングへ移行し,セマンティック情報と階層情報の両方を効果的に取得する。
当初、複素意味論はユークリッド空間の正規化を伴う事実共起および自己回帰的手法によって捉えられる。
埋め込みは、拡張機構を用いてタンジェント空間に変換され、階層構造を再学習しながら意味情報を保存し、クエリ候補を分離したモデリングアプローチにより、後にハイパーボリック空間に変換される。
最後に、双曲型およびユークリッド型スコアリング関数を学習可能なクエリ固有混合係数によって組み合わせ、双曲型およびユークリッド型空間からの埋め込みを利用することによって、階層型および意味学習のためのハイブリッド帰納的バイアスを実現する。
4つのTKGベンチマークによる実験結果から,従来の単一空間モデルと比較してYAGOの平均逆ランクが15.0%の誤差を相対的に減少させることが示された。
さらに、リッチな可視化分析は、我々のアプローチの有効性を検証し、セマンティックおよび階層的な複雑さの異なるデータセットに対する適応能力を示す。
関連論文リスト
- Hyperboloid GPLVM for Discovering Continuous Hierarchies via Nonparametric Estimation [41.13597666007784]
次元性低減(DR)は複雑な高次元データの有用な表現を提供する。
最近のDR法は、階層データの忠実な低次元表現を導出する双曲幾何学に焦点を当てている。
本稿では,非パラメトリック推定による暗黙的な連続性を持つ高次元階層データを埋め込むためのhGP-LVMを提案する。
論文 参考訳（メタデータ） (2024-10-22T05:07:30Z) - SHMamba: Structured Hyperbolic State Space Model for Audio-Visual Question Answering [5.016335384639901]
AVQA(Audio-Visual Question Answering)のマルチモーダル入力により,特徴抽出と融合処理がより困難になる。
我々は、双曲幾何学と状態空間モデルの利点を統合するために、構造化双曲状態空間モデル(SHMamba: Structured Hyperbolic State Space Model)を提案する。
提案手法は,現行のすべての主要な手法の優越性を実証し,実用的なアプリケーションシナリオに適した方法である。
論文 参考訳（メタデータ） (2024-06-14T08:43:31Z) - Latent Semantic Consensus For Deterministic Geometric Model Fitting [109.44565542031384]
我々はLSC(Latent Semantic Consensus)と呼ばれる効果的な方法を提案する。
LSCは、モデルフィッティング問題をデータポイントとモデル仮説に基づく2つの潜在意味空間に定式化する。
LSCは、一般的な多構造モデルフィッティングのために、数ミリ秒以内で一貫した、信頼性の高いソリューションを提供することができる。
論文 参考訳（メタデータ） (2024-03-11T05:35:38Z) - VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。
ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。
本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
論文 参考訳（メタデータ） (2023-04-03T13:13:19Z) - DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained
Diffusion [66.21290235237808]
本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。
任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。
各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
論文 参考訳（メタデータ） (2023-01-23T15:18:54Z) - Dynamically-Scaled Deep Canonical Correlation Analysis [77.34726150561087]
カノニカル相関解析 (CCA) は, 2つのビューの特徴抽出手法である。
本稿では,入力依存の正準相関モデルをトレーニングするための新しい動的スケーリング手法を提案する。
論文 参考訳（メタデータ） (2022-03-23T12:52:49Z) - Latent Space Model for Higher-order Networks and Generalized Tensor
Decomposition [18.07071669486882]
我々は、複雑な高次ネットワーク相互作用を研究するために、一般的な潜在空間モデルとして定式化された統一フレームワークを導入する。
一般化された多線形カーネルをリンク関数として、潜伏位置と観測データとの関係を定式化する。
本手法が合成データに与える影響を実証する。
論文 参考訳（メタデータ） (2021-06-30T13:11:17Z) - Semantic Correspondence with Transformers [68.37049687360705]
本稿では,変換器を用いたコストアグリゲーション(CAT)を提案し,意味論的に類似した画像間の密接な対応を見出す。
初期相関マップと多レベルアグリゲーションを曖昧にするための外観親和性モデリングを含む。
提案手法の有効性を示す実験を行い,広範囲にわたるアブレーション研究を行った。
論文 参考訳（メタデータ） (2021-06-04T14:39:03Z) - Post-mortem on a deep learning contest: a Simpson's paradox and the
complementary roles of scale metrics versus shape metrics [61.49826776409194]
我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。
メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。
本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
論文 参考訳（メタデータ） (2021-06-01T19:19:49Z) - A Fully Hyperbolic Neural Model for Hierarchical Multi-Class
Classification [7.8176853587105075]
双曲空間は、記号データの階層的表現を学ぶために数学的に魅力的なアプローチを提供する。
本研究は,双曲空間におけるすべての操作を実行する多クラス多ラベル分類のための完全双曲モデルを提案する。
徹底的な分析では、最終予測における各コンポーネントの影響に光を当て、ユークリッド層との統合の容易さを示している。
論文 参考訳（メタデータ） (2020-10-05T14:42:56Z) - Hyperbolic Manifold Regression [33.40757136529844]
本稿では,多くの機械学習応用の中間要素として,双曲空間上で多様体値回帰を行うという問題を考察する。
本稿では,1)ラベル埋め込みによる階層的分類,2)双曲表現の分類的拡張の2つの課題に対する新しい視点を提案する。
実験の結果,双曲幾何学の活用戦略は有望であることが示唆された。
論文 参考訳（メタデータ） (2020-05-28T10:16:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。