論文の概要: MEIM: Multi-partition Embedding Interaction Beyond Block Term Format for
Efficient and Expressive Link Prediction
- arxiv url: http://arxiv.org/abs/2209.15597v2
- Date: Tue, 4 Oct 2022 08:22:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-05 10:32:13.103984
- Title: MEIM: Multi-partition Embedding Interaction Beyond Block Term Format for
Efficient and Expressive Link Prediction
- Title(参考訳): MEIM:効率的かつ表現力のあるリンク予測のためのブロック項以外の多部埋め込みインタラクション
- Authors: Hung Nghiep Tran, Atsuhiro Takasu
- Abstract要約: ブロック項フォーマット(MEIM)モデルを超えたマルチパーティション埋め込みインタラクションiMprovedを導入する。
MEIMは、高い効率を保ちながら表現性を向上し、強力なベースラインを上回り、最先端の結果を得るのに役立つ。
- 参考スコア(独自算出の注目度): 3.718476964451589
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Knowledge graph embedding aims to predict the missing relations between
entities in knowledge graphs. Tensor-decomposition-based models, such as
ComplEx, provide a good trade-off between efficiency and expressiveness, that
is crucial because of the large size of real world knowledge graphs. The recent
multi-partition embedding interaction (MEI) model subsumes these models by
using the block term tensor format and provides a systematic solution for the
trade-off. However, MEI has several drawbacks, some of which carried from its
subsumed tensor-decomposition-based models. In this paper, we address these
drawbacks and introduce the Multi-partition Embedding Interaction iMproved
beyond block term format (MEIM) model, with independent core tensor for
ensemble effects and soft orthogonality for max-rank mapping, in addition to
multi-partition embedding. MEIM improves expressiveness while still being
highly efficient, helping it to outperform strong baselines and achieve
state-of-the-art results on difficult link prediction benchmarks using fairly
small embedding sizes. The source code is released at
https://github.com/tranhungnghiep/MEIM-KGE.
- Abstract(参考訳): 知識グラフ埋め込みは、知識グラフにおけるエンティティ間の欠落関係を予測することを目的としている。
ComplExのようなテンソル分解ベースのモデルは、実世界の知識グラフの規模が大きいため、効率性と表現性の間に良いトレードオフをもたらす。
最近のマルチパーティション埋め込み相互作用(MEI)モデルはブロック項テンソル形式を用いてこれらのモデルを仮定し、トレードオフのための体系的な解決策を提供する。
しかし、MEIにはいくつかの欠点があり、そのいくつかはその仮定されたテンソル分解モデルから引き継がれている。
本稿では,これらの欠点を取り上げ,ブロック項形式(meim)モデルを超えて改良された多成分埋め込み相互作用を紹介し,アンサンブル効果の独立コアテンソルと最大ランク写像のソフト直交性,および多成分埋め込みについて述べる。
MEIMは、高効率でありながら表現性を向上し、強力なベースラインを上回り、かなり小さな埋め込みサイズを用いて、難しいリンク予測ベンチマークの最先端の結果を得るのに役立ちます。
ソースコードはhttps://github.com/tranhunghiep/MEIM-KGEで公開されている。
関連論文リスト
- Representation Surgery for Multi-Task Model Merging [60.52665037255662]
マルチタスク学習(MTL)は、複数のタスクから情報を統一されたバックボーンに圧縮し、計算効率と一般化を改善する。
最近の研究は、複数の独立して訓練されたモデルをマージして、共同トレーニングのために生データを収集する代わりにMLLを実行する。
既存のモデルマージスキームの表現分布を可視化することにより、マージモデルはしばしば表現バイアスのジレンマに悩まされる。
論文 参考訳(メタデータ) (2024-02-05T03:39:39Z) - MAGDi: Structured Distillation of Multi-Agent Interaction Graphs
Improves Reasoning in Smaller Language Models [67.1618494080025]
我々は,複数言語モデル (LLM) エージェント間の推論相互作用をより小さなLMに構造化した新しい蒸留法であるMAGDiを紹介する。
7つの広く使われているコモンセンスと数学推論ベンチマークの実験は、MAGDiがより小さなモデルの推論能力を改善することを示している。
論文 参考訳(メタデータ) (2024-02-02T18:35:14Z) - MatFormer: Nested Transformer for Elastic Inference [94.1789252941718]
MatFormerは、様々なデプロイメント制約で弾力性を提供するように設計されたネストトランスフォーマーアーキテクチャである。
2.6BデコーダのみのMatFormer言語モデル(MatLM)は1.5Bから2.6Bまでの小さなモデルを抽出できることを示す。
また,MatFormerベースのViT(MatViT)エンコーダから抽出した小さなエンコーダは,適応的な大規模検索のための距離空間構造を保持する。
論文 参考訳(メタデータ) (2023-10-11T17:57:14Z) - On the Embedding Collapse when Scaling up Recommendation Models [56.86200867149761]
拡大モデルの埋め込み層について検討し, 埋没崩壊現象を同定した。
本稿では,組込みセット固有の相互作用モジュールを組み込んだ,シンプルで効果的なマルチ埋め込み設計を提案する。
論文 参考訳(メタデータ) (2023-10-06T17:50:38Z) - IMKGA-SM: Interpretable Multimodal Knowledge Graph Answer Prediction via
Sequence Modeling [3.867363075280544]
マルチモーダル知識グラフリンク予測は,マルチモーダルデータに対するリンク予測タスクの精度と効率を向上させることを目的としている。
シーケンスモデリングによる解釈可能なマルチモーダル知識グラフアンサー予測(IMKGA-SM)の開発
モデルは、異なるサイズのマルチモーダルリンク予測データセットに基づいて、SOTAベースラインよりもはるかに優れたパフォーマンスを実現する。
論文 参考訳(メタデータ) (2023-01-06T10:08:11Z) - Efficient Relation-aware Neighborhood Aggregation in Graph Neural
Networks via Tensor Decomposition [6.596002578395149]
本稿では,テンソル分解を集約関数に組み込んだ一般知識グラフを提案する。
我々のモデルでは、近傍の実体は低ランクテンソルの射影行列を用いて変換される。
本稿では,CP分解を用いたコアテンソルの低ランク推定手法を提案する。
論文 参考訳(メタデータ) (2022-12-11T19:07:34Z) - Graph-Regularized Tensor Regression: A Domain-Aware Framework for
Interpretable Multi-Way Financial Modelling [23.030263841031633]
そこで我々は,グラフラプラシアン行列の形で,相互関係に関する知識をモデルに組み込む新しいグラフ正規化回帰(GRTR)フレームワークを開発した。
テンソル代数(英語版)により、提案されたフレームワークは係数と次元の両方で完全に解釈可能であることが示されている。
GRTRモデルは、マルチウェイの財務予測設定で検証され、計算コストの削減による性能向上が示されている。
論文 参考訳(メタデータ) (2022-10-26T13:39:08Z) - Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。
完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。
本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
論文 参考訳(メタデータ) (2022-09-20T14:41:37Z) - Mitigating Modality Collapse in Multimodal VAEs via Impartial
Optimization [7.4262579052708535]
この効果はマルチモーダルVAEトレーニングにおける勾配の相反の結果である,と我々は主張する。
勾配が矛盾する計算グラフのサブグラフを検出する方法を示す。
実験により,本フレームワークは,モジュール間の遅延空間の再構成性能,条件生成,コヒーレンスを著しく向上させることを示した。
論文 参考訳(メタデータ) (2022-06-09T13:29:25Z) - Multi-Partition Embedding Interaction with Block Term Format for
Knowledge Graph Completion [3.718476964451589]
知識グラフ埋め込み法は、実体と関係を埋め込みベクトルとして表現することでタスクを実行する。
従来の作業は通常、各埋め込み全体を扱い、これらの埋め込み全体間の相互作用をモデル化してきた。
本稿では,ブロック項形式を用いたマルチパーティション埋め込み相互作用(MEI)モデルを提案し,この問題に対処する。
論文 参考訳(メタデータ) (2020-06-29T20:37:11Z) - Tensor Graph Convolutional Networks for Multi-relational and Robust
Learning [74.05478502080658]
本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。
提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
論文 参考訳(メタデータ) (2020-03-15T02:33:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。