論文の概要: MEIM: Multi-partition Embedding Interaction Beyond Block Term Format for Efficient and Expressive Link Prediction

• arxiv url: http://arxiv.org/abs/2209.15597v2
• Date: Tue, 4 Oct 2022 08:22:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 10:32:13.103984
• Title: MEIM: Multi-partition Embedding Interaction Beyond Block Term Format for Efficient and Expressive Link Prediction
• Title（参考訳）: MEIM:効率的かつ表現力のあるリンク予測のためのブロック項以外の多部埋め込みインタラクション
• Authors: Hung Nghiep Tran, Atsuhiro Takasu
• Abstract要約: ブロック項フォーマット(MEIM)モデルを超えたマルチパーティション埋め込みインタラクションiMprovedを導入する。 MEIMは、高い効率を保ちながら表現性を向上し、強力なベースラインを上回り、最先端の結果を得るのに役立つ。
• 参考スコア（独自算出の注目度）: 3.718476964451589
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge graph embedding aims to predict the missing relations between entities in knowledge graphs. Tensor-decomposition-based models, such as ComplEx, provide a good trade-off between efficiency and expressiveness, that is crucial because of the large size of real world knowledge graphs. The recent multi-partition embedding interaction (MEI) model subsumes these models by using the block term tensor format and provides a systematic solution for the trade-off. However, MEI has several drawbacks, some of which carried from its subsumed tensor-decomposition-based models. In this paper, we address these drawbacks and introduce the Multi-partition Embedding Interaction iMproved beyond block term format (MEIM) model, with independent core tensor for ensemble effects and soft orthogonality for max-rank mapping, in addition to multi-partition embedding. MEIM improves expressiveness while still being highly efficient, helping it to outperform strong baselines and achieve state-of-the-art results on difficult link prediction benchmarks using fairly small embedding sizes. The source code is released at https://github.com/tranhungnghiep/MEIM-KGE.
• Abstract（参考訳）: 知識グラフ埋め込みは、知識グラフにおけるエンティティ間の欠落関係を予測することを目的としている。 ComplExのようなテンソル分解ベースのモデルは、実世界の知識グラフの規模が大きいため、効率性と表現性の間に良いトレードオフをもたらす。 最近のマルチパーティション埋め込み相互作用(MEI)モデルはブロック項テンソル形式を用いてこれらのモデルを仮定し、トレードオフのための体系的な解決策を提供する。 しかし、MEIにはいくつかの欠点があり、そのいくつかはその仮定されたテンソル分解モデルから引き継がれている。 本稿では,これらの欠点を取り上げ,ブロック項形式(meim)モデルを超えて改良された多成分埋め込み相互作用を紹介し,アンサンブル効果の独立コアテンソルと最大ランク写像のソフト直交性,および多成分埋め込みについて述べる。 MEIMは、高効率でありながら表現性を向上し、強力なベースラインを上回り、かなり小さな埋め込みサイズを用いて、難しいリンク予測ベンチマークの最先端の結果を得るのに役立ちます。 ソースコードはhttps://github.com/tranhunghiep/MEIM-KGEで公開されている。

関連論文リスト

• Representation Surgery for Multi-Task Model Merging [57.63643005215592]
  マルチタスク学習(MTL)は、複数のタスクから情報を統一されたバックボーンに圧縮し、計算効率と一般化を改善する。 最近の研究は、複数の独立して訓練されたモデルをマージして、共同トレーニングのために生データを収集する代わりにMLLを実行する。 既存のモデルマージスキームの表現分布を可視化することにより、マージモデルはしばしば表現バイアスのジレンマに悩まされる。
  論文  参考訳（メタデータ） (2024-02-05T03:39:39Z)
• MatFormer: Nested Transformer for Elastic Inference [94.1789252941718]
  MatFormerは、様々なデプロイメント制約で弾力性を提供するように設計されたネストトランスフォーマーアーキテクチャである。 2.6BデコーダのみのMatFormer言語モデル(MatLM)は1.5Bから2.6Bまでの小さなモデルを抽出できることを示す。 また,MatFormerベースのViT(MatViT)エンコーダから抽出した小さなエンコーダは,適応的な大規模検索のための距離空間構造を保持する。
  論文  参考訳（メタデータ） (2023-10-11T17:57:14Z)
• On the Embedding Collapse when Scaling up Recommendation Models [53.66285358088788]
  埋め込み崩壊現象をスケーラビリティの阻害とみなし、埋め込み行列は低次元の部分空間を占有する傾向にある。 本稿では,組込み集合固有の相互作用モジュールを組み込んで,多様性を持つ組込み集合を学習する,単純かつ効果的な組込み設計を提案する。
  論文  参考訳（メタデータ） (2023-10-06T17:50:38Z)
• Studying How to Efficiently and Effectively Guide Models with Explanations [52.498055901649025]
  「モデルガイダンス」とは「正しい理由のために正しい」ことを保証するためにモデルの説明を規則化する考え方である。 PASCAL VOC 2007 および MS COCO 2014 データセット上で, 各種損失関数, 帰属方法, モデル, 誘導深度について詳細な評価を行う。 具体的には、一般的に使用されるセグメンテーションマスクよりもはるかに安価で入手可能なバウンディングボックスアノテーションを用いてモデルをガイドする。
  論文  参考訳（メタデータ） (2023-03-21T15:34:50Z)
• IMKGA-SM: Interpretable Multimodal Knowledge Graph Answer Prediction via Sequence Modeling [3.867363075280544]
  マルチモーダル知識グラフリンク予測は,マルチモーダルデータに対するリンク予測タスクの精度と効率を向上させることを目的としている。 シーケンスモデリングによる解釈可能なマルチモーダル知識グラフアンサー予測(IMKGA-SM)の開発 モデルは、異なるサイズのマルチモーダルリンク予測データセットに基づいて、SOTAベースラインよりもはるかに優れたパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-01-06T10:08:11Z)
• Efficient Relation-aware Neighborhood Aggregation in Graph Neural Networks via Tensor Decomposition [6.596002578395149]
  本稿では,テンソル分解を集約関数に組み込んだ一般知識グラフを提案する。 我々のモデルでは、近傍の実体は低ランクテンソルの射影行列を用いて変換される。 本稿では,CP分解を用いたコアテンソルの低ランク推定手法を提案する。
  論文  参考訳（メタデータ） (2022-12-11T19:07:34Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Mitigating Modality Collapse in Multimodal VAEs via Impartial Optimization [7.4262579052708535]
  この効果はマルチモーダルVAEトレーニングにおける勾配の相反の結果である,と我々は主張する。 勾配が矛盾する計算グラフのサブグラフを検出する方法を示す。 実験により,本フレームワークは,モジュール間の遅延空間の再構成性能,条件生成,コヒーレンスを著しく向上させることを示した。
  論文  参考訳（メタデータ） (2022-06-09T13:29:25Z)
• Multi-Partition Embedding Interaction with Block Term Format for Knowledge Graph Completion [3.718476964451589]
  知識グラフ埋め込み法は、実体と関係を埋め込みベクトルとして表現することでタスクを実行する。 従来の作業は通常、各埋め込み全体を扱い、これらの埋め込み全体間の相互作用をモデル化してきた。 本稿では,ブロック項形式を用いたマルチパーティション埋め込み相互作用(MEI)モデルを提案し,この問題に対処する。
  論文  参考訳（メタデータ） (2020-06-29T20:37:11Z)
• Tensor Graph Convolutional Networks for Multi-relational and Robust Learning [74.05478502080658]
  本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。 提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
  論文  参考訳（メタデータ） (2020-03-15T02:33:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。