論文の概要: Replacing Paths with Connection-Biased Attention for Knowledge Graph Completion
- arxiv url: http://arxiv.org/abs/2410.00876v3
- Date: Sun, 23 Feb 2025 22:52:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-25 15:47:06.562364
- Title: Replacing Paths with Connection-Biased Attention for Knowledge Graph Completion
- Title（参考訳）: 知識グラフ補完のための連結バイアス注意による経路の書き換え
- Authors: Sharmishtha Dutta, Alex Gittens, Mohammed J. Zaki, Charu C. Aggarwal,
- Abstract要約: 知識グラフ(KG)の完成は、KGの既存の事実から推測できる追加の事実を特定することを目的としている。
この研究は、経路エンコーディングを明示的に使用することなく、帰納的設定でのKG補完に焦点を当てている。
接続バイアスによる注意とサブグラフエンコーディングモジュールへのエンティティロールの埋め込みを導入し、高価で時間を要するパスエンコーディングモジュールの必要性を解消する。
- 参考スコア（独自算出の注目度）: 21.716741785283233
- License:
- Abstract: Knowledge graph (KG) completion aims to identify additional facts that can be inferred from the existing facts in the KG. Recent developments in this field have explored this task in the inductive setting, where at test time one sees entities that were not present during training; the most performant models in the inductive setting have employed path encoding modules in addition to standard subgraph encoding modules. This work similarly focuses on KG completion in the inductive setting, without the explicit use of path encodings, which can be time-consuming and introduces several hyperparameters that require costly hyperparameter optimization. Our approach uses a Transformer-based subgraph encoding module only; we introduce connection-biased attention and entity role embeddings into the subgraph encoding module to eliminate the need for an expensive and time-consuming path encoding module. Evaluations on standard inductive KG completion benchmark datasets demonstrate that our \textbf{C}onnection-\textbf{B}iased \textbf{Li}nk \textbf{P}rediction (CBLiP) model has superior performance to models that do not use path information. Compared to models that utilize path information, CBLiP shows competitive or superior performance while being faster. Additionally, to show that the effectiveness of connection-biased attention and entity role embeddings also holds in the transductive setting, we compare CBLiP's performance on the relation prediction task in the transductive setting.
- Abstract（参考訳）: 知識グラフ(KG)の完成は、KGの既存の事実から推測できる追加の事実を特定することを目的としている。
この分野での最近の進歩は、このタスクを誘導的設定で探求しており、テスト時にトレーニング中に存在しないエンティティが検出されている。
この研究は同様に、時間を要するパスエンコーディングを明示的に使用せず、コストのかかるハイパーパラメータ最適化を必要とするいくつかのハイパーパラメータを導入し、帰納的な設定でのKG補完に焦点を当てている。
提案手法では,Transformerベースのサブグラフ符号化モジュールのみを使用し,接続バイアスによる注意とエンティティロールの埋め込みをサブグラフ符号化モジュールに導入することで,高価で時間を要するパス符号化モジュールの必要性を解消する。
標準帰納的KG補完ベンチマークデータセットの評価は、経路情報を使用しないモデルよりも優れた性能を有することを示す。
経路情報を利用するモデルと比較して、CBLiPは高速でありながら、競争力や優れた性能を示している。
さらに、接続バイアスによる注意とエンティティロールの埋め込みの効果もトランスダクティブ・セッティングにおいて有効であることを示すため、トランスダクティブ・セッティングにおける関係予測タスクにおけるCBLiPの性能を比較した。
関連論文リスト
- Transducer Tuning: Efficient Model Adaptation for Software Tasks Using Code Property Graphs [8.26418657158164]
アプローチは、コードプロパティグラフ(CPG)を使用して下流のコードタスクに大規模なモデルを適用するテクニックである。
我々のアプローチではTransducerと呼ばれるモジュラーコンポーネントを導入し、CPGからの構造化情報と依存性情報によってコード埋め込みを強化します。
その結果,最大99%のトレーニング可能なパラメータを削減し,最大99%のメモリ削減を実現した。
論文 参考訳（メタデータ） (2024-12-18T03:25:17Z) - DSTC: Direct Preference Learning with Only Self-Generated Tests and Code to Improve Code LMs [56.4979142807426]
UnderlinetextbfDirect Preference Learning with only underlinetextbfSelf-Generated underlinetextbfTests and underlinetextbfCode (DSTC)を紹介する。
DSTCは自己生成コードスニペットとテストのみを使用して信頼性の高い選好ペアを構築する。
論文 参考訳（メタデータ） (2024-11-20T02:03:16Z) - Fast-and-Frugal Text-Graph Transformers are Effective Link Predictors [28.403174369346715]
テキスト分散知識グラフにおける帰納的リンク予測のためのテキスト情報と構造情報を統一するトランスフォーマベースのフレームワークであるFast-and-Frugal Text-Graph (FnF-TG) Transformersを提案する。
本研究では,エゴグラフを効果的に符号化することにより,リソース集約型テキストエンコーダへの依存を低減できることを実証する。
論文 参考訳（メタデータ） (2024-08-13T10:04:29Z) - GLARE: Low Light Image Enhancement via Generative Latent Feature based Codebook Retrieval [80.96706764868898]
我々は、GLARE(Generative LAtent Feature based codebook Retrieval)を介して、新しい低照度画像強調(LLIE)ネットワークを提案する。
Invertible Latent Normalizing Flow (I-LNF) モジュールを開発し、LL特徴分布をNL潜在表現に整合させ、コードブック内の正しいコード検索を保証する。
さまざまなベンチマークデータセットと実世界のデータに対するGLAREの優れたパフォーマンスを確認する実験。
論文 参考訳（メタデータ） (2024-07-17T09:40:15Z) - IntCoOp: Interpretability-Aware Vision-Language Prompt Tuning [94.52149969720712]
IntCoOpは、プロンプトチューニング中に属性レベルの帰納バイアスとクラス埋め込みを共同で調整することを学ぶ。
IntCoOpは10種類のデータセットの平均パフォーマンスを7.35%改善した。
論文 参考訳（メタデータ） (2024-06-19T16:37:31Z) - Deja vu: Contrastive Historical Modeling with Prefix-tuning for Temporal Knowledge Graph Reasoning [16.408149489677154]
ChapTERは、テンポラル推論のためのプレフィックスチューニングを備えたコントラスト歴史モデリングフレームワークである。
我々は4つのトランスダクティブと3つの数ショットインダクティブTKGRベンチマークでChapTERを評価した。
論文 参考訳（メタデータ） (2024-03-25T17:25:40Z) - GAFlow: Incorporating Gaussian Attention into Optical Flow [62.646389181507764]
我々はガウス的注意(GA)を光学フローモデルに押し込み、表現学習中に局所特性をアクセントする。
本稿では,既存の Transformer ブロックに簡単に接続可能な新しい Gaussian-Constrained Layer (GCL) を提案する。
動作解析のための新しいガウス誘導注意モジュール(GGAM)を提供する。
論文 参考訳（メタデータ） (2023-09-28T07:46:01Z) - Disentanglement via Latent Quantization [60.37109712033694]
本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。
本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
論文 参考訳（メタデータ） (2023-05-28T06:30:29Z) - G-Adapter: Towards Structure-Aware Parameter-Efficient Transfer Learning
for Graph Transformer Networks [0.7118812771905295]
特徴分布シフトの問題から,既存のPEFTをグラフベースタスクへ直接転送することが準最適であることを示す。
本稿では,G-Adapter という新しい構造対応PEFT手法を提案する。
大規模な実験により、G-Adapterは9つのグラフベンチマークデータセットと比較すると、最先端のパフォーマンスが得られることが示された。
論文 参考訳（メタデータ） (2023-05-17T16:10:36Z) - Studying How to Efficiently and Effectively Guide Models with Explanations [52.498055901649025]
「モデルガイダンス」とは「正しい理由のために正しい」ことを保証するためにモデルの説明を規則化する考え方である。
PASCAL VOC 2007 および MS COCO 2014 データセット上で, 各種損失関数, 帰属方法, モデル, 誘導深度について詳細な評価を行う。
具体的には、一般的に使用されるセグメンテーションマスクよりもはるかに安価で入手可能なバウンディングボックスアノテーションを用いてモデルをガイドする。
論文 参考訳（メタデータ） (2023-03-21T15:34:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。