論文の概要: Replacing Paths with Connection-Biased Attention for Knowledge Graph Completion
- arxiv url: http://arxiv.org/abs/2410.00876v1
- Date: Tue, 1 Oct 2024 17:12:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-05 00:19:53.349782
- Title: Replacing Paths with Connection-Biased Attention for Knowledge Graph Completion
- Title（参考訳）: 知識グラフ補完のための連結バイアス注意による経路の書き換え
- Authors: Sharmishtha Dutta, Alex Gittens, Mohammed J. Zaki, Charu C. Aggarwal,
- Abstract要約: この研究は、経路エンコーディングを明示的に使用することなく、帰納的設定でのKG補完に焦点を当てている。
接続バイアスによる注意とサブグラフエンコーディングモジュールへのエンティティロールの埋め込みを導入し、高価で時間を要するパスエンコーディングモジュールの必要性を解消する。
標準インダクティブKGコンプリートベンチマークデータセットの評価は、私たちのConnection-Biased Link Predictionモデルがパス情報を使用しないモデルよりも優れていることを示している。
- 参考スコア（独自算出の注目度）: 21.716741785283233
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Knowledge graph (KG) completion aims to identify additional facts that can be inferred from the existing facts in the KG. Recent developments in this field have explored this task in the inductive setting, where at test time one sees entities that were not present during training; the most performant models in the inductive setting have employed path encoding modules in addition to standard subgraph encoding modules. This work similarly focuses on KG completion in the inductive setting, without the explicit use of path encodings, which can be time-consuming and introduces several hyperparameters that require costly hyperparameter optimization. Our approach uses a Transformer-based subgraph encoding module only; we introduce connection-biased attention and entity role embeddings into the subgraph encoding module to eliminate the need for an expensive and time-consuming path encoding module. Evaluations on standard inductive KG completion benchmark datasets demonstrate that our Connection-Biased Link Prediction (CBLiP) model has superior performance to models that do not use path information. Compared to models that utilize path information, CBLiP shows competitive or superior performance while being faster. Additionally, to show that the effectiveness of connection-biased attention and entity role embeddings also holds in the transductive setting, we compare CBLiP's performance on the relation prediction task in the transductive setting.
- Abstract（参考訳）: 知識グラフ(KG)の完成は、KGの既存の事実から推測できる追加の事実を特定することを目的としている。
この分野での最近の進歩は、このタスクを誘導的設定で探索し、テスト時にトレーニング中に存在しないエンティティを見ることができる。
この研究は同様に、時間を要するパスエンコーディングを明示的に使用せず、コストのかかるハイパーパラメータ最適化を必要とするいくつかのハイパーパラメータを導入し、帰納的な設定でのKG補完に焦点を当てている。
提案手法では,Transformerベースのサブグラフ符号化モジュールのみを使用し,接続バイアスによる注意とエンティティロールの埋め込みをサブグラフ符号化モジュールに導入することで,高価で時間を要するパス符号化モジュールの必要性を解消する。
標準インダクティブKGコンプリートベンチマークデータセットの評価は,我々の接続バイアスリンク予測(CBLiP)モデルがパス情報を使用しないモデルよりも優れた性能を示した。
経路情報を利用するモデルと比較して、CBLiPは高速でありながら、競争力や優れた性能を示している。
さらに、接続バイアスによる注意とエンティティロールの埋め込みの効果もトランスダクティブ・セッティングにおいて有効であることを示すため、トランスダクティブ・セッティングにおける関係予測タスクにおけるCBLiPの性能を比較した。
関連論文リスト
- GLARE: Low Light Image Enhancement via Generative Latent Feature based Codebook Retrieval [80.96706764868898]
我々は、GLARE(Generative LAtent Feature based codebook Retrieval)を介して、新しい低照度画像強調(LLIE)ネットワークを提案する。
Invertible Latent Normalizing Flow (I-LNF) モジュールを開発し、LL特徴分布をNL潜在表現に整合させ、コードブック内の正しいコード検索を保証する。
さまざまなベンチマークデータセットと実世界のデータに対するGLAREの優れたパフォーマンスを確認する実験。
論文 参考訳（メタデータ） (2024-07-17T09:40:15Z) - IntCoOp: Interpretability-Aware Vision-Language Prompt Tuning [94.52149969720712]
IntCoOpは、プロンプトチューニング中に属性レベルの帰納バイアスとクラス埋め込みを共同で調整することを学ぶ。
IntCoOpは10種類のデータセットの平均パフォーマンスを7.35%改善した。
論文 参考訳（メタデータ） (2024-06-19T16:37:31Z) - GNNavi: Navigating the Information Flow in Large Language Models by Graph Neural Network [49.91919718254597]
大規模な言語モデル(LLM)は、デモによるプロンプトを使用すると、強いコンテキスト学習能力を示す。
プロンプトベースの微調整は、低データシナリオにおいて効果的な微調整法であることが証明されているが、計算資源に対する高い要求は、その実用性を制限する。
GNNaviはグラフニューラルネットワークレイヤを使用して、プロンプト処理中に情報フローの集約と分布を正確にガイドする。
論文 参考訳（メタデータ） (2024-02-18T21:13:05Z) - One Train for Two Tasks: An Encrypted Traffic Classification Framework
Using Supervised Contrastive Learning [18.63871240173137]
CLE-TFE(Contrastive Learning Enhanced Temporal Fusion)と呼ばれる効果的なモデルを提案する。
特に、教師付きコントラスト学習を利用して、パケットレベルおよびフローレベル表現を強化する。
また、パケットレベルとフローレベルの分類タスクを1つのトレーニングで同時に行うクロスレベルマルチタスク学習を提案する。
論文 参考訳（メタデータ） (2024-02-12T09:10:09Z) - GAFlow: Incorporating Gaussian Attention into Optical Flow [62.646389181507764]
我々はガウス的注意(GA)を光学フローモデルに押し込み、表現学習中に局所特性をアクセントする。
本稿では,既存の Transformer ブロックに簡単に接続可能な新しい Gaussian-Constrained Layer (GCL) を提案する。
動作解析のための新しいガウス誘導注意モジュール(GGAM)を提供する。
論文 参考訳（メタデータ） (2023-09-28T07:46:01Z) - Disentanglement via Latent Quantization [60.37109712033694]
本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。
本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
論文 参考訳（メタデータ） (2023-05-28T06:30:29Z) - G-Adapter: Towards Structure-Aware Parameter-Efficient Transfer Learning
for Graph Transformer Networks [0.7118812771905295]
特徴分布シフトの問題から,既存のPEFTをグラフベースタスクへ直接転送することが準最適であることを示す。
本稿では,G-Adapter という新しい構造対応PEFT手法を提案する。
大規模な実験により、G-Adapterは9つのグラフベンチマークデータセットと比較すると、最先端のパフォーマンスが得られることが示された。
論文 参考訳（メタデータ） (2023-05-17T16:10:36Z) - Remote Sensing Change Detection With Transformers Trained from Scratch [62.96911491252686]
トランスフォーマーベースの変更検出(CD)アプローチでは、大規模なイメージ分類でトレーニングされた事前トレーニングモデルを使用するか、別のCDデータセットで最初の事前トレーニングを頼りにしてから、ターゲットのベンチマークを微調整する。
我々は、4つの公開ベンチマークにおいて、スクラッチからトレーニングされながら最先端のパフォーマンスを実現するトランスフォーマーを用いたエンドツーエンドCDアプローチを開発した。
論文 参考訳（メタデータ） (2023-04-13T17:57:54Z) - Transformers for End-to-End InfoSec Tasks: A Feasibility Study [6.847381178288385]
私たちは2つの異なるInfoSecデータフォーマット、特にURLとPEファイルに対してトランスフォーマーモデルを実装します。
URLトランスフォーマーモデルは、高いパフォーマンスレベルに達するためには、異なるトレーニングアプローチが必要です。
提案手法は,PEファイルのベンチマークデータセット上で,確立されたマルウェア検出モデルに相容れない性能を示す。
論文 参考訳（メタデータ） (2022-12-05T23:50:46Z) - Cost Aggregation Is All You Need for Few-Shot Segmentation [28.23753949369226]
本稿では,数発のセグメンテーションタスクに取り組むために,変圧器を用いたボリュームアグリゲーション(VAT)を提案する。
VATは畳み込みとトランスフォーマーの両方を使用して、クエリとサポートの間の高次元相関マップを効率的に処理する。
提案手法は,意味対応タスクにおける標準ベンチマークにおいても,最先端の性能を実現する。
論文 参考訳（メタデータ） (2021-12-22T06:18:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。