論文の概要: Fast-and-Frugal Text-Graph Transformers are Effective Link Predictors

• arxiv url: http://arxiv.org/abs/2408.06778v3
• Date: Sun, 15 Dec 2024 12:37:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:51:17.840752
• Title: Fast-and-Frugal Text-Graph Transformers are Effective Link Predictors
• Title（参考訳）: 高速かつフルーガルなテキストグラフ変換器は効果的なリンク予測器である
• Authors: Andrei C. Coman, Christos Theodoropoulos, Marie-Francine Moens, James Henderson,
• Abstract要約: テキスト分散知識グラフにおける帰納的リンク予測のためのテキスト情報と構造情報を統一するトランスフォーマベースのフレームワークであるFast-and-Frugal Text-Graph (FnF-TG) Transformersを提案する。 本研究では,エゴグラフを効果的に符号化することにより,リソース集約型テキストエンコーダへの依存を低減できることを実証する。
• 参考スコア（独自算出の注目度）: 28.403174369346715
• License:
• Abstract: We propose Fast-and-Frugal Text-Graph (FnF-TG) Transformers, a Transformer-based framework that unifies textual and structural information for inductive link prediction in text-attributed knowledge graphs. We demonstrate that, by effectively encoding ego-graphs (1-hop neighbourhoods), we can reduce the reliance on resource-intensive textual encoders. This makes the model both fast at training and inference time, as well as frugal in terms of cost. We perform a comprehensive evaluation on three popular datasets and show that FnF-TG can achieve superior performance compared to previous state-of-the-art methods. We also extend inductive learning to a fully inductive setting, where relations don't rely on transductive (fixed) representations, as in previous work, but are a function of their textual description. Additionally, we introduce new variants of existing datasets, specifically designed to test the performance of models on unseen relations at inference time, thus offering a new test-bench for fully inductive link prediction.
• Abstract（参考訳）: テキスト分散知識グラフにおける帰納的リンク予測のためのテキスト情報と構造情報を統一するトランスフォーマベースのフレームワークであるFast-and-Frugal Text-Graph (FnF-TG) Transformersを提案する。 本研究では,エゴグラフを効果的に符号化することにより,リソース集約型テキストエンコーダへの依存を低減できることを実証する。 これにより、モデルはトレーニングと推論時間の両方が速くなり、コスト面では粗悪になります。 FnF-TGが従来の最先端手法に比べて優れた性能を発揮することを示す。 我々はまた、帰納的学習を完全な帰納的環境にまで拡張し、そこでは関係は以前の作品のように帰納的(固定された)表現に依存しないが、それらのテキスト記述の関数である。 さらに,既存のデータセットの新たな変種を導入し,推論時に目に見えない関係でモデルの性能をテストすることを目的として,完全な帰納的リンク予測のための新しいテストベンチを提供する。

関連論文リスト

• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• IntCoOp: Interpretability-Aware Vision-Language Prompt Tuning [94.52149969720712]
  IntCoOpは、プロンプトチューニング中に属性レベルの帰納バイアスとクラス埋め込みを共同で調整することを学ぶ。 IntCoOpは10種類のデータセットの平均パフォーマンスを7.35%改善した。
  論文  参考訳（メタデータ） (2024-06-19T16:37:31Z)
• Deja vu: Contrastive Historical Modeling with Prefix-tuning for Temporal Knowledge Graph Reasoning [16.408149489677154]
  ChapTERは、テンポラル推論のためのプレフィックスチューニングを備えたコントラスト歴史モデリングフレームワークである。 我々は4つのトランスダクティブと3つの数ショットインダクティブTKGRベンチマークでChapTERを評価した。
  論文  参考訳（メタデータ） (2024-03-25T17:25:40Z)
• Unifying Structured Data as Graph for Data-to-Text Pre-Training [69.96195162337793]
  Data-to-text (D2T) の生成は、構造化されたデータを自然言語テキストに変換することを目的としている。 データからテキストへの事前学習は、D2T生成の強化に強力であることが証明された。 構造強化トランスを設計し,D2T生成のための構造強化事前学習手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T12:23:49Z)
• Bi-Link: Bridging Inductive Link Predictions from Text via Contrastive Learning of Transformers and Prompts [2.9972063833424216]
  本稿では,確率論的構文をリンク予測に役立てた比較学習フレームワークBi-Linkを提案する。 BERTの文法的知識を用いて,大規模知識グラフに一般化する学習的構文パターンに従って,関係性プロンプトを効率的に探索する。 我々の実験では、Bi-Linkはリンク予測データセットの最近のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2022-10-26T04:31:07Z)
• FactGraph: Evaluating Factuality in Summarization with Semantic Graph Representations [114.94628499698096]
  文書と要約を構造化された意味表現(MR)に分解するFactGraphを提案する。 MRは、コアセマンティックの概念とその関係を記述し、文書と要約の両方の主要な内容を標準形式で集約し、データの疎結合を減少させる。 事実性を評価するための異なるベンチマークの実験では、FactGraphは以前のアプローチよりも最大15%優れていた。
  論文  参考訳（メタデータ） (2022-04-13T16:45:33Z)
• HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization [57.798070356553936]
  HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。 単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
  論文  参考訳（メタデータ） (2021-10-12T22:42:31Z)
• Structure-Augmented Text Representation Learning for Efficient Knowledge Graph Completion [53.31911669146451]
  人為的な知識グラフは、様々な自然言語処理タスクに重要な支援情報を提供する。 これらのグラフは通常不完全であり、自動補完を促す。 グラフ埋め込みアプローチ(例えばTransE)は、グラフ要素を密度の高い埋め込みに表現することで構造化された知識を学ぶ。 テキストエンコーディングアプローチ(KG-BERTなど)は、グラフトリプルのテキストとトリプルレベルの文脈化表現を利用する。
  論文  参考訳（メタデータ） (2020-04-30T13:50:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。