論文の概要: Pre-training Transformers for Knowledge Graph Completion

• arxiv url: http://arxiv.org/abs/2303.15682v1
• Date: Tue, 28 Mar 2023 02:10:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-29 16:39:16.244718
• Title: Pre-training Transformers for Knowledge Graph Completion
• Title（参考訳）: 知識グラフ完成のための事前学習トランスフォーマー
• Authors: Sanxing Chen, Hao Cheng, Xiaodong Liu, Jian Jiao, Yangfeng Ji and Jianfeng Gao
• Abstract要約: 知識グラフの伝達可能な表現を学習するための新しい帰納的KG表現モデル(iHT)を提案する。 iHT はエンティティエンコーダ (BERT など) と、Transformer によってパラメータ化される隣り合うリレーショナルスコアリング関数からなる。 提案手法は,従来のSOTAモデルに比べて25%以上の相対的相互ランクの改善が得られた。
• 参考スコア（独自算出の注目度）: 81.4078733132239
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning transferable representation of knowledge graphs (KGs) is challenging due to the heterogeneous, multi-relational nature of graph structures. Inspired by Transformer-based pretrained language models' success on learning transferable representation for texts, we introduce a novel inductive KG representation model (iHT) for KG completion by large-scale pre-training. iHT consists of a entity encoder (e.g., BERT) and a neighbor-aware relational scoring function both parameterized by Transformers. We first pre-train iHT on a large KG dataset, Wikidata5M. Our approach achieves new state-of-the-art results on matched evaluations, with a relative improvement of more than 25% in mean reciprocal rank over previous SOTA models. When further fine-tuned on smaller KGs with either entity and relational shifts, pre-trained iHT representations are shown to be transferable, significantly improving the performance on FB15K-237 and WN18RR.
• Abstract（参考訳）: 知識グラフの伝達可能な表現(KGs)の学習は、グラフ構造の異質な多重関係性のために困難である。 トランスフォーマティブな事前学習言語モデルによるテキストの転送可能表現の学習に着想を得て,大規模事前学習によるkg補完のための新しいインダクティブkg表現モデル(iht)を提案する。 iHT はエンティティエンコーダ (BERT など) と、Transformer によってパラメータ化される隣り合うリレーショナルスコアリング関数からなる。 我々はまず、大規模なKGデータセットWikidata5MでiHTを事前訓練する。 提案手法は,従来のsomaモデルと比較して,25%以上の相対ランクの相対的改善を行い,一致した評価で新たな最先端結果を得る。 FB15K-237 と WN18RR では, より小さな KG に対してより微調整を行うと, 事前訓練した iHT 表現が転送可能であることが示され, 性能が大幅に向上した。

関連論文リスト

• Generalizing Hyperedge Expansion for Hyper-relational Knowledge Graph Modeling [33.04380466268661]
  3次元知識グラフ(KG)を一般化するハイパーリレーショナル知識グラフ(HKG)が近年注目されている。 HKGをモデル化するために、既存の研究は主に意味情報または構造情報に焦点を当てている。 本稿では、TransEQと呼ばれるHKGモデリングの等価変換を提案する。
  論文  参考訳（メタデータ） (2024-11-09T14:16:41Z)
• Learning and Transferring Sparse Contextual Bigrams with Linear Transformers [47.37256334633102]
  スパース・コン・ビグラム(Sparse Con Bigram)モデルを導入し、次のトークンの生成は、最後のトークンによって決定される以前の位置のスパースセットに依存する。 勾配アルゴリズムを用いた一層線形変圧器を用いて,SCB学習のトレーニングダイナミクスとサンプル複雑性を解析した。 下流と事前学習タスクの間に非自明な相関関係があることを証明し、事前訓練されたモデルから微調整することで、初期サンプル集約段階を回避できることを証明した。
  論文  参考訳（メタデータ） (2024-10-30T20:29:10Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
  簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。 単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-05-26T00:43:02Z)
• Semantic-visual Guided Transformer for Few-shot Class-incremental Learning [6.300141694311465]
  本研究では,事前学習した機能バックボーンの機能抽出能力を向上させるために,セマンティック・ビジュアル・ガイド付きトランスフォーマー (SV-T) を開発した。 我々のSV-Tは、ベースクラスからのより監督的な情報を最大限に活用し、機能バックボーンのトレーニングロバスト性をさらに強化できます。
  論文  参考訳（メタデータ） (2023-03-27T15:06:49Z)
• Learning to Grow Pretrained Models for Efficient Transformer Training [72.20676008625641]
  そこでは、より小さなモデルのパラメータを線形にマッピングして、より大きなモデルを初期化する。 言語と視覚のトランスフォーマーをまたいだ実験では、学習した線形成長演算子(LiGO)が、スクラッチから最大50%の計算コストを節約できることが示されています。
  論文  参考訳（メタデータ） (2023-03-02T05:21:18Z)
• Link-Intensive Alignment for Incomplete Knowledge Graphs [28.213397255810936]
  本研究では,不完全KGと表現学習の整合性の問題に対処する。 我々のフレームワークは、推移性に基づく2つの特徴チャネルと近接性に基づく2つの特徴チャネルを利用する。 2つの特徴チャネルは、入力KG間で重要な特徴を交換するために共同で学習される。 また,学習過程中に欠落したリンクを検出し,回復するリンク検出装置も開発した。
  論文  参考訳（メタデータ） (2021-12-17T00:41:28Z)
• Vector-quantized Image Modeling with Improved VQGAN [93.8443646643864]
  本稿では,自動回帰的に画像トークンを予測するためにトランスフォーマーを事前訓練するベクトル量子化画像モデリング手法を提案する。 まず,バニラVQGANに対して,アーキテクチャからコードブック学習までの複数の改良を提案する。 ImageNetで256x256解像度でトレーニングすると、175.1のインセプションスコア(IS)と4.17のFrechet Inception Distance(FID)を達成する。
  論文  参考訳（メタデータ） (2021-10-09T18:36:00Z)
• The USYD-JD Speech Translation System for IWSLT 2021 [85.64797317290349]
  本稿では,シドニー大学とJDが共同でIWSLT 2021低リソース音声翻訳タスクを提出したことを述べる。 私たちは、公式に提供されたASRとMTデータセットでモデルをトレーニングしました。 翻訳性能の向上を目的として, バック翻訳, 知識蒸留, 多機能再構成, トランスダクティブファインタニングなど, 最新の効果的な手法について検討した。
  論文  参考訳（メタデータ） (2021-07-24T09:53:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。