論文の概要: OAG-BERT: Pre-train Heterogeneous Entity-augmented Academic Language Model

• arxiv url: http://arxiv.org/abs/2103.02410v1
• Date: Wed, 3 Mar 2021 14:00:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-07 02:31:48.701697
• Title: OAG-BERT: Pre-train Heterogeneous Entity-augmented Academic Language Model
• Title（参考訳）: OAG-BERT: 未熟なエンティティ強化アカデミック言語モデル
• Authors: Xiao Liu, Da Yin, Xingjian Zhang, Kai Su, Kan Wu, Hongxia Yang, Jie Tang
• Abstract要約: oag-bertはpaper, author, concept, venue, そしてアフィリエーションを含む巨大な異種エンティティを統合する。 ヘテロジニアスなエンティティ型埋め込み,エンティティアウェアな2次元位置符号化,スパンアウェアなエンティティマスキングを含む新しい事前学習戦略を開発した。 OAG-BERTは、NSFC(中国国立自然科学財団)のレビュアーレコメンデーションや、AMinerシステムのペーパータグ付けなど、複数の実世界のアプリケーションに展開されています。
• 参考スコア（独自算出の注目度）: 45.419270950610624
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To enrich language models with domain knowledge is crucial but difficult. Based on the world's largest public academic graph Open Academic Graph (OAG), we pre-train an academic language model, namely OAG-BERT, which integrates massive heterogeneous entities including paper, author, concept, venue, and affiliation. To better endow OAG-BERT with the ability to capture entity information, we develop novel pre-training strategies including heterogeneous entity type embedding, entity-aware 2D positional encoding, and span-aware entity masking. For zero-shot inference, we design a special decoding strategy to allow OAG-BERT to generate entity names from scratch. We evaluate the OAG-BERT on various downstream academic tasks, including NLP benchmarks, zero-shot entity inference, heterogeneous graph link prediction, and author name disambiguation. Results demonstrate the effectiveness of the proposed pre-training approach to both comprehending academic texts and modeling knowledge from heterogeneous entities. OAG-BERT has been deployed to multiple real-world applications, such as reviewer recommendations for NSFC (National Nature Science Foundation of China) and paper tagging in the AMiner system. It is also available to the public through the CogDL package.
• Abstract（参考訳）: 言語モデルをドメイン知識で強化することは重要だが、難しい。 世界最大の公開学術グラフOpen Academic Graph(OAG)に基づいて、論文、著者、コンセプト、会場、所属を含む巨大な異種実体を統合するアカデミック言語モデル、すなわちOAG-BERTを事前にトレーニングします。 我々はOAG-BERTにエンティティ情報をキャプチャする能力を持たせるために、異種エンティティ型埋め込み、エンティティ認識2D位置符号化、スパン認識エンティティマスキングなどの新しい事前学習戦略を開発する。 ゼロショット推論のために、OAG-BERTがスクラッチからエンティティ名を生成するための特別なデコード戦略を設計する。 我々は,NLPベンチマーク,ゼロショットエンティティ推論,異種グラフリンク予測,著者名曖昧化など,下流のさまざまな学術課題についてOAG-BERTを評価した。 結果は、学術的テキストの理解と異種実体からのモデリング知識の両方に対する提案された事前トレーニングアプローチの有効性を示す。 OAG-BERTは、NSFC(中国国立自然科学財団)のレビュアーレコメンデーションや、AMinerシステムのペーパータグ付けなど、複数の実世界のアプリケーションに展開されています。 また、CogDLパッケージを通じて一般公開されている。

関連論文リスト

• JEL: Applying End-to-End Neural Entity Linking in JPMorgan Chase [3.4311229392863467]
  本稿では、最小限のコンテキスト情報とマージン損失を利用してエンティティ埋め込みを生成する、新しいエンドツーエンドニューラルネットワークリンクモデル(JEL)を提案する。 我々は、JELが金融ニュースの企業名と知識グラフのエンティティをリンクすることで、最先端のパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2024-11-05T00:46:25Z)
• Language Models are Graph Learners [70.14063765424012]
  言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。 本稿では,ノード分類タスクにおける最先端のGNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T08:27:54Z)
• Entity Disambiguation via Fusion Entity Decoding [68.77265315142296]
  より詳細なエンティティ記述を持つエンティティを曖昧にするためのエンコーダ・デコーダモデルを提案する。 GERBILベンチマークでは、EntQAと比較して、エンド・ツー・エンドのエンティティリンクが+1.5%改善されている。
  論文  参考訳（メタデータ） (2024-04-02T04:27:54Z)
• GiGaMAE: Generalizable Graph Masked Autoencoder via Collaborative Latent Space Reconstruction [76.35904458027694]
  マスク付きオートエンコーダモデルは、グラフデータに対する優れた一般化能力に欠ける。 本稿では,GiGaMAEと呼ばれる新しいグラフマスマスキングオートエンコーダフレームワークを提案する。 私たちの結果は、グラフ構造化データに基づく基礎モデルの設計に光を当てます。
  論文  参考訳（メタデータ） (2023-08-18T16:30:51Z)
• Understand the Dynamic World: An End-to-End Knowledge Informed Framework for Open Domain Entity State Tracking [15.421012879083463]
  Open Domain entity state trackingは、アクション記述が与えられたエンティティの妥当な状態変化(すなわち、[entity]の[属性]は、[before_state]と[after_state])を予測することを目的としています。 モデルがアクションによって引き起こされる任意の数のエンティティ状態変化を予測する必要がある一方で、ほとんどのエンティティはアクションとその属性に暗黙的に関連しており、状態はオープンな語彙から来ているため、それは難しいです。 我々は、オープンドメインのエンティティ状態追跡のための新しいエンドツーエンドの知識インフォームドフレームワーク、KIESTを提案し、関連するエンティティと属性を明示的に取り出す。
  論文  参考訳（メタデータ） (2023-04-26T22:45:30Z)
• Knowledge Graph Augmented Network Towards Multiview Representation Learning for Aspect-based Sentiment Analysis [96.53859361560505]
  本稿では,知識グラフ拡張ネットワーク(KGAN)を提案する。 KGANは感情の特徴表現を、文脈、構文、知識に基づく複数の視点から捉えている。 3つの人気のあるABSAベンチマークの実験は、我々のKGANの有効性と堅牢性を示している。
  論文  参考訳（メタデータ） (2022-01-13T08:25:53Z)
• Knowledge-Rich Self-Supervised Entity Linking [58.838404666183656]
  Knowledge-RIch Self-Supervision(KRISSBERT$)は400万のUMLSエンティティのためのユニバーサルエンティティリンカーである。 提案手法はゼロショット法と少数ショット法を仮定し,利用可能であればエンティティ記述やゴールドレファレンスラベルを簡単に組み込むことができる。 ラベル付き情報を一切使わずに400万のUMLSエンティティのためのユニバーサルエンティティリンカである$tt KRISSBERT$を生成する。
  論文  参考訳（メタデータ） (2021-12-15T05:05:12Z)
• GN-Transformer: Fusing Sequence and Graph Representation for Improved Code Summarization [0.0]
  融合シーケンスとグラフのモダリティに基づいてエンドツーエンドの学習を行う新しい手法であるGN-Transformerを提案する。 提案手法は,2つのコード要約データセットと3つの自動コード要約メトリクスにおいて,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-11-17T02:51:37Z)
• KI-BERT: Infusing Knowledge Context for Better Language and Domain Understanding [0.0]
  概念的および曖昧な実体に対する知識グラフから知識コンテキストをトランスフォーマーアーキテクチャに基づくモデルに注入する手法を提案する。 私たちの新しい技術プロジェクト知識グラフは、同質ベクトル空間に埋め込み、エンティティのための新しいトークンタイプ、エンティティの位置IDの整列、および選択的注意メカニズムを導入します。 私たちはBERTをベースラインモデルとし、ConceptNetとWordNetから知識コンテキストを注入して「KnowledgeInfused BERT」を実装します。
  論文  参考訳（メタデータ） (2021-04-09T16:15:31Z)
• Neural Entity Summarization with Joint Encoding and Weak Supervision [29.26714907483851]
  知識グラフでは、実体はしばしば多くの三つの事実によって記述される。 既存の実体化ソリューションは、主に教師なしである。 本稿では,新しいニューラルモデルに基づく教師付きアプローチを提案する。
  論文  参考訳（メタデータ） (2020-05-01T00:14:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。