論文の概要: LinkBERT: Pretraining Language Models with Document Links

• arxiv url: http://arxiv.org/abs/2203.15827v1
• Date: Tue, 29 Mar 2022 18:01:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-01 07:04:11.366383
• Title: LinkBERT: Pretraining Language Models with Document Links
• Title（参考訳）: LinkBERT: ドキュメントリンクによる言語モデルの事前トレーニング
• Authors: Michihiro Yasunaga, Jure Leskovec, Percy Liang
• Abstract要約: 言語モデル(LM)事前学習はテキストコーパスから様々な知識を学習し、下流のタスクを支援する。 本稿では,文書間のリンク,例えばハイパーリンクを利用するLM事前学習手法であるLinkBERTを提案する。 LinkBERTは、2つのドメインにわたる様々な下流タスクにおいてBERTよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 151.61148592954768
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language model (LM) pretraining can learn various knowledge from text corpora, helping downstream tasks. However, existing methods such as BERT model a single document, and do not capture dependencies or knowledge that span across documents. In this work, we propose LinkBERT, an LM pretraining method that leverages links between documents, e.g., hyperlinks. Given a text corpus, we view it as a graph of documents and create LM inputs by placing linked documents in the same context. We then pretrain the LM with two joint self-supervised objectives: masked language modeling and our new proposal, document relation prediction. We show that LinkBERT outperforms BERT on various downstream tasks across two domains: the general domain (pretrained on Wikipedia with hyperlinks) and biomedical domain (pretrained on PubMed with citation links). LinkBERT is especially effective for multi-hop reasoning and few-shot QA (+5% absolute improvement on HotpotQA and TriviaQA), and our biomedical LinkBERT sets new states of the art on various BioNLP tasks (+7% on BioASQ and USMLE). We release our pretrained models, LinkBERT and BioLinkBERT, as well as code and data at https://github.com/michiyasunaga/LinkBERT.
• Abstract（参考訳）: 言語モデル(LM)事前学習はテキストコーパスから様々な知識を学び、下流のタスクを支援する。 しかし、BERTのような既存のメソッドは単一のドキュメントをモデル化し、ドキュメントにまたがる依存関係や知識をキャプチャしない。 本稿では,文書間のリンク,例えばハイパーリンクを利用するLM事前学習手法であるLinkBERTを提案する。 テキストコーパスが与えられたら、それを文書のグラフとみなし、リンクされた文書を同じコンテキストに配置することでLM入力を生成する。 次に,マスク型言語モデリングと新たな提案である文書関係予測という2つの目標により,lmを事前学習した。 リンクバートは、一般ドメイン(wikipediaでハイパーリンクをプリトレーニング)と生物医学ドメイン(pubmed with citation linksでプリトレーニング)の2つのドメインにわたる様々な下流タスクでbertを上回っている。 LinkBERTは特にマルチホップ推論や少数ショットQA(HotpotQAとTriviaQAを+5%改善)に有効であり,我々のバイオメディカルLinkBERTは様々なBioNLPタスク(BioASQとUSMLEでは+7%)に新たな技術状態を設定する。 トレーニング済みのLinkBERTとBioLinkBERT、およびhttps://github.com/michiyasunaga/LinkBERTのコードとデータをリリースします。

関連論文リスト

• RAFT: Adapting Language Model to Domain Specific RAG [75.63623523051491]
  本稿では、ドメイン内の「オープンブック」設定において、モデルが質問に答える能力を改善するためのトレーニングレシピであるRetrieval Augmented FineTuning(RAFT)を紹介する。 RAFTは、質問に答える助けとなる関連文書から、動詞の正しいシーケンスを引用することで、これを達成します。 RAFTは、PubMed、HotpotQA、Gorillaデータセット全体のモデルのパフォーマンスを一貫して改善する。
  論文  参考訳（メタデータ） (2024-03-15T09:26:02Z)
• NewsQs: Multi-Source Question Generation for the Inquiring Mind [59.79288644158271]
  我々は複数のニュース文書に対して質問応答ペアを提供するデータセットであるNewsQsを紹介する。 FAQスタイルのニュース記事に微調整されたT5-Largeモデルによって自動生成される質問を,従来のマルチドキュメント要約データセットに拡張する。
  論文  参考訳（メタデータ） (2024-02-28T16:59:35Z)
• Towards Efficient Methods in Medical Question Answering using Knowledge Graph Embeddings [3.944219308229571]
  自然言語処理(NLP)では、機械読解(MRC)は与えられた文脈に基づいて質問に答えるタスクである。 BioBERT、SciBERT、さらにはChatGPTといった現代の言語モデルは、膨大な量のドメイン内医療コーパスで訓練されている。 本稿では、そのようなドメイン固有の事前学習に頼ることなく、モデルにドメイン知識を注入するためのリソース効率のよいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-01-15T21:43:46Z)
• Peek Across: Improving Multi-Document Modeling via Cross-Document Question-Answering [49.85790367128085]
  我々は,事前学習対象に答える新しいクロスドキュメント質問から,汎用的なマルチドキュメントモデルを事前学習する。 この新規なマルチドキュメントQA定式化は、クロステキスト情報関係をよりよく回復させるようモデルに指示する。 分類タスクや要約タスクに焦点を当てた従来のマルチドキュメントモデルとは異なり、事前学習対象の定式化により、短いテキスト生成と長いテキスト生成の両方を含むタスクを実行できる。
  論文  参考訳（メタデータ） (2023-05-24T17:48:40Z)
• Pre-training for Information Retrieval: Are Hyperlinks Fully Explored? [19.862211305690916]
  本稿では,事前学習におけるハイパーリンクの利用を検討するために,プログレッシブハイパーリンク予測(PHP)フレームワークを提案する。 2つの大規模アドホック検索データセットと6つの質問回答データセットの実験結果は、既存の事前学習手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-09-14T12:03:31Z)
• Anchor Prediction: A Topic Modeling Approach [2.0411082897313984]
  我々はアノテーションを提案し、これをアンカー予測と呼ぶ。 ソースドキュメントとターゲットドキュメントが与えられた場合、このタスクはソースドキュメント内のアンカーを自動的に識別する。 本稿では,文書間のリンクをモデル化するコンテキスト型関係トピックモデルCRTMを提案する。
  論文  参考訳（メタデータ） (2022-05-29T11:26:52Z)
• LP-BERT: Multi-task Pre-training Knowledge Graph BERT for Link Prediction [3.5382535469099436]
  LP-BERTは、マルチタスク事前学習と知識グラフ微調整の2つのトレーニング段階を含む。 WN18RRとUMLSデータセット、特にHits@10インジケータを5%改善した。
  論文  参考訳（メタデータ） (2022-01-13T09:18:30Z)
• TextBrewer: An Open-Source Knowledge Distillation Toolkit for Natural Language Processing [64.87699383581885]
  自然言語処理のためのオープンソースの知識蒸留ツールキットTextBrewerを紹介する。 テキスト分類、読解、シーケンスラベリングなどの教師あり学習タスクをサポートする。 ケーススタディでは、TextBrewerを使用して、いくつかの典型的なNLPタスクでBERTを蒸留する。
  論文  参考訳（メタデータ） (2020-02-28T09:44:07Z)
• DC-BERT: Decoupling Question and Document for Efficient Contextual Encoding [90.85913515409275]
  近年のオープンドメイン質問応答は,BERT などの事前学習言語モデルを用いて顕著な性能向上を実現している。 本稿では,2つのBERTモデルを持つコンテキストエンコーディングフレームワークであるDC-BERTと,すべての文書を事前エンコードし,それらのエンコーディングをキャッシュするオフラインBERTを提案する。 SQuADオープンとNatural Questionsオープンデータセットでは、DC-BERTは文書検索の10倍のスピードアップを実現し、QAパフォーマンスのほとんど(約98%)を維持している。
  論文  参考訳（メタデータ） (2020-02-28T08:18:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。