論文の概要: SPECTER: Document-level Representation Learning using Citation-informed Transformers

• arxiv url: http://arxiv.org/abs/2004.07180v4
• Date: Wed, 20 May 2020 17:39:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-13 03:31:11.902212
• Title: SPECTER: Document-level Representation Learning using Citation-informed Transformers
• Title（参考訳）: SPECTER:Citation-informed Transformer を用いた文書レベルの表現学習
• Authors: Arman Cohan, Sergey Feldman, Iz Beltagy, Doug Downey, Daniel S. Weld
• Abstract要約: SPECTERは、Transformer言語モデルの事前学習に基づいて、科学文書の文書レベルの埋め込みを生成する。 SciDocsは、引用予測から文書分類、レコメンデーションまでの7つの文書レベルのタスクからなる新しい評価ベンチマークである。
• 参考スコア（独自算出の注目度）: 51.048515757909215
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Representation learning is a critical ingredient for natural language processing systems. Recent Transformer language models like BERT learn powerful textual representations, but these models are targeted towards token- and sentence-level training objectives and do not leverage information on inter-document relatedness, which limits their document-level representation power. For applications on scientific documents, such as classification and recommendation, the embeddings power strong performance on end tasks. We propose SPECTER, a new method to generate document-level embedding of scientific documents based on pretraining a Transformer language model on a powerful signal of document-level relatedness: the citation graph. Unlike existing pretrained language models, SPECTER can be easily applied to downstream applications without task-specific fine-tuning. Additionally, to encourage further research on document-level models, we introduce SciDocs, a new evaluation benchmark consisting of seven document-level tasks ranging from citation prediction, to document classification and recommendation. We show that SPECTER outperforms a variety of competitive baselines on the benchmark.
• Abstract（参考訳）: 表現学習は自然言語処理システムにとって重要な要素である。 bertのような最近のトランスフォーマー言語モデルは強力なテキスト表現を学習するが、これらのモデルはトークンや文レベルのトレーニング対象をターゲットにしており、ドキュメント間の関連性に関する情報を活用せず、ドキュメントレベルの表現能力を制限する。 分類やレコメンデーションのような科学文書のアプリケーションでは、埋め込みはエンドタスクで強力なパフォーマンスを発揮する。 本研究では,文書レベルの関連性を示す強力な信号に基づくトランスフォーマー言語モデルの事前学習に基づいて,科学文書の文書レベルでの埋め込みを生成する新しい手法であるspecterを提案する。 既存の事前訓練言語モデルとは異なり、SPECTERはタスク固有の微調整なしでダウンストリームアプリケーションに容易に適用できる。 さらに,文書レベルのモデルに関するさらなる研究を促すために,引用予測から文書分類や推薦まで7つの文書レベルのタスクからなる,新たな評価ベンチマークであるscidocsを紹介する。 specterは、ベンチマークのさまざまな競合ベースラインよりも優れています。

関連論文リスト

• Visually Guided Generative Text-Layout Pre-training for Document Intelligence [51.09853181377696]
  視覚誘導型生成テキスト事前学習(ViTLP)を提案する。 文書画像が与えられた場合、モデルは階層言語とレイアウトモデリングの目的を最適化し、インターリーブされたテキストとレイアウトシーケンスを生成する。 ViTLPは、文書画像のテキストをローカライズし、認識するためのネイティブなOCRモデルとして機能する。
  論文  参考訳（メタデータ） (2024-03-25T08:00:43Z)
• ATLANTIC: Structure-Aware Retrieval-Augmented Language Model for Interdisciplinary Science [0.0]
  大きな言語モデルは、多くの自然言語処理タスクで印象的なパフォーマンスを記録します。 Retrieval augmentationは、外部の知識ソースからコンテキストを取得することで、効果的なソリューションを提供する。 本稿では,検索強化時に文書構造に対応する構造対応検索言語モデルを提案する。
  論文  参考訳（メタデータ） (2023-11-21T02:02:46Z)
• Probing Representations for Document-level Event Extraction [30.523959637364484]
  この研究は、文書レベルの情報抽出で学んだ表現に探索パラダイムを適用した最初のものである。 文書レベルのイベント抽出に関連するサーフェス,セマンティクス,イベント理解機能を分析するために,8つの埋め込みプローブを設計した。 これらのモデルからトレーニングされたエンコーダは、わずかに引数の検出とラベリングを改善することができるが、イベントレベルのタスクをわずかに強化するだけである。
  論文  参考訳（メタデータ） (2023-10-23T19:33:04Z)
• SciRepEval: A Multi-Format Benchmark for Scientific Document Representations [52.01865318382197]
  SciRepEvalは、科学文書表現のトレーニングと評価のための最初の総合的なベンチマークである。 SPECTERやSciNCLのような最先端のモデルが、タスクフォーマットをまたいだ一般化にどのように苦労しているかを示す。 ドキュメント毎に複数の埋め込みを学習する新しいアプローチは、それぞれ異なるフォーマットに合わせて、パフォーマンスを改善することができる。
  論文  参考訳（メタデータ） (2022-11-23T21:25:39Z)
• Unified Pretraining Framework for Document Understanding [52.224359498792836]
  文書理解のための統合事前学習フレームワークであるUDocを紹介する。 UDocは、ほとんどのドキュメント理解タスクをサポートするように設計されており、Transformerを拡張してマルチモーダル埋め込みを入力とする。 UDocの重要な特徴は、3つの自己管理的損失を利用して汎用的な表現を学ぶことである。
  論文  参考訳（メタデータ） (2022-04-22T21:47:04Z)
• Contrastive Document Representation Learning with Graph Attention Networks [18.22722084624321]
  本稿では,既訓練トランスフォーマーモデル上にグラフアテンションネットワークを用いて文書の埋め込みを学習することを提案する。 さらに、グラフ文書モデルに基づいて、大量のラベルなしコーパスでモデルを事前学習するための単純なコントラスト学習戦略を設計する。
  論文  参考訳（メタデータ） (2021-10-20T21:05:02Z)
• A Sentence-level Hierarchical BERT Model for Document Classification with Limited Labelled Data [5.123298347655086]
  この研究は、テキストの文レベルの特徴を学習し、限られたデータを持つシナリオでうまく機能する、長いテキスト固有のモデル、階層型BERTモデル(HBM)を導入している。 種々の評価実験により、HBMは50から200のラベル付きインスタンスしか持たない従来の最先端手法よりも、文書分類における高い性能を達成できることが示された。
  論文  参考訳（メタデータ） (2021-06-12T10:45:24Z)
• LAWDR: Language-Agnostic Weighted Document Representations from Pre-trained Models [8.745407715423992]
  言語間文書表現は、多言語コンテキストにおける言語理解を可能にする。 BERT、XLM、XLM-RoBERTaのような大規模な事前学習言語モデルは、文レベルの下流タスクを微調整することで大きな成功を収めた。
  論文  参考訳（メタデータ） (2021-06-07T07:14:00Z)
• Rethinking Document-level Neural Machine Translation [73.42052953710605]
  現在のモデルでは、ドキュメントレベルの翻訳に十分な能力がありますか? 適切なトレーニング技術を持つオリジナルのトランスフォーマーは,2000語の長さであっても,文書翻訳の強力な結果が得られることを観察する。
  論文  参考訳（メタデータ） (2020-10-18T11:18:29Z)
• Document-level Neural Machine Translation with Document Embeddings [82.4684444847092]
  この研究は、複数の形式の文書埋め込みの観点から、詳細な文書レベルのコンテキストを活用することに重点を置いている。 提案する文書認識NMTは,大域的および局所的な文書レベルの手がかりをソース端に導入することにより,Transformerベースラインを強化するために実装されている。
  論文  参考訳（メタデータ） (2020-09-16T19:43:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。