論文の概要、ライセンス

# (参考訳) CD2CR:ドキュメントとドメインの相互参照解決 [全文訳有]

CD2CR: Co-reference Resolution Across Documents and Domains ( http://arxiv.org/abs/2101.12637v1 )

ライセンス: CC BY 4.0
James Ravenscroft and Arie Cattan and Amanda Clare and Ido Dagan and Maria Liakata(参考訳) cross-document co-reference resolution (cdcr) は、多くのテキスト文書にまたがるエンティティや概念への言及を識別しリンクするタスクである。 このタスクの現在の最先端モデルは、すべてのドキュメントが同じタイプ(例えば、)であると仮定する。 ニュース記事)または同じテーマに該当する。 しかし、異なるドメイン(タイプまたはテーマ)でCDCRを実行することも望ましい。 この論文で特に注目するユースケースは、科学的な仕事とそれらの議論する新聞記事にまたがるエンティティの解決である。 科学記事とニュースの両方で同じ実体と対応する概念を識別することは、科学者が彼らの仕事がどのように主流メディアで表現されるかを理解するのに役立ちます。 クロスドキュメントのクロスドメインコリファレンス解決(CD$^2$CR)のための新しいタスクと英語データセットを提案する。 このタスクは異種ドキュメントタイプ間のエンティティ間のリンクを識別することを目的としている。 このクロスドメインなクロスドキュメント設定では、既存のCDCRモデルはうまく動作せず、CD$2$CR上の現在の最先端CDCRモデルより優れたベースラインモデルを提供する。 当社のデータセット、アノテーションツール、ガイドライン、およびクロスドキュメントのクロスドメインコリファレンスモデルはすべて、オープンソースリソースとして提供されています。

Cross-document co-reference resolution (CDCR) is the task of identifying and linking mentions to entities and concepts across many text documents. Current state-of-the-art models for this task assume that all documents are of the same type (e.g. news articles) or fall under the same theme. However, it is also desirable to perform CDCR across different domains (type or theme). A particular use case we focus on in this paper is the resolution of entities mentioned across scientific work and newspaper articles that discuss them. Identifying the same entities and corresponding concepts in both scientific articles and news can help scientists understand how their work is represented in mainstream media. We propose a new task and English language dataset for cross-document cross-domain co-reference resolution (CD$^2$CR). The task aims to identify links between entities across heterogeneous document types. We show that in this cross-domain, cross-document setting, existing CDCR models do not perform well and we provide a baseline model that outperforms current state-of-the-art CDCR models on CD$^2$CR. Our data set, annotation tool and guidelines as well as our model for cross-document cross-domain co-reference are all supplied as open access open source resources.
公開日: Fri, 29 Jan 2021 15:18:30 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
CD2CR: Co-reference Resolution Across Documents and Domains CD2CR:ドキュメントとドメインの相互参照解決 0.76
James Ravenscroft1,3,4, Arie Cattan5, Amanda Clare2, Ido Dagan5, Maria Liakata1,3 James Ravenscroft1,3,4, Arie Cattan5, Amanda Clare2, Ido Dagan5, Maria Liakata1,3 0.68
1Centre for Scientific Computing, University of Warwick, CV4 7AL, United Kingdom 1centre for scientific computing, university of warwick, cv4 7al, uk 0.83
2Department of Computer Science, Aberystwyth University, SY23 3DB, United Kingdom 2Department of Computer Science, Aberystwyth University, SY23 3DB, UK 0.95
3Alan Turing Institute, 96 Euston Rd, London, NW1 2DB, United Kingdom 3Alan Turing Institute, 96 Euston Rd, London, NW1 2DB, UK 0.93
4Filament AI, 1 King William St, London, EC4N 7BJ, United Kingdom 5Computer Science Department, Bar-Ilan University, Ramat-Gan, Israel 4Filament AI, 1 King William St, London, EC4N 7BJ, United Kingdom 5Computer Science Department, Bar-Ilan University, Ramat-Gan, Israel 0.87
1 2 0 2 n a J 1 2 0 2 n a J 0.85
9 2 ] L C . 9 2 ] L C。 0.78
s c [ 1 v 7 3 6 2 1 sc [ 1 v 7 3 6 2 1 0.68
. 1 0 1 2 : v i X r a . 1 0 1 2 : v i X r a 0.85
Abstract co-reference 概要 co‐reference 0.50
Cross-document resolution (CDCR) is the task of identifying and linking mentions to entities and concepts across many text documents. クロスドキュメント解像度(CDCR)は、多くのテキスト文書にまたがるエンティティや概念への言及を特定し、リンクするタスクです。 0.66
Current state-of-the-art models for this task assume that all documents are of the same type (e.g. このタスクの現在の最先端モデルは、すべてのドキュメントが同じタイプ(例えば、)であると仮定する。 0.64
news articles) or fall under the same theme. ニュース記事)または同じテーマに該当する。 0.77
However, it is also desirable to perform CDCR across different domains (type or theme). しかし、異なるドメイン(タイプまたはテーマ)でCDCRを実行することも望ましい。 0.69
A particular use case we focus on in this paper is the resolution of entities mentioned across scientific work and newspaper articles that discuss them. この論文で特に注目するユースケースは、科学的な仕事とそれらの議論する新聞記事にまたがるエンティティの解決である。 0.74
Identifying the same entities and corresponding concepts in both scientific articles and news can help scientists understand how their work is represented in mainstream media. 科学記事とニュースの両方で同じ実体と対応する概念を識別することは、科学者が彼らの仕事がどのように主流メディアで表現されるかを理解するのに役立ちます。 0.55
We propose a new task and English language dataset cross-domain co-reference resolution (CD2CR). 新しいタスクと英語データセットのクロスドメイン共参照分解能(CD2CR)を提案する。 0.65
The task aims to identify links between entities across heterogeneous document types. このタスクは異種ドキュメントタイプ間のエンティティ間のリンクを識別することを目的としている。 0.54
We show that in this cross-domain, cross-document setting, existing CDCR models do not perform well and we provide a baseline model that outperforms current state-of-the-art CDCR models on CD2CR. このクロスドメインなクロスドキュメント設定では、既存のCDCRモデルはうまく動作せず、CD2CR上の現在の最先端CDCRモデルよりも優れたベースラインモデルを提供する。 0.72
Our data set, annotation tool and guidelines as well as our model for cross-document cross-domain co-reference are all supplied as open access open source resources. 当社のデータセット、アノテーションツール、ガイドライン、およびクロスドキュメントのクロスドメインコリファレンスモデルはすべて、オープンソースリソースとして提供されています。 0.70
cross-document for クロスドキュメント ですから 0.62
1 Introduction Cross-document co-reference resolution (CDCR) is the task of recognising when multiple documents mention and refer to the same real-world entity or concept. 1 はじめに クロスドキュメントコリファレンスリゾリューション(CDCR)は、複数のドキュメントが言及し、同じ現実世界のエンティティまたは概念を参照したときに認識するタスクです。 0.70
CDCR is a useful NLP process that has many downstream applications. CDCRは、多くの下流アプリケーションを持つ有用なNLPプロセスです。 0.80
For example, CDCR carried out on separate news articles that refer to the same politician can facilitate inter-document sentence alignment required for stance detection and natural language inference 例えば、同じ政治家を指す別のニュース記事においてCDCRは、スタンス検出と自然言語推論に必要な文書間文アライメントを容易にすることができる。 0.76
models. Furthermore, CDCR can improve information retrieval and multi-document summarisation by grouping documents based on the entities that are mentioned within them. モデル。 さらに、CDCRは、情報検索と文書要約を、それらに含まれるエンティティに基づいて文書をグループ化することで改善することができる。 0.67
Recent CDCR work (Dutta and Weikum, 2015; Barhom et al., 2019; Cattan et al., 2020) has primarily focused on resolution of entity mentions across news articles. 最近のCDCR(Dutta and Weikum, 2015; Barhom et al., 2019; Cattan et al., 2020)は、主にニュース記事全体にわたるエンティティ言及の解決に焦点を当てている。 0.84
Despite differences in tone and political alignment, most news articles are relatively similar in terms of grammatical and lexical structure. トーンと政治的アライメントの違いにもかかわらず、ほとんどのニュース記事は文法的および語彙的構造の点で比較的類似している。 0.67
Work based on modern transformer networks such as BERT (Devlin et al., 2019) and ElMo (Peters et al., 2018) have been pre-trained on large news corpora and are therefore well suited to news-based CDCR (Barhom et al., 2019). BERT(Devlin et al., 2019)やElMo(Peters et al., 2018)などの現代のトランスフォーマーネットワークに基づく作業は、大規模なニュースコーポラで事前に訓練されており、ニュースベースのCDCR(Barhom et al., 2019)に適している。 0.79
However, there are cases where CDCR across documents from different domains (i.e. しかし、CDCRが異なるドメイン(すなわち)の文書にまたがる場合もある。 0.73
that differ much more significantly in style, vocabulary and structure) is useful. スタイル、語彙、構造において著しく異なるもの)は有用である。 0.74
One such example is the task of resolving references to concepts across scientific papers and related news articles. そのような例の1つは、科学論文や関連するニュース記事のコンセプトへの参照を解決するタスクです。
訳抜け防止モード: そのような例の1つは 科学論文や関連ニュース記事における概念への言及の解決。
0.75
This can help scientists understand how their work is being presented to the public by mainstream media or facilitate fact checking of journalists’ work (Wadden et al., 2020). これは、科学者が自分の作品が主流メディアによってどのように公開されているかを理解するのに役立ち、ジャーナリストの仕事の事実チェックを容易にする(wadden et al., 2020)。
訳抜け防止モード: 科学者の理解に役立てる 彼らの作品は 主流メディアによって 一般に公開されています あるいはジャーナリストの仕事の事実確認を容易にする(Wadden et al , 2020)。
0.69
A chatbot or recommender that is able to resolve references to current affairs in both news articles and user input could be more effective at suggesting topics that interest the user. ニュース記事とユーザの入力の両方で現在の問題に対する参照を解決できるチャットボットやリコメンダは、ユーザに興味のあるトピックを提案するのにより効果的である。 0.73
Finally, it may be helpful for e-commerce companies to know when product reviews gathered from third party websites refer to one of their own listings. 最後に、第三者のウェブサイトから集められた製品レビューが自分のリストの1つを参照するタイミングを知ることは、eコマース企業にとって役立つかもしれません。 0.53
The work we present here focuses on the first crossdocument, cross-domain co-reference-resolut ion (CD2CR) use case, namely co-reference resolution between news articles and scientific papers. 本稿では,最初のクロスドキュメント,クロスドメイン・コリファレンス・レゾリューション(CD2CR)のユースケース,すなわちニュース記事と科学論文のコリファレンス・レゾリューションに焦点を当てる。 0.69
The objective of CD2CR is to identify coreferring entities from documents belonging to different domains. CD2CRの目的は、異なるドメインに属する文書からコアファーリングエンティティを識別することである。 0.74
In this case co-reference resolution is made more challenging by the differences in language use (lexical but also syntactic) across the dif- この場合、共参照解決はディフ全体にわたる言語使用(語彙的だが構文的)の違いによりより困難になる。 0.71
英語(論文から抽出)日本語訳スコア
ferent domains. Specifically, authors of scientific papers aim to communicate novel scientific work in an accurate and unambiguous way by using precise scientific terminology. 名誉あるドメイン。 特に、科学論文の著者は、正確な科学用語を用いて、正確であいまいな方法で、新しい科学作品を伝えることを目的としている。
訳抜け防止モード: 名誉あるドメイン。 特に科学論文の著者は 正確な科学的用語を用いて、正確で曖昧な方法で、新しい科学作品を伝えること。
0.65
Whilst scientific journalists also aim to accurately communicate novel scientific work, their work is primarily funded by newspaper sales and thus they also aim to captivate as large an audience as possible. 科学ジャーナリストは、新規の科学研究を正確に伝えることも目的としているが、彼らの研究は主に新聞販売によって賄われており、できるだけ大勢の読者を魅了することも目的としている。
訳抜け防止モード: 科学ジャーナリストは、新しい科学的研究を正確に伝えることも目的としている。 彼らの仕事は 主に新聞販売の資金で できるだけ大勢の観客を魅了することを目指しています
0.65
Therefore journalists tend to use simplified vocabulary and structure, creative and unexpected writing style, slang, simile, metaphor and exaggeration to make their work accessible, informative and entertaining in order to maximise readership (Louis and Nenkova, 2013). それゆえジャーナリストは、読者を最大限に活用するために、簡単な語彙と構造、創造的で予期せぬ書き方、スラング、隠語、メタファ、誇張を使って仕事をアクセスしやすく、情報に富み、楽しませる傾向がある(louis and nenkova, 2013)。 0.59
Success at the CD2CR task in this setting is dependent on context sensitive understanding of how the accessible but imprecise writing of journalists maps on to precise terminology used in scientific writing. この設定でのCD2CRタスクの成功は、科学的な執筆で使用される正確な用語にジャーナリストのアクセス可能であるが不正確な書き込みがどのように理解されているかに依存します。 0.60
For example, a recent study has found that “convalescent plasma derived from donors who have recovered from COVID-19 can be used to treat patients sick with the disease” 1. 例えば、最近の研究で「新型コロナウイルスから回復したドナー由来のコンバネッセンスプラズマは、この病気に罹患した患者を治療するために使用できる」ことが判明した。 0.59
A news article2 discussing this work says that “...blood from recovered Covid-19 patients in the hope that transfusions...[can help to treat severely ill patients]” . この研究について議論しているニュース記事2には、“covid-19患者からの血液は、輸血を望んで...[重篤な患者を治療する手助けができる]”と書かれている。 0.65
In this example the task is to link ‘blood’ to ‘convalescent plasma’ and ‘recovered Covid-19 patients’ to ‘donors’. この例では、‘血液’を‘回復血漿’に、‘回復したcovid-19患者’を‘ドナー’にリンクする。 0.76
These cross-document, cross-domain coreference chains can be used as contextual anchors for downstream analysis of the two document settings via tasks such as natural language inference, stance detection and frame analysis. これらのクロスドキュメント、クロスドメインコアファレンスチェーンは、自然言語推論、スタンス検出、フレーム分析などのタスクを介して、2つのドキュメント設定の下流分析のためのコンテキストアンカーとして使用できます。 0.73
The contributions in this paper are the following: 本論文の貢献は以下のとおりである。 0.82
• A novel task setting for CDCR that is more challenging than those that already exist due to linguistic variation between different domains and document this CD2CR). • 異なるドメイン間の言語的変化により既に存在するものよりも難易度の高いCDCRの新しいタスク設定と、このCD2CRを文書化する。 0.80
types (we call types (複数形 types) 0.67
• An open source English language CD2CR dataset with 7602 co-reference pair annotations over 528 documents and detailed 11 page annotation guidelines (section 3.1). • オープンソースの英語cd2crデータセットで、528以上のドキュメントと11ページのアノテーションガイドライン(セクション3.1)を共参照するアノテーションが7602ある。 0.66
• A novel annotation tool to support ongoing data collection and annotation for CD2CR including a novel sampling mechanism for calculating inter-annotator agreement (Section 3.4). アノテーション間の一致を計算するための新しいサンプリングメカニズムを含む、進行中のデータ収集とCD2CRのアノテーションをサポートする新しいアノテーションツール(第3.4節)。 0.58
• A series of experiments on our dataset using different baseline models and an indepth capability-based evaluation of the bestperforming baseline (Section 5) •異なるベースラインモデルを用いたデータセットの一連の実験と最良ベースラインの詳細な能力に基づく評価(第5節) 0.85
2 Related Work 2.1 Co-reference Resolution Intra-document co-reference resolution is a well understood task with mature training data sets (Weischedel et al., 2013) and academic tasks (Recasens et al., 2010). 2 関連作業 2.1 Co-reference Resolution Intra-Document co-reference resolutionは、成熟したトレーニングデータセット(Weischedel et al., 2013)と学術タスク(Recasens et al., 2010)でよく理解できるタスクである。 0.77
The current state of the art model by Joshi et al. Joshi et al.によるアートモデルの現状。 0.60
(2020) is based on Lee et al. (2020)はLee et alに基づいています。 0.82
(2017, 2018) and uses a modern BERT-based (Devlin et al., 2019) architecture. 最新のBERTベースのアーキテクチャ(Devlin et al., 2019)を使用しています。 0.50
Comparatively, CDCR, which involves co-reference resolution across multiple documents, has received less attention in recent years (Bagga and Baldwin, 1998; Rao et al., 2010; Dutta and Weikum, 2015; Barhom et al., 2019). 比較すると、複数の文書にまたがる共同参照解決を含むCDCRは、近年、あまり注目を集めていない(Bagga and Baldwin, 1998; Rao et al., 2010; Dutta and Weikum, 2015; Barhom et al., 2019)。 0.79
Cattan et al. Cattan et al。 0.81
(2020) jointly learns both entity and event co-reference tasks, achieving current state of the art performance for CDCR, and as such provides a strong baseline for experiments in CD2CR. (2020)は,CDCRの実体と事象の共参照タスクを共同で学習し,CDCRのアートパフォーマンスの現況を達成し,CD2CR実験の強力なベースラインを提供する。 0.76
Both Cattan et al. Cattan et al。 0.57
(2020) and Barhom et al. (2020年)とBarhom et al。 0.84
(2019) models are trained and evaluated using the ECB+ corpus (Cybulska and Vossen, 2014) which contains news articles annotated with both entity and event mentions. (2019)モデルは、エンティティとイベントの両方にアノテートされたニュース記事を含むecb+コーパス(cybulska and vossen, 2014)を使用してトレーニングされ、評価される。 0.65
2.2 Entity Linking Entity Linking (EL) focuses on alignment of mentions in documents to resources in an external knowledge resource (Ji et al., 2010) such as SNOMED CT3 or DBPedia4. 2.2 Entity Linking Entity Linking (EL) は SNOMED CT3 や DBPedia4 などの外部知識リソース (Ji et al., 2010) のリソースへのドキュメントへの参照のアライメントに焦点を当てている。 0.84
EL is challenging due to the large number of pairwise comparisons between document mentions and knowledge resource entities that may need to be carried out. ELは、文書の言及と、実行する必要がある知識リソースエンティティの間のペアワイズ比較が多数あるため、挑戦的です。 0.69
Raiman and Raiman (2018) provide state of the art performance by building on Ling et al. Raiman and Raiman (2018) は、Ling et al をベースとしたアートパフォーマンスのステートを提供する。 0.69
(2015)’s work in which an entity type system is used to limit the number of required pairwise comparisons to related types. (2015年)エンティティ型システムが、関連する型に対する必要な対数比較の数を制限するために使用される。 0.71
Yin et al. (2019) achieved comparable results using a graph-traversal method to similarly constrain the problem space to candidates within a similar graph neighbourhood. yinら。 (2019) はグラフトラバーサル法を用いて類似のグラフ近傍の候補に問題空間を同じように制約する比較結果を得た。 0.62
EL can be considered a narrow sub-task of CDCR since it cannot resolve novel and rare entities or pronouns (Shen et al., 2015). ELは、新規で稀な実体や代名詞を解決できないため、CDCRの狭いサブタスクと見なすことができる(Shen et al., 2015)。 0.74
Moreover EL’s dependency on expensiveto-maintain external knowledge graphs is also problematic when limited human expertise is available. さらに、ELの高価な外部知識グラフへの依存は、限られた人間の専門知識が利用可能な場合にも問題があります。 0.59
1DOI: 10.1101/2020.03.16.2 0036145 2https://tinyurl.com /ycnq9xg7 1DOI: 10.1101/2020.03.16.2 0036145 2https://tinyurl.com /ycnq9xg7 0.29
3https://tinyurl.com /yy7g4ttz 4https://wiki.dbpedi a.org/ 3https://tinyurl.com /yy7g4ttz 4https://wiki.dbpedi a.org/ 0.32
英語(論文から抽出)日本語訳スコア
Given these limitations, EL is inappropriate within our task setting, hence our CDCR-based approach. これらの制限を考えると、ELはタスク設定に不適切なので、CDCRベースのアプローチです。 0.51
2.3 Semantic Specialisation Like earlier static vector language models, contextual language models such as BERT (Devlin et al., 2019) and ElMo (Peters et al., 2018) use distributional knowledge (Harris, 1954) inherent in large text corpora to learn context-aware word embeddings that can be used for downstream NLP tasks. 2.3 セマンティックスペシャレーション 従来の静的ベクトル言語モデルと同様に、BERT (Devlin et al., 2019) やElMo (Peters et al., 2018) のような文脈言語モデルは、大きなテキストコーパスに固有の分布的知識 (Harris, 1954) を用いて、下流のNLPタスクに使用可能なコンテキスト対応ワード埋め込みを学習する。 0.80
However, these models do not learn about formal lexical constraints, often conflating different types of semantic relatedness (Ponti et al., 2018; Lauscher et al., 2020). しかし、これらのモデルは形式的語彙的制約について学ばず、しばしば異なるタイプの意味的関連性(Ponti et al., 2018; Lauscher et al., 2020)を混同する。 0.69
This is a weakness of all distributional language models that is particularly problematic in the context of CD2CR for entity mentions that are related but not co-referent (e.g. これはすべての分布言語モデルの弱点であり、特にCD2CRの文脈において、関連があるが同等ではないエンティティの言及に対して問題となる(例えば)。 0.67
“Mars” and “Jupiter”) as shown in section 5. "mars" と "jupiter") 第5節に示すように。 0.71
A number of solutions have been proposed for adding lexical knowledge to static word embeddings (Yu and Dredze, 2014; Wieting et al., 2015; Ponti et al., 2018) but contextual language models have received comparatively less attention. 静的単語埋め込み(Yu and Dredze, 2014; Wieting et al., 2015; Ponti et al., 2018)に語彙知識を追加するためのソリューションが提案されているが、文脈言語モデルは比較的あまり注目されていない。 0.82
Lauscher et al (2020) propose adding a lexical relation classification step to BERT’s language model pre-training phase to allow the model to integrate both lexical and distributional knowledge. Lauscher et al (2020)は、BERTの言語モデル事前トレーニングフェーズに語彙関係分類ステップを追加して、モデルが語彙と分布の両方の知識を統合することを提案する。 0.74
Their model, LIBERT, has been shown to facilitate statistically-significant performance boosts on a variety of downstream NLP tasks. そのモデルであるLIBERTは、さまざまな下流のNLPタスクにおける統計的に重要なパフォーマンス向上を促進することが示されています。 0.56
3 Dataset creation 3 データセットの作成 0.68
Our dataset is composed of pairs of news articles and scientific papers gathered automatically (Section 3.1). 私たちのデータセットは、ニュース記事と科学論文のペアで構成されています(セクション3.1)。 0.58
Our annotation process begins by obtaining summaries of the news and science document pairs (extractive news summaries and scientific abstracts, respectively) (Section 3.2). 我々のアノテーションプロセスは、ニュースと科学文書の要約(抽出ニュース要約と科学要約)を取得することから始まります(第3部2)。 0.73
Candidate coreference pairs from each summary-abstract pair are identified and scored automatically. 各要約・要約ペアからの候補コリファレンスペアを識別して自動的に得点する。 0.51
(Section 3.3). Candidate co-reference pairs are then presented to human annotators via a bespoke annotation interface for scoring (Section 3.4). (3.3)。 候補共参照ペアは、スコアリングのためのbespokeアノテーションインターフェースを介して、人間のアノテーションに提示される(Section 3.4)。 0.64
Annotation quality is measured on an ongoing basis as new candidates are added to the system (Section 3.5). システムに新たな候補を追加するため、注釈品質を継続的に測定する(第3.5条)。 0.74
3.1 Data Collection We have developed a novel data set that allows us to train and evaluate a CD2CR model. 3.1 Data Collection CD2CRモデルのトレーニングと評価を可能にする新しいデータセットを開発しました。 0.79
The corpus is approximately 50% the size of the ECB+ corpus (918 documents) (Cybulska and Vossen, 2014) and is split into training, development and test sets このコーパスはecb+コーパス(918文書)の約50%の大きさであり(cybulska and vossen, 2014)、トレーニング、開発、テストセットに分割されている。 0.67
Subset Documents Mentions Clusters Train Dev Test Subset Documents Mentions ClustersがDev Testをトレーニング 0.85
4,604 1,821 1,177 4,604 1,821 1,177 0.47
300 142 86 300 142 86 0.85
426 199 101 426 199 101 0.85
Table 1: Total individual documents, mentions, coreference clusters of each subset excluding singletons. 表1: シングルトンを除く各サブセットの総個々のドキュメント、言及、コアファレンスクラスタ。 0.73
(statistics for each subset are provided in Table 1). (各サブセットの統計は表1)に記載されている。 0.71
Each pair of documents consists of a scientific paper and a newspaper article that discusses the scientific work. 各一対の文書は科学論文と科学研究を論じる新聞記事で構成されている。 0.78
In order to detect pairs of documents, we follow the approach of (Ravenscroft et al., 2018), using approximate matching of author name and affiliation metadata, date of publishing and exact DOI matching where available to connect news articles to scientific publications. 論文のペアを検出するために,著者名と関連メタデータの近似マッチング,出版日と正確なDOIマッチングを用いて,ニュース記事と学術出版物とを接続する手法を採用した(Ravenscroft et al., 2018)。 0.79
We built a web scraper that scans for new articles from the ‘Science’ and ‘Technology’ sections of 3 well-known online news outlets (BBC, The Guardian, New York Times) and press releases from Eurekalert, a widely popular scientific press release aggregator. 3つの有名なオンラインニュースサイト(BBC、The Guardian、New York Times)の「科学」と「技術」セクションから新しい記事をスキャンするウェブスクレーパーと、広く普及している科学プレスリリースアグリゲーターであるEurekalertのプレスリリースを構築しました。 0.80
Once a newspaper article and related scientific paper are detected, the full text from the news article and the scientific paper abstract and metadata are stored. 新聞記事及び関連学術論文が検出されると、ニュース記事の全文及び科学論文の要約及びメタデータが記憶される。
訳抜け防止モード: 新聞記事と関連する科学論文が検出されると。 ニュース記事および科学的なペーパー抽象およびメタデータからのフル テキストは貯えられます。
0.82
Where available the full scientific paper content is also collected. 利用可能であれば、科学論文の全コンテンツも収集される。 0.62
We ran the scraper between April and June 2020 collecting news articles and scientific papers including preprints discussing a range of topics such as astronomy, computer science and biology (incl. 2020年4月から6月にかけて、天文学、コンピュータサイエンス、生物学など、さまざまなトピックを議論するプレプリントを含むニュース記事や科学論文を集めました。 0.69
coverage of COVID-19). COVID-19に関する記事)。 0.54
New relevant content is downloaded and ingested into our annotation tool (see Section 3.4) on an ongoing basis as it becomes available. 新しい関連コンテンツがダウンロードされ、私たちのアノテーションツール(セクション3.4を参照)に読み込まれます。 0.71
3.2 Article Summarisation Newspaper articles and scientific papers are long and often complex documents, usually spanning multiple pages, particularly the latter. 3.2 記事要約 新聞記事と科学論文は長く、しばしば複雑な文書であり、通常は複数のページ、特に後者に及ぶ。 0.77
Moreover the two document types differ significantly in length. さらに、2つの文書タイプは、大きく異なる。 0.78
Comparing documents of such uneven length is a difficult task for human annotators. このような不均一な長さの文書を比較することは、人間のアノテーションーにとって難しい作業です。 0.47
We also assume that asking human annotators to read the documents in their entirety to identify co-references would be particularly hard with a very low chance for good inter-annotator agreement (IAA). また、人間のアノテーションーに文書全体を読み取って共同参照を特定することは特に困難であり、優れたアノテーター間合意(IAA)の可能性は非常に低いと仮定しています。 0.61
We therefore decided to simplify the task by asking annotators to compare summaries of the newspaper article (5-10 sentences long) and the scientific paper (abstract). そこで,アノテータに対して,論文の要約(長文5~10文)と科学論文(短文)を比較することで,作業の簡略化を図った。 0.62
For each document pair, we ask the annotators to 各ドキュメントペアに対して、アノテータに尋ねる。 0.66
英語(論文から抽出)日本語訳スコア
identify co-referent mentions between the scientific paper abstract and a summary of the news article that is of similar length (e.g. 科学論文の要約と、同様の長さ(例)のニュース記事の要約の共参照の言及を識別する。 0.76
5-10 sentences). Scientific paper abstracts act as a natural summary of a scientific work and have been used as a strong baseline or even a gold-standard in scientific summarisation tasks (Liakata et al., 2013). 5-10文)。 科学論文の要約は科学研究の自然な要約として機能し、科学的要約タスクにおいて強力なベースラインやゴールドスタンダードとしても使われてきた(Liakata et al., 2013)。 0.63
Furthermore, abstracts are almost always available rather than behind paywalls like full text articles. さらに、要約は、フルテキスト記事のようなペイウォールの裏側ではなく、ほぼ常に利用可能である。 0.42
For news summarisation, we used a state-of-the-art extractive model (Grenander et al., 2019) to extract sentences forming a summary of the original text. ニュース要約では、現在最先端の抽出モデル(Grenander et al., 2019)を用いて、原文の要約を形成する文章を抽出した。 0.72
This model provides a summary de-biasing mechanism preventing it from focusing on specific parts of the full article, preserving the summary’s informational authenticity as much as possible. このモデルは、要約の情報の信頼性を可能な限り維持し、記事全体の特定の部分に集中するのを防ぐ要約の脱バイアスメカニズムを提供します。 0.70
The difference in style between the two documents is preserved by both types of summary since abstracts are written in the same scientific style as full papers and the extractive summaries use verbatim excerpts of the original news articles. 要約は全文と同じ科学的スタイルで書かれており、抜粋要約は元のニュース記事の抜粋を用いているため、2つの文書間のスタイルの違いは両方の要約によって保存される。 0.63
3.3 Generation of pairs for annotation 3.3 アノテーションのためのペアの生成 0.64
To populate our annotation tool, we generate pairs of candidate cross-document mentions to be evaluated by the user. アノテーションツールを投入するには、ユーザーが評価する候補のクロスドキュメント参照のペアを生成します。 0.74
Candidate mentions are identified by using spaCy (Honnibal and Montani, 2017) for the recognition of noun phrases and named entities from each input document pair (abstract-news summary). 候補語の言及は、各入力文書ペアから名詞句と名前付きエンティティの認識に spaCy (Honnibal と Montani, 2017) を使用して識別されます(抽象ニュース要約)。 0.71
For each pair of documents, pairs of all possible mention combinations are generated and stored for annotation. ドキュメントのペアごとに、可能なすべての組み合わせのペアが生成され、アノテーションとして格納される。 0.62
In any given pair of documents, the majority of mention pairs (M0, M1) generated automatically in this way will not co-refer thus resulting in a vastly imbalanced dataset and also running the risk of demotivating annotators. このような方法で自動生成される参照ペアの大多数(M0, M1)は、互いに参照しないため、非常に不均衡なデータセットとなり、アノテータの復号化のリスクも負う。 0.68
To ensure that annotators are exposed to both positive and negative examples, we use a similarity score to rank examples based on how likely they are to co-refer. 陽例と負例の両方にアノテータが露出されることを保証するため、類似度スコアを使用して、共参照の確率に基づいてサンプルをランク付けする。 0.62
The first step in generating a similarity score s is to concatenate each abstract-news-summar y pair together: “summary [SEP] abstract” into a pre-trained BERTlarge model. 類似度スコアsを生成する最初のステップは、それぞれの抽象-news-summaryペアを結合することである: “summary [sep] abstract”を事前学習されたbertlargeモデルにまとめる。 0.70
Then we take the mean of the word vectors that correspond to the mention spans within the documents and calculate the cosine similarity of these vectors. 次に、文書内の言及スパンに対応する単語ベクトルの平均を取り、これらのベクトルのコサイン類似度を計算します。 0.79
We find that this BERT-based similarity score performs well in practice. このBERTベースの類似度スコアは、実際にうまく機能します。 0.45
We also use it in combination with a thresholding policy as one of our baseline models in Section 4. また、第4節のベースラインモデルの1つとして、しきい値化ポリシーと組み合わせて使用します。 0.66
3.4 Annotation Tool & Interface We developed an open source annotation tool5 that allows humans to identify cross-document coreference between each pair of related documents. 3.4 アノテーションツールとインターフェース 私たちは、人間が関連するドキュメントのペア間でクロスドキュメントのコリファレンスを識別できるオープンソースアノテーションツール5を開発しました。 0.64
Whilst designing this tool, we made a number of decisions to simplify the task and provide clear instructions for the human annotators in order to encourage consistent annotation behaviour. このツールを設計する間、タスクを単純化し、一貫したアノテーション動作を促進するために、人間の注釈者に対して明確な指示を提供するために、多くの決定を下しました。 0.55
To maximise the quality and consistency of annotations in our corpus, we simplified the task as much as possible for the end user. コーパス内のアノテーションの品質と一貫性を最大化するために、エンドユーザのために可能な限りタスクを簡素化しました。 0.64
Annotation tasks were framed as a single yes or no question: “Are x and y mentions of the same entity?”. アノテーションタスクは、"同じエンティティについてxとyが言及されているか?
訳抜け防止モード: アノテーションタスクは、単一のYesまたは無質問としてフレーム化されました。 :「xとyは同じ実体の言及ですか?
0.69
Mentions in context were shown in bold font whereas mentions already flagged as co-referent were shown in green. 文脈のメンションは太字で示されるのに対して、すでに共同参照としてフラグ付けされた言及は緑で示される。 0.48
This enabled annotators to understand the implications for existing co-reference chains before responding (see Figure 3). これにより、アノテータは応答する前に既存の共参照連鎖の意味を理解することができる(図3参照)。 0.55
Questions were generated and ranked via our task generation pipeline (see Section 3.3 above). 質問が生成され、タスク生成パイプラインを介してランク付けされました(上記の3.3セクションを参照)。 0.47
We added two additional features to our annotation interface to improve annotators’ experience and to speed up the annotation process. アノテーションインターフェースに2つの機能を追加し、アノテーションのエクスペリエンスを改善し、アノテーションプロセスをスピードアップしました。 0.67
Firstly, if the candidate pair is marked as co-referent, the user is allowed to add more mentions to the coreference cluster at once. まず、候補ペアが共参照としてマークされている場合、ユーザは一度にコア参照クラスタにより多くの言及を追加することができる。 0.65
Secondly, inspired by (Li et al., 2020), if the automatically shown mention pair is not co-referent, the user can select a different mention that is co-referent. 第二に (Li et al., 2020) にインスパイアされた、自動表示された言及ペアが共参照でない場合、ユーザは共参照である別の参照を選択することができる。 0.62
The upstream automated mention detection mechanism can sometimes introduce incomplete or erroneous mentions, leading to comparisons that don’t make sense or that are particularly difficult. 上流の自動化された言及検出メカニズムは、時に不完全または誤った言及を導入し、意味をなさない、あるいは特に難しい比較に繋がる。 0.70
Therefore, annotators can also move or resize the mention spans they are annotating. したがって、アノテータは、アノテータがアノテートしている参照スパンを移動またはサイズ変更することもできます。 0.35
We use string offsets of mention span pairs to tokens to check that they do not overlap with each other in order to prevent the creation of duplicates. 参照スパンペアの文字列オフセットをトークンに使用して、重複の発生を防ぐために、相互に重複しないかどうかを確認します。 0.70
Figure 1 shows an illustrated example of the generation pipeline for mention pairs. 図1は、参照ペアの生成パイプラインの例を示している。 0.74
3.5 Annotation Protocol We recruited three university-educated human annotators and provided them with detailed annotation guidelines for the resolution of yes/no questions on potentially co-referring entities in pairs from the ordered queue described above. 3.5アノテーションプロトコル 大学教育を受けた3人の人間アノテーションーを募集し、上記の順序付きキューから、潜在的に相互参照可能なエンティティに関するイエス/ノーの問題を解決するための詳細なアノテーションガイドラインを提供しました。 0.52
By default each entity pair resolution is carried out once, allowing us to quickly expand our data set. デフォルトでは、各エンティティのペアの解像度は一度実行され、データセットをすばやく拡張できます。
訳抜け防止モード: デフォルトでは、各エンティティペア解決が一度実行される。 データセットを迅速に拡大できます
0.70
However, we pseudo-randomly sample 5% of men- しかし、男性の5%を疑似ランダムにサンプリングする。 0.62
5https://github.com/ ravenscroftj/cdcrtoo l 5https://github.com/ ravenscroftj/cdcrtoo l 0.36
英語(論文から抽出)日本語訳スコア
Figure 1: Illustration of the generation process for pairs of potentially co-referring expressions, left boxes represent related news summary (top) and abstract (bottom), co-referent entity pairs in middle boxes shown with same formatting (underline,italic). 図1: 潜在的に共参照する表現のペアの生成プロセスの図化、左ボックスは関連するニュースサマリー(トップ)と抽象(ボット)を表し、同じフォーマットで示される中間ボックス(下線、イタリック)の共参照エンティティペアである。 0.80
tion pairs in order to calculate inter-annotatoragree ment (IAA) and make sure that data collected from the tool is consistent and suitable for modelling. IIA(Inter-Annotatora greement)を計算し、ツールから収集されたデータが一貫性があり、モデリングに適していることを確認します。 0.62
New entity pairs for IAA are continually sampled as new document pairs and mention tuples are added to the corpus by the web scraper (Section 3.1). IAAの新しいエンティティペアを新しいドキュメントペアとして継続的にサンプリングし、ウェブスクレイパーによってタプルをコーパスに追加する(Section 3.1)。 0.75
The annotation system puts mention pairs flagged for IAA first in the annotation queue. アノテーションシステムは、アノテーションキューにIAAにフラグを付けた参照ペアを最初に置きます。 0.56
Thus, all annotators are required to complete IAA comparisons before moving on to novel mention pairs. したがって、すべてのアノテータは、新しい参照ペアに移行する前にIAAの比較を完了する必要がある。 0.54
This allows us to ensure that all annotators are well represented in the IAA exercise. これにより、すべてのアノテータがIAA演習で適切に表現されることが保証できます。 0.47
To avoid annotators being faced with a huge backlog of IAA comparisons before being able to proceed with novel annotations, we also limited the number of comparisons for IAA required by each user to a maximum of 150 per week. また,新たなアノテーションを適用できるようになる前に,IAA比較の膨大なバックログにアノテータが直面するのを避けるため,各ユーザが必要とするIAAの比較回数を,週に最大150件に制限した。 0.78
3.6 Task Difficulty and Annotator Agreement We anticipated that annotation of the CD2CR corpus would be difficult in nature due to its dependencies on context and lexical style. 3.6 タスク難易度とアノテーション契約 CD2CRコーパスのアノテーションは、文脈と語彙スタイルに依存しているため、本質的に困難であると予測しました。 0.62
We invited users to provide feedback regularly to help us refine and clarify our guidelines and annotation tool in an iterative fashion. ユーザに定期的にフィードバックを提供して、ガイドラインとアノテーションツールを反復的に洗練し、明確化できるようにしました。 0.66
Users could alert us to examples they found challenging by flagging them as difficult in the tool. ユーザーは、ツールで難しいと警告することで、困難な例を警告できます。 0.66
Qualitative analysis of the subset of ‘difficult’ cases showed that the resolution of mention pairs is often perceived by annotators as difficult when: 難解な」ケースのサブセットの質的分析は、参照ペアの解決は、しばしばアノテーションによって難しいと感じられることを示した。 0.68
• Deep subject-matter-exper tise is required to understand the mentions, e.g. • 言及を理解するには、例えば、深い主語-文字-専門家が必要です。 0.47
is “jasmonic acid” the same as “regulator cis -(+)-12oxophytodienoic acid”. ジャスモン酸」は「regulator cis -(+)-12oxophytodienoic acid」と同じである。 0.72
• Mentions involve non-commutable set membership ambiguity e.g. • 変更不可のセットメンバーシップのあいまいさなど。 0.67
“Diplodocidae” and “the dinosaurs” Diplodocidae」と「恐竜」。 0.59
• Mentions are context dependent e.g. • メンションはコンテキストに依存します。 0.67
“the struggling insect” and “the monarch butterfly”. 苦しんでいる昆虫」と「君主蝶」。 0.61
This feedback prompted the introduction of highlighting for existing co-reference chains in the user interface (as described in section 3.4 above) to make it easier to tell when non-commutable set membership would likely introduce inconsistencies into the dataset. このフィードバックは、(上記のセクション3.4で説明されているように)ユーザインターフェースに既存のコリファレンスチェーンのハイライトを導入して、非可換セットメンバーシップがデータセットに不整合をもたらす可能性が容易に知ることができるようにした。 0.65
For mention pairs requiring subject-matter-exper tise, annotators were encouraged to research the terms online. 例えば、主題-物質-専門家を必要とするペアは、アノテーションーはオンラインで用語を研究することを奨励された。 0.33
For context sensitive mention pairs, annotators were encouraged to read the full news article and full scientific paper in order to make a decision. 文脈に敏感な言及ペアのために、アノテーターは決定を下すために全ニュース記事と全科学論文を読むことを奨励された。
訳抜け防止モード: 文脈に敏感な参照ペアには、アノテーションが奨励された ニュース記事全文と科学論文全文を読んで 決定を下すためです
0.69
In our 11 page annotation guidelines document (appendix) we describe the use of our annotation tool and illustrate some challenging CD2CR tasks and resolution strategies. 11ページのアノテーションガイドライン文書(appendix)では、アノテーションツールの使用について述べ、挑戦的なcd2crタスクと解決戦略を紹介します。 0.69
For example precise entities mentioned in the scientific document may be referenced using ambiguous exophoric mentions in the news article (e.g. 例えば、科学文書で言及された正確な実体は、ニュース記事(例えば)の曖昧な異論的な言及を用いて参照することができる。 0.61
‘a mountain breed of sheep’ vs ‘eight ovis aries’). a mountain breed of sheep' vs 'eight ovis aries')の略。 0.73
Our guidelines require resolving these cases based on the journalist’s intent (e.g. 我々のガイドラインは、ジャーナリストの意図(例)に基づいてこれらの事件を解決する必要がある。 0.50
‘a mountain breed’ refers to the ‘ovis aries’ sheep involved in the experiment). 山の品種」とは、実験に関わる羊の「オビス・アリ」のこと)。 0.51
We evaluated the final pairwise agreement between annotators using Cohen’s Kappa (Cohen, 1960) (κcohen) and an aggregate ‘n-way’ agreement score using Fleiss’ Kappa (Fleiss, 1971) (κfleiss). Cohen’s Kappa (Cohen, 1960) (κcohen) と Fleiss’ Kappa (Fleiss, 1971) (κfleiss) を用いた総和 'n-way' の合意スコアを用いて,アノテータ間の最終的なペアワイズ一致を評価した。 0.74
Pairwise κcohen is shown in table 2 along with the total number of tasks each annotator completed. ペアワイズ κcohen は表 2 に各アノテーションが完了したタスクの総数と共に示される。 0.81
Annotator 3 (A3) shows the most consistent agreement with the other two annotators. アノテータ3(A3)は、他の2つのアノテータと最も一貫性のある一致を示す。 0.49
Our Fleiss’ Kappa analysis of tasks common across the three annotators gave κfleiss = 0.554. 3つのアノテーションで共通するタスクのFleissのKappa分析はκfleiss = 0.554を与えました。 0.58
We note that Fleiss’ Kappa is a relatively harsh metric and values, like ours, between 0.41 and 0.60 are considered to demonstrate ’moderate agreement’(Landis FleissのKappaは比較的厳しい指標であり、私たちのように0.41から0.60の間の値は「モデレート合意」を示すと考えられています(Landis)。 0.68
英語(論文から抽出)日本語訳スコア
# Annotations A1 10,685 3,051 9,847 注釈 A1 10,685 3,051 9,847 0.54
0.492 0.600 0.492 0.600 0.50
A2 0.4920.500 A2 0.4920.500 0.44
A3 0.600 0.500 - a3 0.600 0.500 0.59
A1 A2 A3 Table 2: Number of Annotations and Pairwise Cohen’s Kappa scores κcohen between annotators. A1 A2 A3 表2: アノテーションの数とPairwise CohenのKappaは、アノテーション間のκcohenをスコアします。 0.70
and Koch, 1977). 1977年(昭和52年)。 0.39
We also carried out Fleiss’ Kappa analysis on the subset of mention pairs that were completed by all annotators and were also marked as difficult by at least one user (180 mention pairs in total). また、すべてのアノテーションによって完了し、少なくとも1人のユーザによって難しいとマークされた参照ペアのサブセットについても、fleiss氏のkappa分析を行いました(合計180の参照ペア)。 0.61
We found that for this subset of pairs, κfleiss = 0.399 which is considered to be fair agreement(Landis and Koch, 1977). 我々は、ペアのこのサブセットについて、公正な合意であると考えられるκfleiss = 0.399(Landis and Koch, 1977)を発見した。 0.69
4 Model Below we describe several baseline models including state of the art CDCR models that we used to evaluate how well current approaches can be used in our CD2CR task setting. 4モデル 以下は、現在のアプローチがCD2CRタスク設定でどのように使用できるかを評価するために使用した最新のCDCRモデルを含むいくつかのベースラインモデルについて説明します。 0.75
4.1 BERT Cosine Similarity (BCOS) Baseline 4.1 BERT Cosine similarity (BCOS) ベースライン 0.91
In this model we calculate the cosine-similarity between embeddings of the two mentions in context (M0, M1) encoded using a pre-trained BERT model as discussed above in section 3.3. 本モデルでは, 前述したような事前学習BERTモデルを用いて符号化した文脈(M0, M1)における2つの言及の埋め込みのコサイン類似性を計算する。 0.55
We define a thresholding function f to decide if M0 and M1 are co-referent (f (x) = 1) or not (f (x) = 0): M0 と M1 が共参照 (f (x) = 1) か (f (x) = 0): かどうかを決定する閾値関数 f を定義する。 0.87
(cid:40) f (x) = (cid:40) f (x) = 0.82
if COSSIM(M0, M1) ≥ t COSSIM(M0, M1) ≥ t 0.83
1, 0, otherwise 1, 0 でなければ 0.88
During inference, we pass this function over all pairs M0, M1 and infer missing links such that if f (A, B) = 1 and f (B, C) = 1 then f (A, C) = 1. 推論中、この関数はすべてのペア M0, M1 に渡され、f (A, B) = 1 および f (B, C) = 1 であれば f (A, C) = 1 となるような欠落リンクを推論する。 0.88
Based on Figure 2, we test values in increments of 0.01 between 0.3 and 0.8 inclusive for threshold cut off t. We evaluated the baseline by measuring its accuracy at predicting co-reference in each mention pair in the CD2CR development set. 図2に基づいて, 閾値カットtを包含する0.3~0.8インクリメントの0.01インクリメント値を測定し, その精度をCD2CR開発セットの各参照ペアにおけるコレファレンス予測の精度で評価した。 0.76
The best performance was attained when t = 0.65. 最高性能は t = 0.65 で達成された。 0.73
A visualisation of the BERT Cosine Similarity distributions of co-referent and non co-referent annotated mention pairs can be seen in Figure 2. BERT Cosine 類似度分布の共参照および非共参照注釈付き参照ペアの可視化を図2に示します。 0.79
Co-referent mention pairs tend to have a slightly higher BERT cosine similarity than non co-referent mention pairs but there is significant overlap of the two distributions suggesting that in many cases BERT similarity is too simplistic a measure. 共参照対は、非共参照対よりも少し高いベルトコサイン類似性を持つ傾向があるが、2つの分布の重なりは、多くの場合、ベルト同相性は測度が単純すぎることを示唆する。 0.66
Figure 2: BERT Cosine Similarity frequency distribution for co-referent (Yes) and non-co-referent (No) mention pairs in the CD2CR corpus. 図2: BERT Cosine similarity frequency distribution for co-referent (Yes) and non-co-referent (No) mention pairs in the CD2CRcorpus。 0.81
4.2 Entities Only Baseline (CA) We use a state-of-the-art model (Cattan et al., 2020) (CA) for cross-document co-reference resolution. 4.2 エンティティのみ ベースライン(CA) クロスドキュメントの参照解決には最先端モデル(Cattan et al., 2020)を使用します。 0.73
In this model, each document is separately encoded using a RoBERTa encoder (without fine-tuning) to get contextualized representations for each token. このモデルでは、各ドキュメントは(微調整なしで)RoBERTaエンコーダを使用して別々にエンコードされ、トークンごとにコンテキスト化された表現を取得する。 0.62
Then, similarly to the within-document coreference model by Lee et al. そして、Leeらによる文書内コア参照モデルと同様である。 0.69
(2017), the mention spans are represented by the concatenation of four vectors: the vectors of the first and last token in the span, an attention-weighted sum of the span token vectors, and a feature vector to encode the span width. (2017)では、言及スパンは、スパン中の第1および最後のトークンのベクトル、スパントークンベクトルの注意重み付き和、スパン幅をエンコードする特徴ベクトルの4つのベクトルの結合によって表現される。 0.69
Two mention representations are then concatenated and fed to a feed-forward network to learn a likelihood score for whether two mentions co-refer. 2つの参照表現が連結され、フィードフォワードネットワークに送られ、2つの参照が共同参照かどうかの確率スコアが学習される。 0.57
At inference time, agglomerative clustering is used on the pairwise scores to form coreference clusters. 推論時には、ペアワイズスコアに集約クラスタリングを使用し、コア参照クラスタを形成する。 0.65
The CA model is trained to perform both event and entity recognition on the ECB+ corpus (Cybulska and Vossen, 2014) In our setting there is no event detection subtask so, for fair comparison, we pre-train the CA model on ECB+ entity annotations only and evaluate it on our new CD2CR task to see how well it generalises to our task setting. CAモデルは、ECB+コーパス(Cybulska and Vossen, 2014)のイベント認識とエンティティ認識の両方を実行するように訓練されています。私たちの設定では、イベント検出サブタスクがないため、公正な比較のために、CAモデルをECB+エンティティアノテーションのみに事前トレーニングし、新しいCD2CRタスクで評価して、タスク設定にどの程度一般化できるかを確認します。
訳抜け防止モード: CAモデルは、ECB+コーパス(CybulskaとVossen、2014)でのイベント認識とエンティティ認識の両方を実行するように訓練されています。 公正な比較のために、私たちは事前 - ECB+エンティティアノテーションでのみCAモデルをトレーニングします。 新しいCD2CRタスクで評価し タスク設定を いかに一般化するかを確かめるのです
0.76
4.3 CA + Fine-Tuned (CA-FT) Baseline Here we aim to evaluate whether fine tuning the CA model from section 4.2 using the CD2CR corpus can improve its performance in the new task setting. ここでは,CD2CRコーパスを用いたセクション4.2からのCAモデルの微調整が,新たなタスク設定における性能を向上させることができるかどうかを評価することを目的としている。 0.63
The CA model is first trained on the ECB+ corpus in the manner described above. CAモデルは、最初に上記の方法でECB+コーパスで訓練されます。 0.75
We then further fine-tune the feed-forward model (without affecting the RoBERTa encoder) on the CD2CR corpus for 10 epochs with early stopping. その後,CD2CRコーパス上のフィードフォワードモデル(RoBERTaエンコーダに影響を与えない)を早期停止10時間にわたって微調整した。 0.62
Pseudo-random sub-sampling is carried out on the training set to トレーニングセット上で擬似ランダムサブサンプリングを行う 0.74
英語(論文から抽出)日本語訳スコア
Figure 3: An example of a cross-document co-reference task presented within our annotation tool. 図3: アノテーションツール内で提示されたクロスドキュメントのコリファレンスタスクの例。 0.75
ensure a balance of co-referent and non-co-referent mention pairs. 共参照対と非共参照項対のバランスを確保する。 0.57
4.4 CA - Vanilla (CA-V) Baseline Here we aim to evaluate whether training the CA model on the CD2CR dataset from the RoBERTa baseline without first training on the ECB+ corpus allows it to fit well to the new task setting. 4.4 CA - Vanilla (CA-V) Baseline ここでは、ECB+コーパスの最初のトレーニングなしで、CD2CRデータセット上のCAモデルをRoBERTaベースラインからトレーニングするかどうかを評価します。 0.72
We re-initialise the CA encoder (Section 4.2) using weights from RoBERTa (Liu et al., 2019) and randomly initialise the remaining model parameters. 我々は、RoBERTa(Liu et al., 2019)の重みを使ってCAエンコーダ(Section 4.2)を再起動し、残りのモデルパラメータをランダムに初期化する。 0.66
We then train the model on the CD2CR corpus for up to 20 epochs with early stopping with pseudorandom sub-sampling as above. 次に、CD2CRコーパスのモデルを20エポックまでトレーニングし、上記の疑似ランダムサブサンプリングで早期停止します。 0.67
4.5 CA - SciBERT (CA-S) Baseline This model is the same as CA-V but we replace the RoBERTa encoder with SciBERT (Beltagy et al., 2019), a version of BERT pre-trained on scientific literature in order to test whether the scientific terms and context captured by SciBERT improve performance at the CD2CR task compared to RoBERTa. 4.5 CA - SciBERT (CA-S) Baseline このモデルはCA-Vと同じですが、RoBERTaエンコーダをSciBERT(Beltagy et al., 2019)に置き換えます。
訳抜け防止モード: 4.5 CA - SciBERT (CA - S ) Baseline このモデルはCA - Vと同じです。 しかし、RoBERTaエンコーダをSciBERT(Beltagy et al , 2019)に置き換えます。 科学文献で訓練されたBERTプリバージョン。 SciBERTが捉えた科学的用語とコンテキストは、RoBERTaと比較してCD2CRタスクのパフォーマンスを向上させます。
0.70
Similarly to CA-V in section 4.4, we initialise the BERT model with weights from SciBERTscivocab-unca sed (Beltagy et al., 2019) and randomly initialise the remaining model parameters, training on the CD2CR corpus for up to 20 epochs with early stopping. セクション4.4のCA-Vと同様に、SciBERTscivocab-unca sed(Beltagy et al., 2019)の重みを持つBERTモデルを初期化し、残りのモデルパラメータをランダムに初期化し、CD2CRコーパスのトレーニングを最大20エポックで早期停止します。 0.65
5 Results and Discussion We evaluate each of the model baselines described in section 4 above on the test subset of our CD2CR corpus. 5 結果と議論 上記の4節で述べたモデルベースラインのそれぞれを、cd2crコーパスのテストサブセット上で評価する。 0.74
Results are shown in table 3. 結果は表3に示されます。 0.80
For the purposes of evaluation, we use named entity spans from the manually annotated CD2CR as 評価のために、手動でアノテートしたCD2CRから名前付きエンティティスパンを使用する。 0.57
the “gold standard” in all experiments rather than using the end-to-end Named Entity Recognition capabilities provided by some of the models. 一部のモデルが提供するエンドツーエンドのエンティティ認識機能を使用するのではなく、すべての実験で「ゴールドスタンダード」です。 0.62
We evaluate the models using the metrics described by Vilain et al. Vilainらによって記述されたメトリクスを用いてモデルを評価する。 0.63
(1995) (henceforth MUC) and Bagga and Baldwin (1998) (henceforth B3). (1995) (Henceforth MUC) および Bagga and Baldwin (1998) (Henceforth B3)。 0.82
MUC F1, precision and recall are defined in terms of pairwise co-reference relationships between each mention. MUC F1、精度およびリコールは、各言及間のペアワイズ共参照関係の観点から定義される。 0.62
B3, F1, precision and recall are defined in terms of presence or absence of specific entities in the cluster. B3、F1、精度、リコールは、クラスタ内の特定のエンティティの有無によって定義される。 0.62
When measuring B3, we remove entities with no co-references (singletons) from the evaluation to avoid inflation of results (Cattan et al., 2020). B3の測定において、評価から共参照のないエンティティ(シングルトン)を除去し、結果のインフレーションを回避する(Cattan et al., 2020)。 0.69
The threshold baseline (BCOS) gives the highest MUC recall but also poor MUC precision and poorest B3 precision. 閾値ベースライン(bcos)はmucリコールが最も高いが、mucの精度は低く、b3の精度も低い。 0.59
The B3 metric is highly specific with respect to false-positive entity mentions and strongly penalises BCOS for linking all noncoreferent pairs with COSSIM (M0, M1) ≥ 0.65. B3 メトリックは、すべての非コアファーレントペアを COSSIM (M0, M1) とリンクするための偽陽性実体言及と強い陰茎BCOSに関して非常に特異的である。 0.68
Furthermore, Fig. 2 shows that a thresholding strategy is clearly sub-optimal given that there is a significant overlap of co-referent and non-co-referent pairs with only a small minority of pairs at the top and bottom of the distribution that do not overlap. さらに、図。 2は, 重なりのない分布の上部と下部に少数のペアのみを持つ共参照対と非参照対が有意に重複していることから, しきい値戦略が明らかに準最適であることを示す。 0.79
MUC R Model P 0.42 0.94 BCOS CA 0.41 0.51 CA-V 0.50 0.69 CA-FT 0.47 0.71 CA-S 0.58 0.46 MUC R Model P 0.42 0.94 BCOS CA 0.41 0.51 CA-V 0.50 0.69 CA-FT 0.47 0.71 CA-S 0.58 0.46 0.67
B3 R P F1 F1 0.58 0.01 0.45 0.00 0.46 0.39 0.33 0.35 0.58 0.35 0.57 0.44 0.52 0.30 0.62 0.41 0.51 0.32 0.53 0.39 B3 R P F1 F1 0.58 0.01 0.45 0.00 0.46 0.39 0.33 0.35 0.58 0.35 0.57 0.44 0.52 0.30 0.62 0.41 0.51 0.32 0.53 0.39 0.72
Table 3: MUC and B3 results from running baseline models on CD2CR test subset, BCOS threshold=0.65 表3: cd2crテストサブセット, bcosしきい値=0.65のベースラインモデルの実行結果 0.73
英語(論文から抽出)日本語訳スコア
Test Type Anaphora and Exophora resolution テストタイプ アナフォラとエクソフォラ分解能 0.74
Subset relationship resolution サブセット関係分解能 0.72
Paraphrase resolution Coreferent? パラフレーズ分解能 Coreferent? 0.74
Pass Rate & Total Tests パスレートとトータルテスト 0.65
Yes No Yes はい いいえ。 はい 0.75
No Yes No いいえ。 はい いいえ。 0.72
47.1% (16/34) 47.1% (16/34) 0.71
76.5% (26/34) 76.5% (26/34) 0.71
24.3% (9/37) 24.3% (9/37) 0.71
60.0% (18/30) 60.0% (18/30) 0.71
33.3% (13/39) 33.3% (13/39) 0.71
80.5% (29/36) 80.5% (29/36) 0.71
Example test case and outcome for test case テストケースの例とテストケースの結果 0.89
M1: ...to boost the struggling insect’s numbers... [PASS] M2: the annual migration of the monarch butterfly... M1: ...monarchs raised in captivity... [FAIL] M2: ...rearing wild-caught monarchs in an indoor environment... M1: ...it was in fact a hive of human activity... [FAIL] M2: ...this region for Pre-Columbian cultural developments... M1: ... the carnivore’s skull... [FAIL] M2: ... the gigantic extinct Agriotherium africanum M1: ...a giant short-faced bear... [PASS] M2: ...the gigantic extinct Agriotherium africanum... M1: ...half the energy that existing techniques require [FAIL] M2: ...the lack of efficient catalysts for ammonia synthesis M1: ...to boost the struggling insect’s numbers... [PASS] M2: the annual migration of the monarch butterfly... M1: ...monarchs raised in captivity... [FAIL] M2: ...rearing wild-caught monarchs in an indoor environment... M1: ...it was in fact a hive of human activity... [FAIL] M2: ...this region for Pre-Columbian cultural developments... M1: ... the carnivore’s skull... [FAIL] M2: ... the gigantic extinct Agriotherium africanum M1: ...a giant short-faced bear... [PASS] M2: ...the gigantic extinct Agriotherium africanum... M1: ...half the energy that existing techniques require [FAIL] M2: ...the lack of efficient catalysts for ammonia synthesis 0.81
Table 4: A breakdown of specific tests carried out on CA-V model against three challenging types of relationships found in the CD2CR corpus. 表4: cd2crコーパスに見られる3つの困難な関係性に対するca-vモデル上での特定のテストの分解。 0.68
[PASS] or [FAIL] indicates CA-V model correctness. PASS]または[FAIL]はCA-Vモデルの正確性を示す。 0.66
Pass Rate is mathematically equivalent to Recall for test sets. パスレートはテスト集合のリコールと数学的に等価である。 0.60
Therefore, despite its promising MUC F1 score, it is clear that BCOS is not useful in practical terms. したがって、有望なMUC F1スコアにもかかわらず、BCOSが実用的には役に立たないことは明らかです。 0.62
Whilst our thresholding baseline above uses BERT, RoBERTa is used by Cattan et al. 上記のしきい値ベースラインではBERTを使用しますが、RoBERTaはCatanらによって使われています。 0.48
(2020) as the basis for their state-of-the-art model and thus for our models based on their work. (2020) を最先端モデルの基礎とし, 作業に基づくモデルについて検討した。 0.74
Although the two models have the same architecture, RoBERTa has been shown to outperform BERT at a range of tasks (Liu et al., 2019). 2つのモデルは同じアーキテクチャを持つが、RoBERTaは様々なタスクでBERTを上回っている(Liu et al., 2019)。
訳抜け防止モード: 2つのモデルは同じアーキテクチャであるが、RoBERTaが示されている。 BERTを様々なタスク(Liu et al ., 2019)で上回ります。
0.81
However, as shown in Figure 4, the cosine similarity distribution of mention pair embeddings produced by RoBERTa is compressed to use a smaller area of the potential distribution space compared to that of BERT (Figure 2). しかし、図4に示すように、RoBERTaが生成した参照ペア埋め込みのコサイン類似度分布を圧縮し、BERTのものと比べ、潜在的分布空間の小さい領域を使用する(図2)。 0.83
This compression of similarities may imply a reduction in RoBERTa’s ability to discriminate in our task setting. この類似性の圧縮は、RoBERTaのタスク設定における識別能力の低下を意味する可能性がある。 0.69
Liu et al. liu et alの略。 0.41
(2019) explain that their byte-pair-encoding (BPE) mechanism, which expands RoBERTa’s sub-word vocabulary and simplifies pre-processing, can reduce model performance for some tasks, although this is not further explored in their work. (2019)は、RoBERTaのサブワード語彙を拡張し、前処理を単純化するBPEメカニズムが、一部のタスクのモデル性能を低下させる可能性があることを説明している。 0.68
We leave further exploration of RoBERTa’s BPE scheme and its effects on the CD2CR task setting to future work. 我々は、RoBERTaのBPEスキームとCD2CRタスク設定へのその影響の今後の作業へのさらなる探求を残します。 0.71
All of the models specifically trained on the CD2CR corpus (CA-V, CA-FT, CA-S) outperform the CA model by a large margin. CD2CRコーパス(CA-V、CA-FT、CA-S)で特別に訓練された全てのモデルはCAモデルよりも大きなマージンで優れている。 0.65
Furthermore, the CA-V model (without pre-training on ECB+ corpus) outperforms the CA-FT model (with ECB+ pre-training) by 6% MUC and 3% B3. さらに、CA-Vモデル(ECB+コーパスの事前トレーニングなし)は、CA-FTモデル(ECB+事前トレーニング付き)を6%MUC、B3で上回っている。 0.61
These results suggest that the CD2CR task setting is distinct これらの結果は cd2cr タスクの設定が異なることを示唆する 0.57
Figure 4: RoBERTa Cosine Similarity frequency distribution for co-referent (Yes) and non-co-referent (No) mention pairs in the CD2CR corpus. 図 4: CD2CR コーパスの共参照 (Yes) と非共参照 (No) の対に対する RoBERTa Cosine 類似度分布。 0.82
Distribution is compressed between 0.8 and 1.0. 分布は0.8から1.0の間で圧縮される。 0.54
from the CDCR and ECB+ task setting and that this distinction is not solvable with fine-tuning. CDCRとECB+のタスク設定から、この区別が微調整で解決できないこと。 0.67
In terms of both MUC and B3, CA-S performs much worse than CA-V suggesting that SciBERT embeddings are less effective than RoBERTa embeddings in this task setting. MUCとB3の両面で、CA-SはCA-Vよりもはるかにパフォーマンスが悪く、SciBERTの埋め込みはこのタスク設定におけるRoBERTaの埋め込みよりも効果が低いことを示唆している。 0.53
We hypothesise that SciBERT’s specialisation towards scientific embeddings may come at the cost of significantly worse news summary embeddings when compared to those produced by RoBERTa. 我々は、SciBERTの科学的埋め込みに関する専門化は、RoBERTaが作り出したものと比較して、かなり悪いニュース要約埋め込みのコストがかかる可能性があると仮定する。 0.58
We next evaluate our best performing CD2CR baseline model (CA-V) at the entity resolution CDCR task using the ECB+ test corpus, to see how well it generalises to the original CDCR task. 次に、ECB+テストコーパスを使用して実体分解CDCRタスクで最高のパフォーマンスのCD2CRベースラインモデル(CA-V)を評価し、それが元のCDCRタスクにどの程度うまく一般化するかを確認します。 0.64
Results are presented in 5 along-side Cattan et al’s original model results (CA). 結果は、Cattan et alのオリジナルのモデル結果(CA)と一緒に5つ表示されます。 0.68
The CA-V model still CA-Vモデル 0.74
英語(論文から抽出)日本語訳スコア
shows good performance, despite a small drop, when compared to the original CA model. オリジナルのCAモデルと比較して、小さなドロップにもかかわらず、パフォーマンスがよい。 0.73
The drop in B3 F1 is more pronounced than MUC but is still broadly in line with other contemporary CDCR systems (Cattan et al., 2020). B3 F1 の減少は MUC よりも顕著であるが、他の現代の CDCR システム (Cattan et al., 2020) と大きく一致している。 0.84
The CA-V model demonstrates a promising ability to generalise beyond our corpus to other tasks and reveals an interesting correspondence between CDCR and CD2CR settings. CA-Vモデルは、我々のコーパスを超えて他のタスクに一般化する有望な能力を示し、CDCRとCD2CR設定の興味深い対応を示す。 0.58
Model MUC CA CA-V モデルMUC CA-V 0.88
P 0.86 0.82 0.82 0.81 P 0.86 0.82 0.82 0.81 0.50
R B3 P F1 F1 0.84 0.63 0.68 0.65 0.81 0.56 0.53 0.55 R B3 P F1 F1 0.84 0.63 0.68 0.65 0.81 0.56 0.53 0.55 0.73
R Table 5: MUC and B3 results from running the CD2CR baseline model (CA-V) on ECB+ dataset compared with original Cattan et al. R 表5: muc と b3 は ecb+ データセット上で cd2cr ベースラインモデル (ca-v) を実行した結果である。
訳抜け防止モード: R 表5 : MUCとB3の結果 ECB+データセット上でCD2CRベースラインモデル(CA - V )を実行します。
0.82
(2020) (CA). Finally, the best model (CA-V) is analysed using a series of challenging test cases inspired by Ribeiro et al (2020). (2020年)。 最後に、最良のモデル(CA-V)は、Ribeiro et al (2020)に触発された一連の挑戦的なテストケースを用いて分析される。 0.54
These test cases were created using 210 manually annotated mention-pairs found in the test subset of the CD2CR corpus according to the type of relationship illustrated (Anaphora & Exophora, Subset relationships, paraphrases). これらのテストケースは,CD2CRコーパスのテストサブセットに含まれる210個の注釈付き言及対を用いて作成した(Anaphora & Exophora, Subset relationship, paraphrases)。 0.79
We collected a balanced set of 30-40 examples of both co-referent and non-coreferentbut-ch allenging pairs for each type of relationship (exact numbers in Table 4). 我々は、各関係のタイプ(表4の正確な数)の共参照対と非コアフェレント対の両方の30〜40例のバランスのとれたセットを集めました。 0.61
We then recorded whether the model correctly predicted co-reference for these pairs. そして、モデルがこれらのペアの共参照を正しく予測したかどうかを記録した。 0.48
The results along with illustrative examples of each relationship type are shown in Table 4. 結果は、各関係型の例とともに表4に示される。 0.72
The results suggest that the model is better at identifying non-co-referent pairs than co-referent pairs and that it struggles with positive co-referent mentions for all three types of relationship. その結果、共参照ペアよりも非参照ペアの同定が優れていること、そして3種類の関係に対して正の共参照参照に苦慮していることが示唆された。 0.59
The model struggles to relate general reader-friendly descriptions of entities from news articles to precise and clinical descriptions found in scientific papers. このモデルは、ニュース記事から科学論文に見られる正確かつ臨床的な記述まで、一般の読者フレンドリーな記述を関連付けることに苦慮している。 0.49
The model often successfully identifies related concepts such as ‘the carnivore’s skull’ and ‘Agriotherium africanum’. このモデルは、「肉食動物の頭蓋骨」や「Agriotherium Africanum」などの関連概念をうまく識別できます。 0.75
However it is unable to deal with the complexity of these relationships and appears to conflate ‘related’ with ‘co-referent’, which is likely due to lack of lexical knowledge as we discussed in section 2.3. しかし、これらの関係の複雑さに対処することはできず、「関連性」と「相互参照性」を混同するように見える。
訳抜け防止モード: しかし、これらの関係の複雑さには対処できない。 関連 ’ を ‘co - referenceent ’ と表すように見えます。 これは2.3節で述べたような 語彙的な知識の欠如によるものでしょう
0.68
Figure 5 shows significant overlap between co-referent and non-co-referent RoBERTa-based cosine similarities, which can also be observed for the wider corpus in Figure 4, but is especially bad for these test examples. 図5は、共参照型と非参照型RoBERTaベースのコサイン類似性の顕著な重複を示し、図4のより広いコーパスでも観察できるが、これらのテスト例では特に悪い。 0.70
This overlap suggests that disentangling these pairs is likely to この重なりは、これらのペアの分離が 0.49
Figure 5: RoBERTa-based mention pair similarity frequency distribution for test examples from Table 4. 図5: 表4の試験例に対するRoBERTaベースの参照対類似度周波数分布。 0.80
’yes’ and ’no’ for ’co-referent’ and ’not-co-referent’ respectively ’yes’と’no’はそれぞれ‘co-referent’と’not-co-ferent’である。 0.67
be a challenging task for the downstream classification layer in the CA-V model. CA-Vモデルにおける下流分類層の課題となる。 0.75
These challenges are less likely to occur in homogeneous corpora like ECB+ where descriptions and relationships remain consistent in detail and complexity. これらの課題はecb+のような均質なコーパスでは生じず、説明と関係が細部と複雑さで一貫している。 0.58
6 Conclusion We have defined cross-document, cross-domain co-reference resolution (CD2CR), a special and challenging case of cross-document co-reference resolution for comparing mentions across documents of different types and/or themes. 6 結論 我々は、異なるタイプやテーマの文書間で言及を比較するためのクロスドキュメント、クロスドメインコリファレンス解決(CD2CR)、クロスドキュメントコリファレンス解決の特別かつ困難なケースを定義しました。 0.66
We have constructed a specialised CD2CR annotated dataset, available, along with our annotation guidelines and tool, as a free and open resource for future research. 将来研究のためのフリーかつオープンなリソースとして,アノテーションガイドラインとツールとともに利用可能なCD2CRアノテーション付きデータセットを構築した。 0.80
We have shown that state-of-the-art CDCR models do not perform well on the CD2CR dataset without specific training. 現状のCDCRモデルは、特定のトレーニングなしではCD2CRデータセット上ではうまく動作しないことを示した。 0.62
Furthermore, even with task-specific training, models perform modestly and leave room for further research and improvement. さらに、タスク固有のトレーニングでも、モデルは控えめに実行し、さらなる研究と改善の余地を残します。 0.59
Finally, we show that the understanding of semantic relatedness offered by current generation transformer-based language models may not be precise enough to reliably resolve complex linguistic relationships such as those found in CD2CR as well as other types of co-reference resolution and relationship extraction tasks. 最後に,CD2CRに見られるような複雑な言語関係や,他のタイプの参照解決や関係抽出タスクを確実に解決するには,現行のトランスフォーマー言語モデルによる意味的関連性の理解が不十分であることを示す。 0.79
The use of semantic enrichment techniques (such as those discussed in Section 2.3) to improve model performance in the CD2CR task should be investigated as future work. cd2crタスクにおけるモデルパフォーマンスを改善するためのセマンティックエンリッチメント技術(セクション2.3)の使用を今後の作業として検討すべきである。 0.78
Acknowledgments This work was supported by The Alan Turing Institute under the EPSRC grant EP/N510129/1 and the University of Warwick’s CDT in Urban Science under EPSRC grant EP/L016400/1. 承認 この研究は、EP/N510129/1のAlan Turing Instituteと、EP/L016400/1のEPSRCによるWarwick大学の都市科学におけるCDTによって支援された。 0.56
英語(論文から抽出)日本語訳スコア
References Amit Bagga and Breck Baldwin. Amit Bagga と Breck Baldwin を参照。 0.82
1998. Entitybased cross-document coreferencing using the vector space model. 1998. ベクトル空間モデルを用いたエンティティベースのクロスドキュメントコア参照。 0.74
In Proceedings of ACL ’98/COLING ’98, page 79–85, USA. In Proceedings of ACL '98/COING '98, page 79–85, USA. 0.87
Association for Computational Linguistics. 計算言語学協会(Association for Computational Linguistics)。 0.50
Shany Barhom, Vered Shwartz, Alon Eirew, Michael Bugert, Nils Reimers, and Ido Dagan. Shany Barhom、Vered Shwartz、Alon Eirew、Michael Bugert、Nils Reimers、Ido Dagan。 0.68
2019. Revisiting Joint Modeling of Cross-document Entity and In Proceedings of Event Coreference Resolution. 2019. クロスドキュメントエンティティとイベント参照解決の成果の合同モデリングを再考する。 0.75
the 57th Annual Meeting of the Association for Computational Linguistics, pages 4179–4189. 第57回計算言語学会年次総会、4179-4189ページ。 0.56
Iz Beltagy, Kyle Lo, and Arman Cohan. Iz Beltagy、Kyle Lo、Arman Cohan。 0.58
2019. SciBERT: A pretrained language model for scientific text. 2019. SciBERT:科学テキストのための事前訓練された言語モデル。 0.79
In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pages 3615– 3620. The 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), page 3615–3620。 0.81
Arie Cattan, Alon Eirew, Gabriel Stanovsky, Mandar Joshi, and Ido Dagan. Arie Cattan、Alon Eirew、Gabriel Stanovsky、Mandar Joshi、Ido Dagan。 0.71
2020. Streamlining crossdocument coreference resolution: Evaluation and modeling. 2020. crossdocument coreference resolution: evaluation and modelingの合理化。 0.85
arXiv:2009.11032. arXiv:2009.11032。 0.49
Jacob Cohen. ジェイコブ・コーエン。 0.55
1960. A coefficient of agreement for Educational and Psychological 1960. 教育と心理学の合意の係数 0.77
nominal scales. Measurement, 20:37–46. 名目上のスケール 測定は20:37–46。 0.55
Agata Cybulska and Piek Vossen. Agata CybulskaとPiek Vossen。 0.77
2014. Using a sledgehammer to crack a nut? 2014. ハンマーを使って ナッツを割るのか? 0.75
Lexical diversity In Proceedings and event coreference resolution. Lexical diversity in Proceedings and event coreference resolution (英語) 0.82
of the Ninth International Conference on Language Resources and Evaluation (LREC’14), pages 4545– 4552. 第9回国際言語資源評価会議(LREC’14)のページ4545–4552。 0.64
Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Jacob Devlin、Ming-Wei Chang、Kenton Lee、Kristina Toutanova。 0.78
2019. BERT: Pre-training of deep bidirectional transformers for language understanding. 2019. BERT: 言語理解のための双方向トランスフォーマーの事前トレーニング。 0.81
In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pages 4171–4186. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, page 4171–4186。 0.89
Association for Computational Linguistics. 計算言語学協会(Association for Computational Linguistics)。 0.50
Sourav Dutta and Gerhard Weikum. Sourav DuttaとGerhard Weikum。 0.70
2015. CrossDocument Co-Reference Resolution using SampleBased Clustering with Knowledge Enrichment. 2015. 知識エンリッチメントを用いたサンプルベースクラスタリングを用いたクロスドキュメントコリファレンス解決 0.80
Transactions of the Association for Computational Linguistics, 3:15–28. The Association for Computational Linguistics, 3:15–28。 0.82
Joseph L. Fleiss. Joseph L. Fleiss 0.78
1971. Measuring nominal scale agreement among many raters. 1971. 多くのレーサー間の公称スケールの一致を測定します。 0.64
Psychological Bulletin, 76(5):378–382. 心理学誌76(5):378-382。 0.68
Matt Grenander, Yue Dong, Jackie Chi Kit Cheung, and Annie Louis. Matt Grenander、Yue Dong、Jackie Chi Kit Cheung、Annie Louis。 0.70
2019. Countering the Effects of Lead Bias in News Summarization via Multi-Stage In Proceedings of Training and Auxiliary Losses. 2019. 多段階学習と補助損失の手続きにおけるニュース要約におけるリードバイアスの影響 0.76
the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pages 6019–6024. The 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), page 6019–6024。 0.95
Zellig S. Harris. Zellig S. Harris。 0.96
1954. WORD, 10(2-3):146–162. 1954. WORD, 10(2-3):146–162。 0.79
Distributional structure. Matthew Honnibal and Ines Montani. 分布構造。 マシュー・ホニバルとイネス・モンタニ。 0.64
2017. spaCy 2: Natural language understanding with Bloom embeddings, convolutional neural networks and incremental parsing. 2017 spacy 2: bloom embeddedによる自然言語理解、畳み込みニューラルネットワーク、インクリメンタル解析。 0.72
To appear. Heng Ji, Ralph Grishman, Hoa Trang Dang, Kira Griffitt, and Joe Ellis. 登場。 Heng Ji, Ralph Grishman, Hoa Trang Dang, Kira Griffitt, Joe Ellis 0.53
2010. Overview of the TAC 2010 knowledge base population track. 2010. TAC 2010ナレッジベース人口トラックの概要。 0.73
In Proceedings of the 2010 Text Analysis Conference. 2010年テキスト分析会議に出席。 0.61
Mandar Joshi, Danqi Chen, Yinhan Liu, Daniel S. Weld, Luke Zettlemoyer, and Omer Levy. Mandar Joshi、Danqi Chen、Yinhan Liu、Daniel S. Weld、Luke Zettlemoyer、およびOmer Levy。 0.82
2020. SpanBERT: Improving Pre-training by Representing and Predicting Spans. 2020. SpanBERT: スパンの表現と予測によるプリトレーニングの改善。 0.78
Transactions of the Association for Computational Linguistics, 8:64–77. The Association for Computational Linguistics, 8:64–77。 0.85
JR Landis and GG Koch. JRランディス・GGコッホ所属。 0.58
1977. The measurement of observer agreement for categorical data. 1977. カテゴリデータに対するオブザーバ契約の測定。 0.74
Biometrics, 33(1):159—174. バイオメトリックス 33(1):159—174。 0.70
Anne Lauscher, Ivan Vuli´c, Edoardo Maria Ponti, Anna Korhonen, and Goran Glavaˇs. Anne Lauscher、Ivan Vuli ́c、Edoardo Maria Ponti、Anna Korhonen、Goran Glava's。 0.77
2020. Specializing unsupervised pretraining models for word-level semantic similarity. 2020. 単語レベルの類似性のための教師なしプリトレーニングモデルに特化。 0.66
Computing Research Repository, arXiv:1909.02339. 計算研究リポジトリ arXiv:1909.02339。 0.66
Kenton Lee, Luheng He, Mike Lewis, and Luke Zettlemoyer. Kenton Lee、Luheng He、Mike Lewis、そしてLuke Zettlemoyer。 0.80
2017. End-to-end neural coreference resoIn Proceedings of the 2017 Conference on lution. 2017. エンドツーエンドの神経コアファレンスリゾード2017 Conference on lutionの進行。 0.76
Empirical Methods in Natural Language Processing, pages 188–197, Copenhagen, Denmark. Empirical Methods in Natural Language Processing, page 188–197, Copenhagen, Denmark. 0.96
Association for Computational Linguistics. 計算言語学協会(Association for Computational Linguistics)。 0.50
Kenton Lee, Luheng He, and Luke Zettlemoyer. Kenton Lee、Luheng He、そしてLuke Zettlemoyer。 0.78
2018. Higher-order coreference resolution with coarse-tofine inference. 2018. 粗粒度推論による高次コアファレンス分解能 0.69
In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pages 687–692, New Orleans, Louisiana. 2018年アメリカ計算言語協会(Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), Page 687–692, New Orleans, Louisiana)は、アメリカ合衆国ルイジアナ州出身の言語学者。 0.83
Association for Computational Linguistics. 計算言語学協会(Association for Computational Linguistics)。 0.50
Belinda Z. Li, Gabriel Stanovsky, and Luke Zettlemoyer. Belinda Z. Li、Gabriel Stanovsky、Luke Zettlemoyer。 0.74
2020. Active learning for coreference resolution using discrete annotation. 2020. 離散アノテーションを用いたコアファレンス分解能のアクティブラーニング 0.72
In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 8320–8331. 58th Annual Meeting of the Association for Computational Linguistics』8320-8331頁。 0.71
Maria Liakata, Simon Dobnik, Shyamasree Saha, Colin Batchelor, and Dietrich Rebholz-Schuhmann. Maria Liakata、Simon Dobnik、Shyamasree Saha、Colin Batchelor、Dietrich Rebholz-Schuhmann。 0.74
2013. A discourse-driven content model for summarising scientific articles evaluated in a complex In Proceedings of Conquestion answering task. 2013. In Proceedings of Conquestion answering taskで評価された科学論文を要約するための談話駆動コンテンツモデル。 0.81
ference on Empirical Methods in Natural Language Processing, EMNLP 2013, pages 747–757. 自然言語処理における経験的手法の紹介, EMNLP 2013 ページ 747–757。 0.74
Association for Computational Linguistics. 計算言語学協会(Association for Computational Linguistics)。 0.50
Xiao Ling, Sameer Singh, and Daniel S. Weld. Xiao Ling, Sameer Singh, Daniel S. Weld 0.70
2015. Design challenges for entity linking. 2015. エンティティリンクのための設計課題。 0.75
Transactions of the Association for Computational Linguistics, 3:315–328. Association for Computational Linguistics, 3:315–328。 0.77
英語(論文から抽出)日本語訳スコア
David Wadden, Shanchuan Lin, Kyle Lo, Lucy Lu Wang, Madeleine van Zuylen, Arman Cohan, and Hannaneh Hajishirzi. David Wadden, Shanchuan Lin, Kyle Lo, Lucy Lu Wang, Madeleine van Zuylen, Arman Cohan, Hannaneh Hajishirzi。 0.77
2020. Fact or fiction: Verifying scientific claims. 2020. Fact or fiction: 科学的主張の検証。 0.85
Computing Research Repository, arXiv:2004.14974. 計算研究リポジトリ arXiv:2004.14974。 0.72
Ralph Weischedel, Martha Palmer, Mitchell Marcus, Eduard Hovy, Sameer Pradhan, Lance Ramshaw, Nianwen Xue, Ann Taylor, Jeff Kaufman, Michelle Franchini, Mohammed El-Bachouti, Robert Belvin, and Ann Houston. Ralph Weischedel, Martha Palmer, Mitchell Marcus, Eduard Hovy, Sameer Pradhan, Lance Ramshaw, Nianwen Xue, Ann Taylor, Jeff Kaufman, Michelle Franchini, Mohammed El-Bachouti, Robert Belvin, Ann Houston 0.83
2013. Ontonotes release 5.0 LDC2013T19. 2013. Ontonotes リリース 5.0 LDC2013T19。 0.72
Linguistic Data Consortium, Philadelphia, PA. フィラデルフィア、PAの言語データコンソーシアム。 0.64
John Wieting, Mohit Bansal, Kevin Gimpel, and Karen Livescu. John Wieting、Mohit Bansal、Kevin Gimpel、Karen Livescu。 0.62
2015. From paraphrase database to compositional paraphrase model and back. 2015. paraphrase database から compositional paraphrase model and back へ。 0.80
Transactions of the Association for Computational Linguistics, 3:345–358. The Association for Computational Linguistics, 3:345–358。 0.84
Xiaoyao Yin, Yangchen Huang, Bin Zhou, Aiping Li, Long Lan, and Yan Jia. Xiaoyao Yin、Yangchen Huang、Bin Zhou、Aiping Li、Long Lan、Yan Jia。 0.64
2019. Deep entity linking via eliminating semantic ambiguity with BERT. 2019. BERTとのセマンティックなあいまいさの排除によるディープエンティティリンク。 0.68
IEEE Access, 7:169434–169445. IEEE Access, 7:169434–169445。 0.67
Mo Yu and Mark Dredze. Mo YuとMark Dredze。 0.77
2014. Improving lexical embeddings with semantic knowledge. 2014. 意味知識による語彙埋め込みの改善 0.79
In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, pages 545–550. 52th Annual Meeting of the Association for Computational Linguistics』545-550頁。 0.70
Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, Veselin Stoyanov。 0.80
2019. RoBERTa: A robustly optimized BERT pretraining approach. 2019. RoBERTa: 堅牢に最適化されたBERTプリトレーニングアプローチ。 0.74
Computing Research Repository, arXiv:1907.11692. Computing Research Repository, arXiv:1907.11692 0.78
Annie Louis and Ani Nenkova. Annie LouisとAni Nenkova。 0.78
2013. A corpus of science journalism for analyzing writing quality. 2013. 執筆の質を分析するための科学ジャーナリズムのコーパス。 0.80
Dialogue and Discourse, 4(2):87–117. 対話と談話、4(2):87-117。 0.62
Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. マシュー・e・ピーターズ、マーク・ノイマン、モヒト・アイイヤー、マット・ガードナー、クリストファー・クラーク、ケントン・リー、ルーク・ゼトルモイヤー。
訳抜け防止モード: Matthew E. Peters、Mark Neumann、Mohit Iyyer、Matt Gardner、 クリストファー・クラーク、ケントン・リー、ルーク・ゼトルモイヤー。
0.74
2018. Deep contextualized word representations. 2018. 文脈化された単語表現。 0.69
In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pages 2227–2237. 2018年北米計算言語学会(英語版)の北米支部会議(英語版)の議事録に、Human Language Technologies, page 2227–2237。 0.71
Edoardo Maria Ponti, Ivan Vuli´c, Goran Glavaˇs, Nikola Mrkˇsi´c, and Anna Korhonen. エドアルド・マリア・ポンティ、イヴァン・ヴリ、ゴラン・グラヴァシュ、ニコラ・ムルクシ、アンナ・コルホーネン。 0.40
2018. Adversarial propagation and zero-shot cross-lingual transfer of In Proceedings of the word vector specialization. 2018. 単語ベクトル特殊化の手続きにおける逆伝播とゼロショット言語間伝達 0.81
2018 Conference on Empirical Methods in Natural Language Processing, pages 282–293. 2018 Conference on Empirical Methods in Natural Language Processing, page 282–293。 0.92
Jonathan Raiman and Olivier Raiman. ジョナサン・レイマンとオリヴィエ・レイマン 0.57
2018. DeepType: Multilingual entity linking by neural type system evolution. 2018. DeepType: ニューラル型システム進化による多言語エンティティリンク。 0.85
In AAAI Conference on Artificial Intelligence. 人工知能に関するAAAI会議に参加。 0.67
Delip Rao, Paul McNamee, and Mark Dredze. Delip Rao、Paul McNamee、Mark Dredze。 0.66
2010. Streaming cross document entity coreference resolution. 2010. ストリーミングクロスドキュメントエンティティのコリファレンス解決。 0.76
In Coling 2010: Posters, pages 1050–1058, Beijing, China. コリング2010:ポスター、1050-1058頁、北京、中国。 0.70
Coling 2010 Organizing Committee. 2010年 組織委員会委員。 0.72
James Ravenscroft, Amanda Clare, and Maria Liakata. James Ravenscroft、Amanda Clare、Maria Liakata。 0.66
2018. HarriGT: A tool for linking news to science. 2018. HarriGT: ニュースを科学にリンクするためのツール。 0.87
In Proceedings of ACL 2018, System Demonstrations, pages 19–24. Proceedings of ACL 2018, System Demonstrations, page 19–24。 0.87
Marta Recasens, Llu´ıs M`arquez, Emili Sapena, M. Ant`onia Mart´ı, Mariona Taul´e, V´eronique Hoste, Massimo Poesio, and Yannick Versley. Marta Recasens, Llu ́ıs M`arquez, Emili Sapena, M. Ant`onia Mart ́ı, Mariona Taul ́e, V ́eronique Hoste, Massimo Poesio, Yannick Versley 0.91
2010. SemEval-2010 task 1: Coreference resolution in multiple languages. 2010. SemEval-2010 Task 1: 複数言語でのコア参照解決。 0.76
In Proceedings of the 5th International Workshop on Semantic Evaluation, pages 1–8. 第5回「意味評価に関する国際ワークショップ」第1-8頁。 0.64
Association for Computational Linguistics. 計算言語学協会(Association for Computational Linguistics)。 0.50
Marco Tulio Ribeiro, Tongshuang Wu, Carlos Guestrin, and Sameer Singh. Marco Tulio Ribeiro, Tongshuang Wu, Carlos Guestrin, Sameer Singh 0.66
2020. Beyond accuracy: Behavioral testing of NLP models with CheckList. 2020. 精度を超えて:CheckListによるNLPモデルの振る舞いテスト。 0.80
In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 4902– 4912, Online. 58th Annual Meeting of the Association for Computational Linguistics, page 4902– 4912, Online 0.65
Association for Computational Linguistics. 計算言語学協会(Association for Computational Linguistics)。 0.50
W. Shen, J. Wang, and J. Han. W.Shen、J.Wang、J.Han。 0.78
2015. Entity linking with a knowledge base: Issues, techniques, and solutions. 2015. 知識ベースとのエンティティリンク:問題、テクニック、ソリューション。 0.74
IEEE Transactions on Knowledge and Data Engineering, 27(2):443–460. IEEE Transactions on Knowledge and Data Engineering, 27(2):443–460。 0.92
Marc Vilain, John Burger, John Aberdeen, Dennis Connolly, and Lynette Hirschman. Marc Vilain、John Burger、John Aberdeen、Dennis Connolly、Lynette Hirschman。 0.72
1995. A modeltheoretic coreference scoring scheme. 1995. モデル理論コアスコアリング方式 0.67
In MUC6 ’95: Proceedings of the 6th conference on Message understanding, pages 45–52. MUC6 ’95: Proceedings of the 6th Conference on Message Understanding, page 45–52。 0.89
                       ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。