論文の概要: Corpus-Level Evaluation for Event QA: The IndiaPoliceEvents Corpus Covering the 2002 Gujarat Violence

• arxiv url: http://arxiv.org/abs/2105.12936v1
• Date: Thu, 27 May 2021 04:15:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-29 06:57:45.611526
• Title: Corpus-Level Evaluation for Event QA: The IndiaPoliceEvents Corpus Covering the 2002 Gujarat Violence
• Title（参考訳）: イベントQAのためのコーパスレベル評価:2002年のGujarat ViolenceをカバーするIndiaPoliceEventsコーパス
• Authors: Andrew Halterman, Katherine A. Keith, Sheikh Muhammad Sarwar, Brendan O'Connor
• Abstract要約: 2002年3月、グジャラート州における出来事に関する1257の英語タイムズから21,391通の文をインディアポリスイベントコーパスで紹介した。 訓練された注釈者は、すべての文書を警察活動イベントの言及のために読み、ラベル付けし、不偏なリコール評価を可能にしました。
• 参考スコア（独自算出の注目度）: 11.610715844912368
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automated event extraction in social science applications often requires corpus-level evaluations: for example, aggregating text predictions across metadata and unbiased estimates of recall. We combine corpus-level evaluation requirements with a real-world, social science setting and introduce the IndiaPoliceEvents corpus--all 21,391 sentences from 1,257 English-language Times of India articles about events in the state of Gujarat during March 2002. Our trained annotators read and label every document for mentions of police activity events, allowing for unbiased recall evaluations. In contrast to other datasets with structured event representations, we gather annotations by posing natural questions, and evaluate off-the-shelf models for three different tasks: sentence classification, document ranking, and temporal aggregation of target events. We present baseline results from zero-shot BERT-based models fine-tuned on natural language inference and passage retrieval tasks. Our novel corpus-level evaluations and annotation approach can guide creation of similar social-science-oriented resources in the future.
• Abstract（参考訳）: 社会科学の応用における自動イベント抽出は、しばしばコーパスレベルの評価を必要とする。 2002年3月、インドのグジャラート州における出来事に関する1257の英英字記事から21,391文を全て紹介し、コーパスレベルの評価要件を現実世界の社会科学的な設定と組み合わせた。 訓練された注釈者は、すべての文書を警察活動イベントの言及のために読み、ラベル付けし、不偏なリコール評価を可能にしました。 構造化されたイベント表現を持つ他のデータセットとは対照的に、自然な質問をすることでアノテーションを収集し、3つの異なるタスク(文の分類、文書のランク付け、ターゲットイベントの時間的集約)の既定モデルを評価する。 自然言語推論とパッセージ検索タスクを微調整したゼロショットbertモデルの基本結果を示す。 提案するコーパスレベルの評価とアノテーションアプローチは, 今後, 同様の社会科学的資源の創造を導くことができる。

関連論文リスト

• Evaluating D-MERIT of Partial-annotation on Information Retrieval [77.44452769932676]
  検索モデルは、部分的に注釈付けされたデータセットでしばしば評価される。 部分的に注釈付けされたデータセットを評価に用いると歪んだ絵が描けることを示す。
  論文  参考訳（メタデータ） (2024-06-23T08:24:08Z)
• An Evaluation Framework for Mapping News Headlines to Event Classes in a Knowledge Graph [3.9742873618618275]
  本稿では,Wikidata のイベントクラスにマップされたニュース見出しのベンチマークデータセットを作成する手法を提案する。 このデータセットを用いて、このタスクの教師なしメソッドの2つのクラスを調査する。 今後の課題に対する評価,教訓,方向性について紹介する。
  論文  参考訳（メタデータ） (2023-12-04T20:42:26Z)
• Rethinking Evaluation Metrics of Open-Vocabulary Segmentaion [78.76867266561537]
  評価プロセスは、予測された真理のカテゴリと基底的真理のカテゴリの類似性を考慮せずに、クローズドセットのメトリクスに大きく依存している。 この問題に対処するため、まず2つのカテゴリー語間の11の類似度の測定を行った。 我々は,3つのオープン語彙セグメンテーションタスクに適した,オープンmIoU,オープンAP,オープンPQという新しい評価指標を設計した。
  論文  参考訳（メタデータ） (2023-11-06T18:59:01Z)
• Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language Modelling [70.23876429382969]
  本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。 ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。 また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
  論文  参考訳（メタデータ） (2023-07-16T15:18:25Z)
• An Evaluation Framework for Legal Document Summarization [1.9709122688953327]
  法実務者は、土地紛争、汚職など、様々な分野の実務について、多くの長い訴訟手続を経なければならない。 これらの文書を要約し、事件のカテゴリーに合致する意図のある句を含むことを保証することが重要である。 本稿では, BLEU, ROUGE-Lなどの他の自動指標と比較して, 人間の評価との整合性を示す自動意図ベース要約尺度を提案する。
  論文  参考訳（メタデータ） (2022-05-17T16:42:03Z)
• Abstractive Summarization of Spoken and Written Instructions with BERT [66.14755043607776]
  本稿では,BERTSumモデルの最初の対話型言語への応用について述べる。 我々は多種多様な話題にまたがるナレーションビデオの抽象要約を生成する。 我々は、これをインテリジェントな仮想アシスタントの機能として統合し、要求に応じて文字と音声の両方の指導内容の要約を可能にすることを想定する。
  論文  参考訳（メタデータ） (2020-08-21T20:59:34Z)
• A Survey on Text Classification: From Shallow to Deep Learning [83.47804123133719]
  過去10年は、ディープラーニングが前例のない成功を収めたために、この分野の研究が急増している。 本稿では,1961年から2021年までの最先端のアプローチを見直し,そのギャップを埋める。 特徴抽出と分類に使用されるテキストとモデルに基づいて,テキスト分類のための分類を作成する。
  論文  参考訳（メタデータ） (2020-08-02T00:09:03Z)
• Cross-context News Corpus for Protest Events related Knowledge Base Construction [0.15393457051344295]
  我々は、英語の様々な地域および国際情報源からなる抗議イベントのゴールドスタンダードコーパスについて述べる。 このコーパスは、ニュース記事を自動的に分類し、抗議イベント関連情報を抽出する機械学習モデルの作成を容易にする。
  論文  参考訳（メタデータ） (2020-08-01T22:20:48Z)
• A computational model implementing subjectivity with the 'Room Theory'. The case of detecting Emotion from Text [68.8204255655161]
  本研究は,テキスト分析における主観性と一般的文脈依存性を考慮した新しい手法を提案する。 単語間の類似度を用いて、ベンチマーク中の要素の相対的関連性を抽出することができる。 この方法は、主観的評価がテキストの相対値や意味を理解するために関係しているすべてのケースに適用できる。
  論文  参考訳（メタデータ） (2020-05-12T21:26:04Z)
• Seeing the Forest and the Trees: Detection and Cross-Document Coreference Resolution of Militarized Interstate Disputes [3.8073142980733]
  テキスト中の特定の政治事象を識別し、共有イベントに基づいて関連テキストを相互にリンクする手法を評価するためのデータセットを提供する。 データセットであるHeadlines of Warは、Militarized Interstate Disputesデータセットに基づいて構築され、問題ステータスとコア参照インジケータでラベル付けされた見出しペアによって分類された見出しを提供する。 このマルチタスク畳み込みニューラルネットワークは,見出しのテキストや出版日時からイベントやイベントのコアを認識できることが示されている。
  論文  参考訳（メタデータ） (2020-05-06T17:20:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。