論文の概要: CODA-19: Using a Non-Expert Crowd to Annotate Research Aspects on 10,000+ Abstracts in the COVID-19 Open Research Dataset

• arxiv url: http://arxiv.org/abs/2005.02367v5
• Date: Thu, 17 Sep 2020 22:00:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-06 14:27:29.106883
• Title: CODA-19: Using a Non-Expert Crowd to Annotate Research Aspects on 10,000+ Abstracts in the COVID-19 Open Research Dataset
• Title（参考訳）: coda-19:covid-19オープンリサーチデータセットで、非専門家の群衆を使って1万以上の抽象概念の研究側面に注釈を付ける
• Authors: Ting-Hao 'Kenneth' Huang, Chieh-Yang Huang, Chien-Kuang Cornelia Ding, Yen-Chia Hsu, and C. Lee Giles
• Abstract要約: CODA-19は10日以内にAmazon Mechanical Turkの248人の群衆労働者によって作られた。 それぞれの要約は9人の異なる労働者によって注釈付けされ、最終的なラベルは多数決によって獲得された。
• 参考スコア（独自算出の注目度）: 26.58453821495204
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces CODA-19, a human-annotated dataset that codes the Background, Purpose, Method, Finding/Contribution, and Other sections of 10,966 English abstracts in the COVID-19 Open Research Dataset. CODA-19 was created by 248 crowd workers from Amazon Mechanical Turk within 10 days, and achieved labeling quality comparable to that of experts. Each abstract was annotated by nine different workers, and the final labels were acquired by majority vote. The inter-annotator agreement (Cohen's kappa) between the crowd and the biomedical expert (0.741) is comparable to inter-expert agreement (0.788). CODA-19's labels have an accuracy of 82.2% when compared to the biomedical expert's labels, while the accuracy between experts was 85.0%. Reliable human annotations help scientists access and integrate the rapidly accelerating coronavirus literature, and also serve as the battery of AI/NLP research, but obtaining expert annotations can be slow. We demonstrated that a non-expert crowd can be rapidly employed at scale to join the fight against COVID-19.
• Abstract（参考訳）: 本稿は、COVID-19 Open Research Datasetにおける、背景、目的、方法、発見/貢献、その他の10,966の英語の抽象化をコードする、人間による注釈付きデータセットであるCODA-19を紹介する。 CODA-19は10日以内にアマゾン・メカニカル・トルコの248人の群衆労働者によって作られ、専門家に匹敵するラベル付け品質を達成した。 それぞれの要約は9人の異なる労働者によって注釈され、最後のラベルは多数決で獲得された。 観客と生物医学の専門家(0.741)の間の注釈間合意(cohen's kappa)は、専門家間合意(0.788)に匹敵する。 CODA-19のラベルは、バイオメディカルの専門家のラベルと比較して82.2%の精度で、専門家間の精度は85.0%である。 信頼性の高い人間のアノテーションは、急速に加速する新型コロナウイルスの文献にアクセスし統合するのに役立ち、AI/NLP研究のバッテリーとしても機能する。 我々は、新型コロナウイルスとの戦いに参加するために、非専門家の群衆を急速に雇用できることを実証した。

関連論文リスト

• xCOMET-lite: Bridging the Gap Between Efficiency and Quality in Learned MT Evaluation Metrics [69.14652127492438]
  xCOMETのような最先端の機械翻訳評価指標は、人間の判断と高い相関性を得るが、大きなエンコーダに依存している。 我々は, 蒸留, 定量化, プルーニング技術を用いて, 効率的なxCOMET代替品を作成する。 量子化により,xCOMETは3倍の圧縮が可能であり,品質劣化は生じない。
  論文  参考訳（メタデータ） (2024-06-20T17:58:34Z)
• Good Data, Large Data, or No Data? Comparing Three Approaches in Developing Research Aspect Classifiers for Biomedical Papers [19.1408856831043]
  クラウドアノテートされたCODA-19研究アスペクト分類タスクにおいて,異なるデータセットがモデル性能に与える影響について検討した。 その結果,PubMed 200K RCTデータセットではCODA-19タスクの性能が向上しないことがわかった。
  論文  参考訳（メタデータ） (2023-06-07T22:56:53Z)
• COVID-Net Assistant: A Deep Learning-Driven Virtual Assistant for COVID-19 Symptom Prediction and Recommendation [75.74756992992147]
  新型コロナウイルスの症状予測とレコメンデーションを提供するために設計された,効率的な仮想アシスタントであるCOVID-Net Assistantの設計を紹介する。 マシン駆動設計探索を通じて生成された、高度にカスタマイズされた軽量な畳み込みニューラルネットワークアーキテクチャについて検討する。 実験結果から,強力な予測性能を示す COVID-Net Assistant ニューラルネットワークが期待できる結果を得た。
  論文  参考訳（メタデータ） (2022-11-22T01:41:48Z)
• Multi-label classification for biomedical literature: an overview of the BioCreative VII LitCovid Track for COVID-19 literature topic annotations [13.043042862575192]
  BioCreative LitCovidのトラックは、新型コロナウイルスの文献の自動トピックアノテーションに取り組むコミュニティの努力を求めている。 データセットは3万以上の記事と手動でレビューされたトピックで構成されている。 最高パフォーマンスは0.8875、0.9181、0.9394、マクロF1スコア、マイクロF1スコア、インスタンスベースのF1スコアである。
  論文  参考訳（メタデータ） (2022-04-20T20:47:55Z)
• WSSS4LUAD: Grand Challenge on Weakly-supervised Tissue Semantic Segmentation for Lung Adenocarcinoma [51.50991881342181]
  この課題には10,091個のパッチレベルのアノテーションと1300万以上のラベル付きピクセルが含まれる。 第一位チームは0.8413mIoUを達成した(腫瘍:0.8389、ストーマ:0.7931、正常:0.8919)。
  論文  参考訳（メタデータ） (2022-04-13T15:27:05Z)
• Repurposing TREC-COVID Annotations to Answer the Key Questions of CORD-19 [4.847073702809032]
  新型コロナウイルス感染症(COVID-19)は2019年後半に中国武漢で発生し、これまでに全世界で1400万人以上が感染している。 ホワイトハウスは、さまざまな新型コロナウイルスに関連する20万件以上の雑誌をまとめ、コーパスに関する重要な質問に回答するようコミュニティに指示した。 我々は, TREC-COVIDタスクの関連アノテーションを再利用して, CORD-19が提起する重要な問題に関連するCORD-19のジャーナル記事を特定することにした。
  論文  参考訳（メタデータ） (2020-08-27T19:51:07Z)
• COVID-19 Knowledge Graph: Accelerating Information Retrieval and Discovery for Scientific Literature [23.279540233851993]
  新型コロナウイルス(COVID-19)の感染者は35万人を超え、全世界で600万人以上が感染している。 新型コロナウイルス(COVID-19)で急速に成長しているコーパスから情報を見つけ出すための追加のツールを研究者に提供するために、いくつかの検索エンジンが浮上した。 我々は、COVID-19の記事間の複雑な関係を抽出し視覚化するための異種グラフである、CKG(COVID-19 Knowledge Graph)を提示する。
  論文  参考訳（メタデータ） (2020-07-24T18:29:43Z)
• CO-Search: COVID-19 Information Retrieval with Semantic Search, Question Answering, and Abstractive Summarization [53.67205506042232]
  CO-Searchは、新型コロナウイルスの文献上の複雑なクエリを処理するように設計された、レトリバーランサーセマンティック検索エンジンである。 ドメイン固有の比較的限られたデータセットを考慮し、文書の段落と引用の2部グラフを生成する。 TREC-COVID情報検索課題のデータに基づいて,本システムの評価を行った。
  論文  参考訳（メタデータ） (2020-06-17T01:32:48Z)
• COVID-DA: Deep Domain Adaptation from Typical Pneumonia to COVID-19 [92.4955073477381]
  新型コロナウイルス感染症(COVID-19)の流行はすでに何百万人もの人々に感染しており、今でも世界中で急速に拡大している。 近年,ディープラーニングを効果的なコンピュータ支援手法として利用し,診断効率を向上している。 本稿では,新たな深部ドメイン適応手法,すなわちCOVID-DAを提案する。
  論文  参考訳（メタデータ） (2020-04-30T03:13:40Z)
• COVID-Net: A Tailored Deep Convolutional Neural Network Design for Detection of COVID-19 Cases from Chest X-Ray Images [93.0013343535411]
  我々は,胸部X線(CXR)画像から新型コロナウイルスの症例を検出するための,深層畳み込みニューラルネットワーク設計であるCOVID-Netを紹介した。 著者たちの知る限りでは、COVID-NetはCXRイメージからCOVID-19を検出するための、最初のオープンソースネットワーク設計の1つである。 また,13,870人の患者を対象に,13,975個のCXR画像からなるオープンアクセスベンチマークデータセットであるCOVIDxも導入した。
  論文  参考訳（メタデータ） (2020-03-22T12:26:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。