論文の概要: NLPContributions: An Annotation Scheme for Machine Reading of Scholarly
Contributions in Natural Language Processing Literature
- arxiv url: http://arxiv.org/abs/2006.12870v3
- Date: Thu, 3 Sep 2020 05:23:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-17 23:38:00.512273
- Title: NLPContributions: An Annotation Scheme for Machine Reading of Scholarly
Contributions in Natural Language Processing Literature
- Title(参考訳): NLPコントリビューション:自然言語処理文学におけるScholarly Contributionsの機械読解のためのアノテーションスキーム
- Authors: Jennifer D'Souza and S\"oren Auer
- Abstract要約: 本稿では,自然言語処理(NLP)論文の学術的貢献を捉えるためのアノテーションイニシアチブについて述べる。
我々は,5つの情報抽出タスクへのコントリビューションを提示する50のNLP-ML学術論文に対するパイロット演習に基づくアノテーションタスクを開発する。
我々は,NLPコントリビューションの方法論が,そのさらなる洗練と発展に向けて,このトピックについてより広範な議論を巻き起こすことを想定する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: We describe an annotation initiative to capture the scholarly contributions
in natural language processing (NLP) articles, particularly, for the articles
that discuss machine learning (ML) approaches for various information
extraction tasks. We develop the annotation task based on a pilot annotation
exercise on 50 NLP-ML scholarly articles presenting contributions to five
information extraction tasks 1. machine translation, 2. named entity
recognition, 3. question answering, 4. relation classification, and 5. text
classification. In this article, we describe the outcomes of this pilot
annotation phase. Through the exercise we have obtained an annotation
methodology; and found ten core information units that reflect the contribution
of the NLP-ML scholarly investigations. The resulting annotation scheme we
developed based on these information units is called NLPContributions.
The overarching goal of our endeavor is four-fold: 1) to find a systematic
set of patterns of subject-predicate-object statements for the semantic
structuring of scholarly contributions that are more or less generically
applicable for NLP-ML research articles; 2) to apply the discovered patterns in
the creation of a larger annotated dataset for training machine readers of
research contributions; 3) to ingest the dataset into the Open Research
Knowledge Graph (ORKG) infrastructure as a showcase for creating user-friendly
state-of-the-art overviews; 4) to integrate the machine readers into the ORKG
to assist users in the manual curation of their respective article
contributions. We envision that the NLPContributions methodology engenders a
wider discussion on the topic toward its further refinement and development.
Our pilot annotated dataset of 50 NLP-ML scholarly articles according to the
NLPContributions scheme is openly available to the research community at
https://doi.org/10.25835/0019761.
- Abstract(参考訳): 本稿では,自然言語処理(NLP)の記事,特にさまざまな情報抽出タスクにおける機械学習(ML)アプローチについて議論する記事に対する,学術的貢献を捉えるためのアノテーションイニシアチブについて述べる。
5つの情報抽出タスクへの貢献を提示する50 nlp-ml論文のパイロットアノテーション演習に基づくアノテーションタスクを開発した。
1.機械翻訳
2.名前付きエンティティ認識
3.質問への回答
4.関係分類,及び
5. テキスト分類。
本稿では,このパイロットアノテーションフェーズの結果について述べる。
その結果,NLP-MLによる学術研究の貢献を反映した10のコア情報単位が得られた。
これらの情報単位に基づいて開発したアノテーションスキームをNLPContributionsと呼ぶ。
私たちの努力の総体的な目標は次の4つです。
1)NLP-ML研究論文に多かれ少なかれ汎用的な学術的貢献のセマンティック構造化のための主観的述語文の体系的なパターンを見つけること。
2) より大きな注釈付きデータセットの作成において,発見されたパターンを研究貢献の機械読者の訓練に適用する。
3) ユーザフレンドリーな最先端の概要を作成するためのショーケースとして,データセットをOpen Research Knowledge Graph(ORKG)インフラストラクチャに取り込みます。
4) マシンリーダをorkgに統合することにより,各記事のマニュアルキュレーションを支援する。
我々は,NLPコントリビューションの方法論が,そのさらなる洗練と発展に向けて,このトピックについてより広範な議論を巻き起こすことを想定する。
NLPコントリビューション方式に基づく50のNLP-ML学術論文のアノテートデータセットを, https://doi.org/10.25835/00 19761で公開している。
関連論文リスト
- Large Language Models for Data Annotation: A Survey [58.454724454158814]
LLM(Advanced Large Language Models)の出現は、データアノテーションのプロセスに革命を起こし、自動化する前例のない機会を提供する。
この調査は、LLMベースのデータ、LLM生成アノテーションの評価、LLM生成アノテーションによる学習の3つの中核的な側面に貢献する。
重要なガイドとして、この調査は、研究者や実践者がデータアノテーションのための最新のLCMの可能性を探究することを目的としている。
論文 参考訳(メタデータ) (2024-02-21T00:44:04Z) - Large Language Models for Scientific Information Extraction: An
Empirical Study for Virology [0.0]
談話に基づく学術コミュニケーションにおける構造的・意味的内容表現の利用を擁護する。
ウィキペディアのインフォボックスや構造化されたAmazon製品記述といったツールにヒントを得て、構造化された学術貢献要約を生成するための自動アプローチを開発しました。
以上の結果から,FLAN-T5のパラメータは現状のGPT-davinciよりも1000倍少ないことが示唆された。
論文 参考訳(メタデータ) (2024-01-18T15:04:55Z) - InFoBench: Evaluating Instruction Following Ability in Large Language
Models [57.27152890085759]
Decomposed Requirements following Ratio (DRFR) は、命令に従うLarge Language Models (LLM) 能力を評価するための新しい指標である。
InFoBenchは500の多様な命令と2250の分解された質問を複数の制約カテゴリに分けたベンチマークである。
論文 参考訳(メタデータ) (2024-01-07T23:01:56Z) - DataTales: Investigating the use of Large Language Models for Authoring
Data-Driven Articles [19.341156634212364]
大規模言語モデル(LLM)は、データ駆動記事の作成を支援する機会を提供する。
我々は LLM を利用したプロトタイプシステム DataTales を設計した。
デザインプローブとしてDataTalesを用いて,11人の専門家による質的研究を行い,その概念を評価した。
論文 参考訳(メタデータ) (2023-08-08T06:21:58Z) - NLPeer: A Unified Resource for the Computational Study of Peer Review [58.71736531356398]
NLPeer - 5万以上の論文と5つの異なる会場からの1万1千件のレビューレポートからなる、初めて倫理的にソースされたマルチドメインコーパス。
従来のピアレビューデータセットを拡張し、解析および構造化された論文表現、豊富なメタデータ、バージョニング情報を含む。
我々の研究は、NLPなどにおけるピアレビューの体系的、多面的、エビデンスに基づく研究への道のりをたどっている。
論文 参考訳(メタデータ) (2022-11-12T12:29:38Z) - Investigating Fairness Disparities in Peer Review: A Language Model
Enhanced Approach [77.61131357420201]
我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。
我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。
我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
論文 参考訳(メタデータ) (2022-11-07T16:19:42Z) - O-Dang! The Ontology of Dangerous Speech Messages [53.15616413153125]
O-Dang!:The Ontology of Dangerous Speech Messages, a systematic and interoperable Knowledge Graph (KG)
O-Dang!は、Lingguistic Linked Open Dataコミュニティで共有されている原則に従って、イタリアのデータセットを構造化されたKGにまとめ、整理するように設計されている。
ゴールド・スタンダードとシングル・アノテータのラベルをKGにエンコードするモデルを提供する。
論文 参考訳(メタデータ) (2022-07-13T11:50:05Z) - SemEval-2021 Task 11: NLPContributionGraph -- Structuring Scholarly NLP
Contributions for a Research Knowledge Graph [0.17188280334580192]
SemEval-2021 Shared Task NLPContributionGraph (別名「NCGタスク」)は、NLPの学術論文からの貢献を構造化する自動システムの開発に参加する。
SemEvalシリーズの第一種であるこのタスクは、NLPの学術論文から構造化されたデータを3レベルの情報粒度でリリースした。
ベストエンド・ツー・エンドのタスク・システムは、貢献の文章を57.27% F1、フレーズを46.41% F1、トリプルを22.28% F1と分類した。
論文 参考訳(メタデータ) (2021-06-10T13:43:47Z) - What's New? Summarizing Contributions in Scientific Literature [85.95906677964815]
本稿では,論文のコントリビューションと作業状況について,個別の要約を生成するために,論文要約のアンタングル化という新たなタスクを導入する。
本稿では,学術論文のS2ORCコーパスを拡張し,コントリビューション・コントリビューション・コントリビューション・レファレンス・ラベルを付加する。
本稿では, 生成した出力の関連性, 新規性, 絡み合いを報告する総合的自動評価プロトコルを提案する。
論文 参考訳(メタデータ) (2020-11-06T02:23:01Z) - Sentence, Phrase, and Triple Annotations to Build a Knowledge Graph of
Natural Language Processing Contributions -- A Trial Dataset [0.0]
本研究の目的は,NLPコントリビューションスキームを正規化して,論文文から直接,自然言語処理(NLP)学術論文のコントリビューション情報を構築することである。
50の論文にNLPCONTRIBUTIONGRAPHを適用した結果、最終的に900のコントリビューション中心の文、4,702のコントリビューション情報中心のフレーズ、2,980の表層構造を持つ3つ組のデータセットが得られた。
論文 参考訳(メタデータ) (2020-10-09T06:45:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。