論文の概要: Reproducibility Beyond the Research Community: Experience from NLP
Beginners
- arxiv url: http://arxiv.org/abs/2205.02182v2
- Date: Thu, 5 May 2022 23:25:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-09 10:42:02.584127
- Title: Reproducibility Beyond the Research Community: Experience from NLP
Beginners
- Title(参考訳): 研究コミュニティを超えた再現性:NLPベギンナの経験
- Authors: Shane Storks, Keunwoo Peter Yu, Joyce Chai
- Abstract要約: 我々は,最近のNLP論文の成果を再現した入門NLP講座で,93名の学生を対象に調査を行った。
意外なことに、我々の結果は、彼らの技術スキル(つまりプログラミングの経験)が、演習の完了に費やした労力に限られた影響を与えていることを示唆している。
私たちは、研究著者によるアクセシビリティの取り組みが、詳細なドキュメントや必要なモデルやデータセットへのアクセスなど、成功した経験の鍵になることに気付きました。
- 参考スコア(独自算出の注目度): 6.957948096979098
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As NLP research attracts public attention and excitement, it becomes
increasingly important for it to be accessible to a broad audience. As the
research community works to democratize NLP, it remains unclear whether
beginners to the field can easily apply the latest developments. To understand
their needs, we conducted a study with 93 students in an introductory NLP
course, where students reproduced results of recent NLP papers. Surprisingly,
our results suggest that their technical skill (i.e., programming experience)
has limited impact on their effort spent completing the exercise. Instead, we
find accessibility efforts by research authors to be key to a successful
experience, including thorough documentation and easy access to required models
and datasets.
- Abstract(参考訳): NLP研究が大衆の注目と興奮を惹きつけるにつれ、幅広い聴衆にアクセスできることがますます重要になっている。
研究コミュニティがNLPの民主化に取り組んでいるため、この分野の初心者が最新の開発を容易に適用できるかどうかは不明だ。
本研究は,最近のNLP論文の成果を再現した入門NLPコースにおいて,93名の学生を対象に調査を行った。
意外なことに、我々の結果は、彼らの技術スキル(つまりプログラミングの経験)が、演習の完了に費やした労力に限られた影響を与えていることを示唆している。
その代わり、詳細なドキュメンテーションや必要なモデルやデータセットへの容易なアクセスなど、研究者によるアクセシビリティの取り組みが成功への鍵であることが分かっています。
関連論文リスト
- GAIA Search: Hugging Face and Pyserini Interoperability for NLP Training
Data Exploration [97.68234051078997]
我々はPyseriniを、オープンソースのAIライブラリとアーティファクトのHugging Faceエコシステムに統合する方法について論じる。
Jupyter NotebookベースのウォークスルーがGitHubで公開されている。
GAIA Search - 前述した原則に従って構築された検索エンジンで、人気の高い4つの大規模テキストコレクションへのアクセスを提供する。
論文 参考訳(メタデータ) (2023-06-02T12:09:59Z) - NLP Reproducibility For All: Understanding Experiences of Beginners [6.190897257068862]
導入NLP講習会で93名の学生を対象に調査を行い,最近のNLP論文の結果を再現した。
プログラムのスキルと研究論文の理解が,演習の完了に費やした労力に限られた影響を与えていることがわかった。
我々は,NLP研究者が研究成果をオープンソース化する上で,これらのシンプルな側面に細心の注意を払うことを推奨する。
論文 参考訳(メタデータ) (2023-05-26T02:08:54Z) - Beyond Good Intentions: Reporting the Research Landscape of NLP for
Social Good [115.1507728564964]
NLP4SG Papersは3つのタスクを関連づけた科学データセットである。
これらのタスクはNLP4SGの論文を特定し、NLP4SGのランドスケープを特徴付けるのに役立つ。
現状のNLPモデルを用いてこれらのタスクに対処し、ACLアンソロジー全体においてそれらを使用する。
論文 参考訳(メタデータ) (2023-05-09T14:16:25Z) - Lessons Learned from a Citizen Science Project for Natural Language
Processing [53.48988266271858]
市民科学はクラウドソーシングの代替であり、NLPの文脈では比較的研究されていない。
我々は、既存のクラウドソースデータセットの一部を注釈付けすることで、NLPの市民科学における様々なボランティアグループへの参加について探索的研究を行う。
この結果から,高品質なアノテーションが得られ,モチベーションの高いボランティアを惹きつけるだけでなく,スケーラビリティや時間的関与,法的・倫理的問題といった要因も考慮する必要があることが示唆された。
論文 参考訳(メタデータ) (2023-04-25T14:08:53Z) - The Semantic Reader Project: Augmenting Scholarly Documents through
AI-Powered Interactive Reading Interfaces [54.2590226904332]
本稿では,研究論文を対象とした動的読解インタフェースの自動作成を目的としたセマンティック・リーダー・プロジェクトについて述べる。
10のプロトタイプインターフェースが開発され、300人以上の参加者と現実世界のユーザが読書体験を改善している。
本論文は,研究論文を読む際,学者と公衆の面を巡って構築する。
論文 参考訳(メタデータ) (2023-03-25T02:47:09Z) - NLPeer: A Unified Resource for the Computational Study of Peer Review [58.71736531356398]
NLPeer - 5万以上の論文と5つの異なる会場からの1万1千件のレビューレポートからなる、初めて倫理的にソースされたマルチドメインコーパス。
従来のピアレビューデータセットを拡張し、解析および構造化された論文表現、豊富なメタデータ、バージョニング情報を含む。
我々の研究は、NLPなどにおけるピアレビューの体系的、多面的、エビデンスに基づく研究への道のりをたどっている。
論文 参考訳(メタデータ) (2022-11-12T12:29:38Z) - Meta Learning for Natural Language Processing: A Survey [88.58260839196019]
ディープラーニングは自然言語処理(NLP)分野において主要な技術である。
ディープラーニングには多くのラベル付きデータが必要です。
メタ学習は、より良いアルゴリズムを学ぶためのアプローチを研究する機械学習の分野である。
論文 参考訳(メタデータ) (2022-05-03T13:58:38Z) - We Need to Talk About Data: The Importance of Data Readiness in Natural
Language Processing [3.096615629099618]
我々は、NLPにおける学術研究と学術以外の問題への応用との間にはギャップがあると主張している。
本稿では,データのアクセシビリティ,有効性,有用性に関して,研究者と外部利害関係者のコミュニケーションを改善する方法を提案する。
論文 参考訳(メタデータ) (2021-10-11T17:55:07Z) - A Survey of Data Augmentation Approaches for NLP [12.606206831969262]
データ拡張は最近、低リソースドメインでの作業の増加、新しいタスク、大規模ニューラルネットワークの人気により、NLPへの関心が高まっている。
この最近の騒動にもかかわらず、この領域は、おそらく言語データの離散的な性質によって生じる課題のために、まだ比較的未調査です。
文献を構造化した方法で要約することにより,NLPのデータ拡張に関する包括的かつ統一的な調査を行う。
論文 参考訳(メタデータ) (2021-05-07T06:03:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。