論文の概要: Reproducibility Beyond the Research Community: Experience from NLP Beginners

• arxiv url: http://arxiv.org/abs/2205.02182v2
• Date: Thu, 5 May 2022 23:25:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-09 10:42:02.584127
• Title: Reproducibility Beyond the Research Community: Experience from NLP Beginners
• Title（参考訳）: 研究コミュニティを超えた再現性:NLPベギンナの経験
• Authors: Shane Storks, Keunwoo Peter Yu, Joyce Chai
• Abstract要約: 我々は,最近のNLP論文の成果を再現した入門NLP講座で,93名の学生を対象に調査を行った。 意外なことに、我々の結果は、彼らの技術スキル(つまりプログラミングの経験)が、演習の完了に費やした労力に限られた影響を与えていることを示唆している。 私たちは、研究著者によるアクセシビリティの取り組みが、詳細なドキュメントや必要なモデルやデータセットへのアクセスなど、成功した経験の鍵になることに気付きました。
• 参考スコア（独自算出の注目度）: 6.957948096979098
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As NLP research attracts public attention and excitement, it becomes increasingly important for it to be accessible to a broad audience. As the research community works to democratize NLP, it remains unclear whether beginners to the field can easily apply the latest developments. To understand their needs, we conducted a study with 93 students in an introductory NLP course, where students reproduced results of recent NLP papers. Surprisingly, our results suggest that their technical skill (i.e., programming experience) has limited impact on their effort spent completing the exercise. Instead, we find accessibility efforts by research authors to be key to a successful experience, including thorough documentation and easy access to required models and datasets.
• Abstract（参考訳）: NLP研究が大衆の注目と興奮を惹きつけるにつれ、幅広い聴衆にアクセスできることがますます重要になっている。 研究コミュニティがNLPの民主化に取り組んでいるため、この分野の初心者が最新の開発を容易に適用できるかどうかは不明だ。 本研究は,最近のNLP論文の成果を再現した入門NLPコースにおいて,93名の学生を対象に調査を行った。 意外なことに、我々の結果は、彼らの技術スキル(つまりプログラミングの経験)が、演習の完了に費やした労力に限られた影響を与えていることを示唆している。 その代わり、詳細なドキュメンテーションや必要なモデルやデータセットへの容易なアクセスなど、研究者によるアクセシビリティの取り組みが成功への鍵であることが分かっています。

関連論文リスト

• O1 Replication Journey: A Strategic Progress Report -- Part 1 [52.062216849476776]
  本稿では,O1 Replication Journeyに具体化された人工知能研究の先駆的アプローチを紹介する。 我々の方法論は、長期化したチームベースのプロジェクトの不規則性を含む、現代のAI研究における重要な課題に対処する。 本稿では,モデルにショートカットだけでなく,完全な探索プロセスの学習を促す旅行学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-10-08T15:13:01Z)
• The Nature of NLP: Analyzing Contributions in NLP Papers [77.31665252336157]
  我々は,NLP研究を構成するものについて,研究論文から定量的に検討する。 以上の結果から,NLPにおける機械学習の関与は,90年代前半から増加傾向にあることが明らかとなった。 2020年以降、言語と人々への関心が復活した。
  論文  参考訳（メタデータ） (2024-09-29T01:29:28Z)
• What Can Natural Language Processing Do for Peer Review? [173.8912784451817]
  現代の科学ではピアレビューが広く使われているが、それは難しく、時間がかかり、エラーを起こしやすい。 ピアレビューに関わるアーティファクトは大部分がテキストベースであるため、自然言語処理はレビューを改善する大きな可能性を秘めている。 筆者らは、原稿提出からカメラ対応リビジョンまでの各工程について詳述し、NLP支援の課題と機会について論じる。
  論文  参考訳（メタデータ） (2024-05-10T16:06:43Z)
• NLP Reproducibility For All: Understanding Experiences of Beginners [6.190897257068862]
  導入NLP講習会で93名の学生を対象に調査を行い,最近のNLP論文の結果を再現した。 プログラムのスキルと研究論文の理解が,演習の完了に費やした労力に限られた影響を与えていることがわかった。 我々は,NLP研究者が研究成果をオープンソース化する上で,これらのシンプルな側面に細心の注意を払うことを推奨する。
  論文  参考訳（メタデータ） (2023-05-26T02:08:54Z)
• Beyond Good Intentions: Reporting the Research Landscape of NLP for Social Good [115.1507728564964]
  NLP4SG Papersは3つのタスクを関連づけた科学データセットである。 これらのタスクはNLP4SGの論文を特定し、NLP4SGのランドスケープを特徴付けるのに役立つ。 現状のNLPモデルを用いてこれらのタスクに対処し、ACLアンソロジー全体においてそれらを使用する。
  論文  参考訳（メタデータ） (2023-05-09T14:16:25Z)
• NLPeer: A Unified Resource for the Computational Study of Peer Review [58.71736531356398]
  NLPeer - 5万以上の論文と5つの異なる会場からの1万1千件のレビューレポートからなる、初めて倫理的にソースされたマルチドメインコーパス。 従来のピアレビューデータセットを拡張し、解析および構造化された論文表現、豊富なメタデータ、バージョニング情報を含む。 我々の研究は、NLPなどにおけるピアレビューの体系的、多面的、エビデンスに基づく研究への道のりをたどっている。
  論文  参考訳（メタデータ） (2022-11-12T12:29:38Z)
• Meta Learning for Natural Language Processing: A Survey [88.58260839196019]
  ディープラーニングは自然言語処理(NLP)分野において主要な技術である。 ディープラーニングには多くのラベル付きデータが必要です。 メタ学習は、より良いアルゴリズムを学ぶためのアプローチを研究する機械学習の分野である。
  論文  参考訳（メタデータ） (2022-05-03T13:58:38Z)
• We Need to Talk About Data: The Importance of Data Readiness in Natural Language Processing [3.096615629099618]
  我々は、NLPにおける学術研究と学術以外の問題への応用との間にはギャップがあると主張している。 本稿では,データのアクセシビリティ,有効性,有用性に関して,研究者と外部利害関係者のコミュニケーションを改善する方法を提案する。
  論文  参考訳（メタデータ） (2021-10-11T17:55:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。