論文の概要: A Systematic Review of Reproducibility Research in Natural Language
Processing
- arxiv url: http://arxiv.org/abs/2103.07929v1
- Date: Sun, 14 Mar 2021 13:53:05 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-17 05:15:09.166396
- Title: A Systematic Review of Reproducibility Research in Natural Language
Processing
- Title(参考訳): 自然言語処理における再現性研究の体系的レビュー
- Authors: Anya Belz, Shubham Agarwal, Anastasia Shimorina, Ehud Reiter
- Abstract要約: 過去数年間、この地域では様々な新しいイニシアチブやイベント、活発な研究が行われてきた。
フィールドは、どのように定義、測定、対処すべきかについての合意に達するにはほど遠いです。
- 参考スコア(独自算出の注目度): 3.0039296468567236
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Against the background of what has been termed a reproducibility crisis in
science, the NLP field is becoming increasingly interested in, and
conscientious about, the reproducibility of its results. The past few years
have seen an impressive range of new initiatives, events and active research in
the area. However, the field is far from reaching a consensus about how
reproducibility should be defined, measured and addressed, with diversity of
views currently increasing rather than converging. With this focused
contribution, we aim to provide a wide-angle, and as near as possible complete,
snapshot of current work on reproducibility in NLP, delineating differences and
similarities, and providing pointers to common denominators.
- Abstract(参考訳): 科学における再現性危機と呼ばれることの背景から、NLPの分野はますます興味を持ち、その成果の再現性に精通してきている。
過去数年間、この地域では様々な新しいイニシアチブやイベント、活発な研究が行われてきた。
しかし、再現性がどのように定義され、測定され、対処されるべきかについて、この分野は合意に達するには程遠い。
この重点的貢献により、NLPの再現性に関する現在の作業のスナップショット、相違点と類似点の記述、共通分母へのポインタの提供を、可能な限り広角かつ近距離に行うことを目指しています。
関連論文リスト
- RL in Latent MDPs is Tractable: Online Guarantees via Off-Policy Evaluation [73.2390735383842]
付加的な構造仮定を伴わずにLMDPのサンプル効率アルゴリズムを初めて導入する。
楽観的な探索アルゴリズムのほぼ最適保証を導出するためにどのように使用できるかを示す。
これらの結果は、LMDP以外の幅広い対話型学習問題、特に部分的に観察された環境において有用である。
論文 参考訳(メタデータ) (2024-06-03T14:51:27Z) - Reproducibility, Replicability, and Repeatability: A survey of reproducible research with a focus on high performance computing [0.0]
再現性は科学研究の基本的な原理である。
高性能コンピューティングには固有の課題がある。
本稿では、これらの懸念と潜在的な解決策を包括的にレビューする。
論文 参考訳(メタデータ) (2024-02-12T09:59:11Z) - A Comprehensive Survey on Relation Extraction: Recent Advances and New Frontiers [76.51245425667845]
関係抽出(RE)は、基礎となるコンテンツからエンティティ間の関係を識別する。
ディープニューラルネットワークはREの分野を支配しており、顕著な進歩を遂げている。
この調査は、現実世界のREシステムの課題に対処するための研究者の協力的な取り組みを促進することが期待されている。
論文 参考訳(メタデータ) (2023-06-03T08:39:25Z) - A Diachronic Analysis of Paradigm Shifts in NLP Research: When, How, and
Why? [84.46288849132634]
本稿では、因果発見と推論技術を用いて、科学分野における研究トピックの進化を分析するための体系的な枠組みを提案する。
我々は3つの変数を定義し、NLPにおける研究トピックの進化の多様な側面を包含する。
我々は因果探索アルゴリズムを用いてこれらの変数間の因果関係を明らかにする。
論文 参考訳(メタデータ) (2023-05-22T11:08:00Z) - Missing Information, Unresponsive Authors, Experimental Flaws: The
Impossibility of Assessing the Reproducibility of Previous Human Evaluations
in NLP [84.08476873280644]
13%の論文は (i) 再生の障壁が十分に低く、 (ii) 再生のために考慮すべき十分な入手可能な情報を持っていた。
その結果,コーディネート・リサーチ・デザインを再現的アプローチから標準化的・再生産的アプローチに変更しなければならなかった。
論文 参考訳(メタデータ) (2023-05-02T17:46:12Z) - Parsing Objects at a Finer Granularity: A Survey [54.72819146263311]
微細な視覚解析は、農業、リモートセンシング、宇宙技術など、多くの現実世界の応用において重要である。
卓越した研究努力は、異なるパラダイムに従って、これらのきめ細かいサブタスクに取り組む。
我々は,パート関係を学習する新たな視点から,先進的な研究を深く研究する。
論文 参考訳(メタデータ) (2022-12-28T04:20:10Z) - An information-theoretic perspective on intrinsic motivation in
reinforcement learning: a survey [0.0]
本稿では,これらの研究成果を情報理論に基づく新たな分類法を用いて調査することを提案する。
我々は、サプライズ、ノベルティ、スキル学習の概念を計算的に再考する。
我々の分析は、新規性とサプライズがトランスファー可能なスキルの階層を構築するのに役立つことを示唆している。
論文 参考訳(メタデータ) (2022-09-19T09:47:43Z) - Reproducibility in machine learning for medical imaging [3.1390096961027076]
本章は、医療画像の機械学習分野の研究者への紹介である。
それぞれの目的は、それを定義すること、それを達成するための要件を説明すること、有用性について議論することである。
この章は、教義の利点に関する議論と、この概念と研究実践におけるその実践に対する非教義的なアプローチへの嘆願で終わる。
論文 参考訳(メタデータ) (2022-09-12T09:00:04Z) - Vision-Centric BEV Perception: A Survey [92.98068828762833]
視覚中心のBird's Eye View(BEV)の認識は、産業と学界の両方から大きな関心を集めている。
ディープラーニングの急速な進歩は、視覚中心のBEV知覚問題に対処する多くの方法の提案につながった。
本稿では、最新の知識をコンパイルし、整理し、一般的なアルゴリズムの体系的なレビューと要約を提供する。
論文 参考訳(メタデータ) (2022-08-04T17:53:17Z) - Quantifying Reproducibility in NLP and ML [0.0]
再現性は近年、NLPとMLで激しく議論されているトピックとなっている。
一般的に受け入れられている評価方法が存在しないことは言うまでもなく、それを定量化する方法がこれまで現れてきた。
論文 参考訳(メタデータ) (2021-09-02T21:00:17Z) - Reproducibility in Evolutionary Computation [0.0]
我々は、ECの文脈において、異なるタイプのアーティファクトと測定の概念について論じる。
我々は、EC分野における文化的、技術的障害を特定します。
これらの障害を克服するのに役立つツールを提案する。
論文 参考訳(メタデータ) (2021-02-05T19:06:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。