論文の概要: A Two-Sided Discussion of Preregistration of NLP Research
- arxiv url: http://arxiv.org/abs/2302.10086v1
- Date: Mon, 20 Feb 2023 16:48:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-21 14:46:12.827881
- Title: A Two-Sided Discussion of Preregistration of NLP Research
- Title（参考訳）: NLP研究の事前登録に関する2つの考察
- Authors: Anders S{\o}gaard, Daniel Hershcovich, Miryam de Lhoneux
- Abstract要約: ヴァン・ミルテンブルクらは、NLPの研究は漁業遠征を防ぐために事前登録を採用するべきだと提案している。
古いものや新しいもの、などについて論じる。
- 参考スコア（独自算出の注目度）: 7.847677707045473
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Van Miltenburg et al. (2021) suggest NLP research should adopt
preregistration to prevent fishing expeditions and to promote publication of
negative results. At face value, this is a very reasonable suggestion,
seemingly solving many methodological problems with NLP research. We discuss
pros and cons -- some old, some new: a) Preregistration is challenged by the
practice of retrieving hypotheses after the results are known; b)
preregistration may bias NLP toward confirmatory research; c) preregistration
must allow for reclassification of research as exploratory; d) preregistration
may increase publication bias; e) preregistration may increase flag-planting;
f) preregistration may increase p-hacking; and finally, g) preregistration may
make us less risk tolerant. We cast our discussion as a dialogue, presenting
both sides of the debate.
- Abstract（参考訳）: Van Miltenburg et al. (2021) は、NLP研究は漁業遠征を阻止し、ネガティブな結果の公表を促進するために事前登録を採用するべきだと提案している。
フェイスバリューでは、これは非常に合理的な提案であり、NLP研究で多くの方法論的な問題を解決しているように見える。
長所と短所を議論します -- 古くて新しいものもあります。
a) 事前登録は,結果が判明した後の仮説を回収する慣行に異議を唱える。
b) 事前登録は,NLPを確認研究にバイアスすることができる。
c) 事前登録は,調査として研究の再分類を許可しなければならない。
d) 前登録は,出版バイアスを増加させることができる。
e) 事前登録は,旗の植え付けを増やすことができる。
f) 事前登録は、pハックを増加させ、そして最後に
g) 事前登録は,リスク耐性を低下させる可能性がある。
私たちは議論を対話として、議論の両面を提示した。
関連論文リスト
- Unintentional Unalignment: Likelihood Displacement in Direct Preference Optimization [60.176008034221404]
直接選好最適化(DPO)とその変種は、言語モデルと人間の選好の整合にますます利用されている。
以前の研究では、トレーニング中に好まれる反応の可能性が減少する傾向が見られた。
確率変位は破滅的になりうることを示し、確率質量を好ましくない反応から反対の意味の反応へとシフトさせる。
論文 参考訳（メタデータ） (2024-10-11T14:22:44Z) - ChatGPTest: opportunities and cautionary tales of utilizing AI for questionnaire pretesting [0.0]
本稿では, GPT モデルを用いたアンケート調査の事前調査を行う上で有用なツールについて検討する。
2つの応用を図示し、GPTフィードバックを人間の事前試験の前に追加のステージとして取り入れることを提案している。
論文 参考訳（メタデータ） (2024-05-10T09:01:14Z) - From Narratives to Numbers: Valid Inference Using Language Model Predictions from Verbal Autopsy Narratives [5.730469631341288]
我々は、最先端のNLP技術を用いて、自由形式のテキストから予測された結果を用いた有効推論法を開発した。
我々は、COD予測に一連のNLP技術を活用し、VAデータの実証分析を通して、輸送可能性問題に対処するためのアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2024-04-03T03:53:37Z) - HyPoradise: An Open Baseline for Generative Speech Recognition with
Large Language Models [81.56455625624041]
ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。
提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。
合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
論文 参考訳（メタデータ） (2023-09-27T14:44:10Z) - Reproducibility in NLP: What Have We Learned from the Checklist? [48.86370747121637]
CLカンファレンスは2020年にNLP再現性チェックリストを作成した。
10,405件の匿名応答を調べることで,チェックリストを初めて解析する。
新たなデータを収集する申請件の44%は、受理される可能性が5%低いことがわかりました。
論文 参考訳（メタデータ） (2023-06-16T00:39:25Z) - Missing Information, Unresponsive Authors, Experimental Flaws: The
Impossibility of Assessing the Reproducibility of Previous Human Evaluations
in NLP [84.08476873280644]
13%の論文は (i) 再生の障壁が十分に低く、 (ii) 再生のために考慮すべき十分な入手可能な情報を持っていた。
その結果,コーディネート・リサーチ・デザインを再現的アプローチから標準化的・再生産的アプローチに変更しなければならなかった。
論文 参考訳（メタデータ） (2023-05-02T17:46:12Z) - Sequential Permutation Testing of Random Forest Variable Importance
Measures [68.8204255655161]
そこで本研究では、逐次置換テストと逐次p値推定を用いて、従来の置換テストに関連する高い計算コストを削減することを提案する。
シミュレーション研究の結果、シーケンシャルテストの理論的性質が当てはまることを確認した。
本手法の数値安定性を2つの応用研究で検討した。
論文 参考訳（メタデータ） (2022-06-02T20:16:50Z) - Yes-Yes-Yes: Donation-based Peer Reviewing Data Collection for ACL
Rolling Review and Beyond [58.71736531356398]
本稿では、ピアレビューデータについて詳細な議論を行い、ピアレビューデータ収集のための倫理的・法的デシダータの概要を述べるとともに、最初の継続的な寄付ベースのデータ収集ワークフローを提案する。
本稿では、ACL Rolling Reviewにおいて、このワークフローの現在進行中の実装について報告し、新たに収集したデータから得られた最初の洞察を提供する。
論文 参考訳（メタデータ） (2022-01-27T11:02:43Z) - Towards a Rigorous Evaluation of Time-series Anomaly Detection [15.577148857778484]
近年、時系列異常検出(TAD)に関する研究が、ベンチマークTADデータセット上で高いF1スコアを報告している。
ほとんどの研究は点調整(PA)と呼ばれる特異な評価プロトコルを採点前に適用している。
本稿では,PAプロトコルが検出性能を過大評価する可能性が大きいことを明らかにする。
論文 参考訳（メタデータ） (2021-09-11T11:14:04Z) - Innovative Bert-based Reranking Language Models for Speech Recognition [15.762742686665652]
自動音声認識(ASR)によるN-best仮説のランク付けに用いるBERTに基づく文脈化言語モデル(LM)の新たなインスタンス化を提案する。
そこで我々は,BERTを予測問題とするN-best仮説を,N-best仮説(PBERTにより代入された)を前提として,最も低い単語誤り率(WER)を持つオラクル仮説を予測することを目的とする。
特に,N-best仮説の再評価においてPBERTを支援するために,タスク固有のグローバルトピック情報を教師なしの方法で活用することを検討する。
論文 参考訳（メタデータ） (2021-04-11T07:55:41Z) - Preregistering NLP Research [4.379375502939481]
本稿は,NLP研究者が研究を事前登録する方法について検討し,さまざまな研究のためにいくつかの事前登録質問を行う。
我々は,NLP研究における低速な科学の基盤となる,登録レポートを支持する。
本研究の目的は,NLPコミュニティにおける議論を提起することであり,今後の研究における一般的なNLP事前登録形式への合成を期待する。
論文 参考訳（メタデータ） (2021-03-11T20:44:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。