論文の概要: Predicting the Reproducibility of Social and Behavioral Science Papers
Using Supervised Learning Models
- arxiv url: http://arxiv.org/abs/2104.04580v1
- Date: Thu, 8 Apr 2021 00:45:20 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-13 14:43:44.167256
- Title: Predicting the Reproducibility of Social and Behavioral Science Papers
Using Supervised Learning Models
- Title（参考訳）: 教師付き学習モデルを用いた社会・行動科学論文の再現性予測
- Authors: Jian Wu, Rajal Nivargi, Sree Sai Teja Lanka, Arjun Manoj Menon, Sai
Ajay Modukuri, Nishanth Nakshatri, Xin Wei, Zhuoer Wang, James Caverlee,
Sarah M. Rajtmajer, C. Lee Giles
- Abstract要約: 本論文では,学術研究から5種類の特徴を抽出し,公開研究クレームの評価を支援するフレームワークを提案する。
個々の特徴と人間評価の基底真理ラベルのセットを予測するための重要性のペアワイズ相関を分析します。
- 参考スコア（独自算出の注目度）: 21.69933721765681
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In recent years, significant effort has been invested verifying the
reproducibility and robustness of research claims in social and behavioral
sciences (SBS), much of which has involved resource-intensive replication
projects. In this paper, we investigate prediction of the reproducibility of
SBS papers using machine learning methods based on a set of features. We
propose a framework that extracts five types of features from scholarly work
that can be used to support assessments of reproducibility of published
research claims. Bibliometric features, venue features, and author features are
collected from public APIs or extracted using open source machine learning
libraries with customized parsers. Statistical features, such as p-values, are
extracted by recognizing patterns in the body text. Semantic features, such as
funding information, are obtained from public APIs or are extracted using
natural language processing models. We analyze pairwise correlations between
individual features and their importance for predicting a set of human-assessed
ground truth labels. In doing so, we identify a subset of 9 top features that
play relatively more important roles in predicting the reproducibility of SBS
papers in our corpus. Results are verified by comparing performances of 10
supervised predictive classifiers trained on different sets of features.
- Abstract（参考訳）: 近年、社会・行動科学(SBS)における研究主張の再現性と堅牢性の検証に多大な努力が注がれており、その多くが資源集約的な複製プロジェクトに関与している。
本稿では,SBS論文の再現性の予測を,特徴セットに基づいた機械学習手法を用いて検討する。
本研究では,学術研究から5種類の特徴を抽出し,論文の再現性評価を支援する枠組みを提案する。
書誌機能、会場機能、著者機能は公開APIから収集されるか、パーサーをカスタマイズしたオープンソースの機械学習ライブラリを使用して抽出される。
p値などの統計的特徴は、ボディテキストのパターンを認識することによって抽出される。
資金情報などの意味的特徴は公開APIから得られるか、自然言語処理モデルを用いて抽出される。
我々は,個々の特徴と,その重要性の相互相関を解析し,人間の評価した真実ラベルの集合を予測する。
そこで我々は,SBS論文の再現性を予測する上で,比較的重要な役割を担う9つの上位機能のサブセットを特定した。
異なる特徴セットで訓練された10個の教師付き予測分類器の性能を比較することにより、結果が検証される。
関連論文リスト
- Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
コンテキスト・イズ・キー (Context is Key) (CiK) は、時系列予測ベンチマークであり、様々な種類のテキストコンテキストと数値データをペアリングする。
我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。
実験では、文脈情報の導入の重要性を強調し、LLMに基づく予測モデルを用いた場合の驚くべき性能を示すとともに、それらの重要な欠点を明らかにした。
論文 参考訳（メタデータ） (2024-10-24T17:56:08Z) - Beyond the Labels: Unveiling Text-Dependency in Paralinguistic Speech Recognition Datasets [0.5999777817331317]
本稿では、機械学習モデルが真にパラ言語的特徴を特定することを学んでいるという前提を批判的に評価する。
これらのデータセットの語彙的重複を調べ、機械学習モデルの性能をテストすることにより、特性ラベル付けにおける重要なテキスト依存性を明らかにする。
論文 参考訳（メタデータ） (2024-03-12T15:54:32Z) - Investigating Fairness Disparities in Peer Review: A Language Model
Enhanced Approach [77.61131357420201]
我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。
我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。
我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
論文 参考訳（メタデータ） (2022-11-07T16:19:42Z) - An Empirical Investigation of Commonsense Self-Supervision with
Knowledge Graphs [67.23285413610243]
大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。
本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
論文 参考訳（メタデータ） (2022-05-21T19:49:04Z) - Measuring the Impact of (Psycho-)Linguistic and Readability Features and
Their Spill Over Effects on the Prediction of Eye Movement Patterns [27.799032561722893]
本稿では,2つの視線追跡コーパスと2つの言語モデル(BERTとGPT-2)について報告する。
あらゆる実験において,人間の読解行動を予測するための幅広い特徴(音韻的複雑性,語彙的富度,レジスタベース多語の組み合わせ,可読性,心理言語的単語特性)の効果を検証した。
本実験は, トランスフォーマーに基づく言語モデルの特徴とアーキテクチャの両方が, 自然視読影時の複数の視線追跡指標を予測する役割を担っていることを示す。
論文 参考訳（メタデータ） (2022-03-15T17:13:45Z) - Enhancing Identification of Structure Function of Academic Articles
Using Contextual Information [6.28532577139029]
本稿では,学術論文の構造的機能を明らかにするためのコーパスとして,ACLカンファレンスの記事を取り上げる。
従来の機械学習モデルとディープラーニングモデルを用いて、様々な特徴入力に基づいて分類器を構築する。
2) に触発された本論文は,ディープラーニングモデルに文脈情報を導入し,重要な結果を得た。
論文 参考訳（メタデータ） (2021-11-28T11:21:21Z) - Combining Feature and Instance Attribution to Detect Artifacts [62.63504976810927]
トレーニングデータアーティファクトの識別を容易にする手法を提案する。
提案手法は,トレーニングデータのアーティファクトの発見に有効であることを示す。
我々は,これらの手法が実際にNLP研究者にとって有用かどうかを評価するために,小規模なユーザスタディを実施している。
論文 参考訳（メタデータ） (2021-07-01T09:26:13Z) - On predicting research grants productivity [0.38073142980732994]
文献学的特徴が研究助成金の成功を予測できるかどうかを分析した。
研究科目と出版史は生産性を予測する役割を担っている。
最高の結果がテキストベースの属性よりも優れているが,評価された特徴は高い差別性は得られなかった。
論文 参考訳（メタデータ） (2021-06-20T14:21:46Z) - Instance-Based Learning of Span Representations: A Case Study through
Named Entity Recognition [48.06319154279427]
本研究では,スパン間の類似性を学習するインスタンスベースの学習手法を提案する。
本手法では,性能を犠牲にすることなく高い解釈性を持つモデルを構築することができる。
論文 参考訳（メタデータ） (2020-04-29T23:32:42Z) - ORB: An Open Reading Benchmark for Comprehensive Evaluation of Machine
Reading Comprehension [53.037401638264235]
我々は,7種類の読解データセットの性能を報告する評価サーバORBを提案する。
評価サーバは、モデルのトレーニング方法に制限を課さないため、トレーニングパラダイムや表現学習の探索に適したテストベッドである。
論文 参考訳（メタデータ） (2019-12-29T07:27:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。