Fugu-MT 論文翻訳(概要): Journal Impact Factor and Peer Review Thoroughness and Helpfulness: A Supervised Machine Learning Study

論文の概要: Journal Impact Factor and Peer Review Thoroughness and Helpfulness: A Supervised Machine Learning Study

arxiv url: http://arxiv.org/abs/2207.09821v1
Date: Wed, 20 Jul 2022 11:14:15 GMT
ステータス: 処理完了
システム内更新日: 2022-07-21 13:10:21.442678
Title: Journal Impact Factor and Peer Review Thoroughness and Helpfulness: A Supervised Machine Learning Study
Title（参考訳）: ジャーナル・インパクトファクターとピアレビューの質感とヘルプフルネス:教師付き機械学習による研究
Authors: Anna Severin, Michaela Strinzel, Matthias Egger, Tiago Barros, Alexander Sokolov, Julia Vilstrup Mouatt, Stefan M\"uller
Abstract要約: ジャーナルインパクトファクタ(JIF)は、しばしばジャーナルの品質と、ジャーナルに提出された論文のピアレビューの品質と等価である。医学・生命科学雑誌1,644誌に1万件の査読報告を提出し, 査読内容とJIFとの関連性を検討した。
参考スコア（独自算出の注目度）: 52.77024349608834
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The journal impact factor (JIF) is often equated with journal quality and the quality of the peer review of the papers submitted to the journal. We examined the association between the content of peer review and JIF by analysing 10,000 peer review reports submitted to 1,644 medical and life sciences journals. Two researchers hand-coded a random sample of 2,000 sentences. We then trained machine learning models to classify all 187,240 sentences as contributing or not contributing to content categories. We examined the association between ten groups of journals defined by JIF deciles and the content of peer reviews using linear mixed-effects models, adjusting for the length of the review. The JIF ranged from 0.21 to 74.70. The length of peer reviews increased from the lowest (median number of words 185) to the JIF group (387 words). The proportion of sentences allocated to different content categories varied widely, even within JIF groups. For thoroughness, sentences on 'Materials and Methods' were more common in the highest JIF journals than in the lowest JIF group (difference of 7.8 percentage points; 95% CI 4.9 to 10.7%). The trend for 'Presentation and Reporting' went in the opposite direction, with the highest JIF journals giving less emphasis to such content (difference -8.9%; 95% CI -11.3 to -6.5%). For helpfulness, reviews for higher JIF journals devoted less attention to 'Suggestion and Solution' and provided fewer Examples than lower impact factor journals. No, or only small differences were evident for other content categories. In conclusion, peer review in journals with higher JIF tends to be more thorough in discussing the methods used but less helpful in terms of suggesting solutions and providing examples. Differences were modest and variability high, indicating that the JIF is a bad predictor for the quality of peer review of an individual manuscript.
Abstract（参考訳）: ジャーナルインパクトファクタ(JIF)は、しばしばジャーナルの品質と、ジャーナルに提出された論文のピアレビューの品質と等価である。医学・生命科学雑誌1,644誌に1万件の査読報告を提出し, 査読内容とJIFとの関連性を検討した。 2人の研究者が2000文のランダムなサンプルを手書きした。次に,187,240文すべてにコンテントカテゴリへの貢献の有無を分類するために,機械学習モデルをトレーニングした。 jifdecilesで定義された10組のジャーナルとピアレビューの内容との間の関係を線形混合効果モデルを用いて検討し,レビュー期間の調整を行った。 JIFは0.21から74.70であった。ピアレビューの長さは,最下位(中間語数185)からJIF群(387語)に増加した。異なる内容カテゴリに割り当てられた文の割合は、JIFグループ内でも大きく異なる。徹底的にみると、「機械と方法」の文は、最も高いJIFグループよりも高いJIF雑誌の方が一般的であった(7.8ポイント、95% CI 4.9から10.7%)。発表と報告」の傾向は逆の方向に進み、jifの上位の雑誌はそのような内容に重点を置いていない(差異 -8.9%; 95% ci -11.3 対 -6.5%)。 JIF雑誌のレビューでは「提案と解決」への注意が減り、インパクトファクター誌よりも事例が少ないことが示唆された。いいえ、あるいは他のコンテンツカテゴリで小さな違いだけは明らかでした。結論として、JIFが高いジャーナルにおけるピアレビューは、使用する方法について議論する上でより徹底的である傾向にあるが、ソリューションの提案や例の提供という点ではあまり役に立たない。違いはささやかで可変性が高く、jifは個々の原稿の査読の質の悪い予測要因であることを示している。

関連論文リスト

Evaluating the Predictive Capacity of ChatGPT for Academic Peer Review Outcomes Across Multiple Platforms [3.3543455244780223]
本稿では2つの新しい文脈を導入し、より堅牢な方法である複数のChatGPTスコアを平均化する。平均的な30のChatGPT予測は、レビュアーガイドラインに基づいて、提出されたタイトルと要約のみを用いて、F1000Researchのピアレビュー結果の予測に失敗した。
論文参考訳（メタデータ） (2024-11-14T19:20:33Z)
Ta'keed: The First Generative Fact-Checking System for Arabic Claims [0.0]
本稿では,アラビア語の自動ファクトチェックシステムであるTa'keedを紹介する。タケドは、特にアラビア語で、主張の信頼性に関する説明を生成する。このシステムは、分類タスクで有望なF1スコア0.72を達成した。
論文参考訳（メタデータ） (2024-01-25T10:43:00Z)
Position: AI/ML Influencers Have a Place in the Academic Process [82.2069685579588]
機械学習研究の可視性向上におけるソーシャルメディアインフルエンサーの役割について検討する。 2018年12月から2023年10月までの間に、8000以上の論文の包括的なデータセットを収集しました。我々の統計的および因果推論分析は、これらのインフルエンサーが支持する論文の引用が著しく増加することを示している。
論文参考訳（メタデータ） (2024-01-24T20:05:49Z)
CausalCite: A Causal Formulation of Paper Citations [80.82622421055734]
CausalCiteは紙の意義を測定するための新しい方法だ。これは、従来のマッチングフレームワークを高次元のテキスト埋め込みに適応させる、新しい因果推論手法であるTextMatchに基づいている。科学専門家が報告した紙衝撃と高い相関性など,各種基準におけるCausalCiteの有効性を実証する。
論文参考訳（メタデータ） (2023-11-05T23:09:39Z)
Neural Media Bias Detection Using Distant Supervision With BABE -- Bias Annotations By Experts [24.51774048437496]
本稿ではメディアバイアス研究のための頑健で多様なデータセットであるBABEについて述べる。トピックとアウトレットの間でバランスが取れた3,700の文で構成されており、単語と文のレベルにメディアバイアスラベルが含まれている。また,本データに基づいて,ニュース記事中のバイアス文を自動的に検出する手法も導入した。
論文参考訳（メタデータ） (2022-09-29T05:32:55Z)
Document-Level Relation Extraction with Sentences Importance Estimation and Focusing [52.069206266557266]
文書レベルの関係抽出(DocRE)は、複数の文の文書から2つのエンティティ間の関係を決定することを目的としている。我々はDocREのための文重要度スコアと文集中損失を設計するSIEF(Sentence Estimation and Focusing)フレームワークを提案する。 2つのドメインの実験結果から、SIEFは全体的なパフォーマンスを改善するだけでなく、DocREモデルをより堅牢にします。
論文参考訳（メタデータ） (2022-04-27T03:20:07Z)
A new baseline for retinal vessel segmentation: Numerical identification and correction of methodological inconsistencies affecting 100+ papers [0.0]
得られた性能スコアのコヒーレンスに関する詳細な数値解析を行った。視野の使用に関する報告結果に矛盾が認められた。これまでに達成された最高精度はFoV領域の0.9582であり、これは人間のアノテーションよりも1%高い。
論文参考訳（メタデータ） (2021-11-06T11:09:11Z)
Inconsistency in Conference Peer Review: Revisiting the 2014 NeurIPS Experiment [26.30237757653724]
コンファレンスピアレビューにおいて不整合性を検討した2014 NeurIPS 実験を再検討した。強調された論文では,品質スコアと紙の影響には相関がないことがわかった。
論文参考訳（メタデータ） (2021-09-20T18:06:22Z)
Ranking Scientific Papers Using Preference Learning [48.78161994501516]
我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
論文参考訳（メタデータ） (2021-09-02T19:41:47Z)
Dynamic Semantic Matching and Aggregation Network for Few-shot Intent Detection [69.2370349274216]
利用可能な注釈付き発話が不足しているため、インテント検出は困難である。セマンティック成分はマルチヘッド自己認識によって発話から蒸留される。本手法はラベル付きインスタンスとラベルなしインスタンスの両方の表現を強化するための総合的なマッチング手段を提供する。
論文参考訳（メタデータ） (2020-10-06T05:16:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。