論文の概要: Journal Impact Factor and Peer Review Thoroughness and Helpfulness: A Supervised Machine Learning Study

• arxiv url: http://arxiv.org/abs/2207.09821v1
• Date: Wed, 20 Jul 2022 11:14:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-07-21 13:10:21.442678
• Title: Journal Impact Factor and Peer Review Thoroughness and Helpfulness: A Supervised Machine Learning Study
• Title（参考訳）: ジャーナル・インパクトファクターとピアレビューの質感とヘルプフルネス:教師付き機械学習による研究
• Abstract要約: ジャーナルインパクトファクタ(JIF)は、しばしばジャーナルの品質と、ジャーナルに提出された論文のピアレビューの品質と等価である。 医学・生命科学雑誌1,644誌に1万件の査読報告を提出し, 査読内容とJIFとの関連性を検討した。
• 参考スコア（独自算出の注目度）: 52.77024349608834
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The journal impact factor (JIF) is often equated with journal quality and the quality of the peer review of the papers submitted to the journal. We examined the association between the content of peer review and JIF by analysing 10,000 peer review reports submitted to 1,644 medical and life sciences journals. Two researchers hand-coded a random sample of 2,000 sentences. We then trained machine learning models to classify all 187,240 sentences as contributing or not contributing to content categories. We examined the association between ten groups of journals defined by JIF deciles and the content of peer reviews using linear mixed-effects models, adjusting for the length of the review. The JIF ranged from 0.21 to 74.70. The length of peer reviews increased from the lowest (median number of words 185) to the JIF group (387 words). The proportion of sentences allocated to different content categories varied widely, even within JIF groups. For thoroughness, sentences on 'Materials and Methods' were more common in the highest JIF journals than in the lowest JIF group (difference of 7.8 percentage points; 95% CI 4.9 to 10.7%). The trend for 'Presentation and Reporting' went in the opposite direction, with the highest JIF journals giving less emphasis to such content (difference -8.9%; 95% CI -11.3 to -6.5%). For helpfulness, reviews for higher JIF journals devoted less attention to 'Suggestion and Solution' and provided fewer Examples than lower impact factor journals. No, or only small differences were evident for other content categories. In conclusion, peer review in journals with higher JIF tends to be more thorough in discussing the methods used but less helpful in terms of suggesting solutions and providing examples. Differences were modest and variability high, indicating that the JIF is a bad predictor for the quality of peer review of an individual manuscript.
• Abstract（参考訳）: ジャーナルインパクトファクタ(JIF)は、しばしばジャーナルの品質と、ジャーナルに提出された論文のピアレビューの品質と等価である。 医学・生命科学雑誌1,644誌に1万件の査読報告を提出し, 査読内容とJIFとの関連性を検討した。 2人の研究者が2000文のランダムなサンプルを手書きした。 次に,187,240文すべてにコンテントカテゴリへの貢献の有無を分類するために,機械学習モデルをトレーニングした。 jifdecilesで定義された10組のジャーナルとピアレビューの内容との間の関係を線形混合効果モデルを用いて検討し,レビュー期間の調整を行った。 JIFは0.21から74.70であった。 ピアレビューの長さは,最下位(中間語数185)からJIF群(387語)に増加した。 異なる内容カテゴリに割り当てられた文の割合は、JIFグループ内でも大きく異なる。 徹底的にみると、「機械と方法」の文は、最も高いJIFグループよりも高いJIF雑誌の方が一般的であった(7.8ポイント、95% CI 4.9から10.7%)。 発表と報告」の傾向は逆の方向に進み、jifの上位の雑誌はそのような内容に重点を置いていない(差異 -8.9%; 95% ci -11.3 対 -6.5%)。 JIF雑誌のレビューでは「提案と解決」への注意が減り、インパクトファクター誌よりも事例が少ないことが示唆された。 いいえ、あるいは他のコンテンツカテゴリで小さな違いだけは明らかでした。 結論として、JIFが高いジャーナルにおけるピアレビューは、使用する方法について議論する上でより徹底的である傾向にあるが、ソリューションの提案や例の提供という点ではあまり役に立たない。 違いはささやかで可変性が高く、jifは個々の原稿の査読の質の悪い予測要因であることを示している。

関連論文リスト

• ReviewGuard: Aligning LLM-Assisted Peer Review with Long-Term Scientific Impact [17.218230815053683]
  ReviewGuardは、2段階のフレームワークで、LLMの生成したレビューと長期の科学的影響の引用に基づく見積もりを一致させる。 OpenReviewの20,861のAI/ML論文で、ReviewGuardは、Rho = 0.776のスピアマン相関と、辞退した論文の今後の引用を達成している。 この結果から,人的判断を置き換えることなく,高能率作業を特定するための補完的なシグナルを編集者に提供できることが示唆された。
  論文  参考訳（メタデータ） (2026-05-29T02:05:10Z)
• FactReview: Evidence-Grounded Reviews with Literature Positioning and Execution-Based Claim Verification [57.196748998757954]
  本稿では,クレーム抽出,文献位置決定,実行に基づくクレーム検証を組み合わせたエビデンスベースレビューシステムであるFactReviewを紹介する。 FactReviewは論文を提出すると、主要なクレームを特定し、その結果を報告し、論文の技術的な位置を明らかにするために近くの作業を取り出し、コードが利用可能であれば、リリースされたリポジトリを実行する。 その後、簡潔なレビューと、主要な請求を5つのラベルのうち1つに割り当てるエビデンスレポートを生成する。
  論文  参考訳（メタデータ） (2026-04-05T11:45:22Z)
• CRISP: Characterizing Relative Impact of Scholarly Publications [70.25915589244961]
  本稿では,大規模言語モデル(LLM)を用いた引用論文の中で,引用論文の全てを共同でランク付けするCRISPを提案する。 LLMの位置バイアスを軽減するために、ランダムな順序で各リストを3回ランク付けし、多数決によって影響ラベルを集約する。 CRISPは従来の最先端の衝撃分類器の精度を+9.5%、F1を+8.3%で上回っている。
  論文  参考訳（メタデータ） (2026-03-25T16:42:30Z)
• DeFrame: Debiasing Large Language Models Against Framing Effects [12.839436067299188]
  大規模言語モデル(LLM)は、現実のアプリケーションにますますデプロイされ、人口統計学的に公正な応答が重要になっていることを保証します。 LLMは標準的な評価では公平に見えるが、評価設定の外でバイアスのある応答を生成することができる。 セマンティックに等価なプロンプトの表現方法の違いであるフレーミングを、このギャップの未発見のコントリビュータとして認識しています。
  論文  参考訳（メタデータ） (2026-02-04T08:15:51Z)
• Is Peer Review Really in Decline? Analyzing Review Quality across Venues and Time [55.756345497678204]
  本稿では,エビデンスに基づくレビュー品質の比較研究のための新しいフレームワークを提案する。 ICLR、NeurIPS、*ACLといった主要なAIおよび機械学習のカンファレンスに適用します。 レビュー品質の測定値と時間経過に伴うその進化の関係について検討する。
  論文  参考訳（メタデータ） (2026-01-21T16:48:29Z)
• Judging with Many Minds: Do More Perspectives Mean Less Prejudice? On Bias Amplifications and Resistance in Multi-Agent Based LLM-as-Judge [70.89799989428367]
  我々は、位置バイアス、冗長性バイアス、チェーンオブ思考バイアス、バンドワゴンバイアスの4つの多様なバイアスタイプを体系的に分析する。 広く採用されているマルチエージェントLLM-as-JudgeフレームワークであるMulti-Agent-DebateとLLM-as-Meta-Judgeでこれらのバイアスを評価する。
  論文  参考訳（メタデータ） (2025-05-26T03:56:41Z)
• ChatGPT for automated grading of short answer questions in mechanical ventilation [0.0]
  大規模言語モデル(LLM)は会話言語をシミュレートし、構造化されていない自由テキスト応答を解釈する。 215名の学生のデータを用いて,ChatGPT 4o の評価を行い,SAQ の評価を行った。
  論文  参考訳（メタデータ） (2025-05-05T19:04:25Z)
• Paper Quality Assessment based on Individual Wisdom Metrics from Open Peer Review [4.35783648216893]
  従来のクローズドピアレビューシステムは遅く、コストがかかり、透明ではない。 我々は、オープンなボトムアッププロセスを通じて、科学的ピアレビューの代替形態の有効性と正確性を提案し、検証する。
  論文  参考訳（メタデータ） (2025-01-22T17:00:27Z)
• Evaluating the Predictive Capacity of ChatGPT for Academic Peer Review Outcomes Across Multiple Platforms [3.3543455244780223]
  本稿では2つの新しい文脈を導入し、より堅牢な方法である複数のChatGPTスコアを平均化する。 平均的な30のChatGPT予測は、レビュアーガイドラインに基づいて、提出されたタイトルと要約のみを用いて、F1000Researchのピアレビュー結果の予測に失敗した。
  論文  参考訳（メタデータ） (2024-11-14T19:20:33Z)
• Ta'keed: The First Generative Fact-Checking System for Arabic Claims [0.0]
  本稿では,アラビア語の自動ファクトチェックシステムであるTa'keedを紹介する。 タケドは、特にアラビア語で、主張の信頼性に関する説明を生成する。 このシステムは、分類タスクで有望なF1スコア0.72を達成した。
  論文  参考訳（メタデータ） (2024-01-25T10:43:00Z)
• Position: AI/ML Influencers Have a Place in the Academic Process [82.2069685579588]
  機械学習研究の可視性向上におけるソーシャルメディアインフルエンサーの役割について検討する。 2018年12月から2023年10月までの間に、8000以上の論文の包括的なデータセットを収集しました。 我々の統計的および因果推論分析は、これらのインフルエンサーが支持する論文の引用が著しく増加することを示している。
  論文  参考訳（メタデータ） (2024-01-24T20:05:49Z)
• CausalCite: A Causal Formulation of Paper Citations [80.82622421055734]
  CausalCiteは紙の意義を測定するための新しい方法だ。 これは、従来のマッチングフレームワークを高次元のテキスト埋め込みに適応させる、新しい因果推論手法であるTextMatchに基づいている。 科学専門家が報告した紙衝撃と高い相関性など,各種基準におけるCausalCiteの有効性を実証する。
  論文  参考訳（メタデータ） (2023-11-05T23:09:39Z)
• Neural Media Bias Detection Using Distant Supervision With BABE -- Bias Annotations By Experts [24.51774048437496]
  本稿ではメディアバイアス研究のための頑健で多様なデータセットであるBABEについて述べる。 トピックとアウトレットの間でバランスが取れた3,700の文で構成されており、単語と文のレベルにメディアバイアスラベルが含まれている。 また,本データに基づいて,ニュース記事中のバイアス文を自動的に検出する手法も導入した。
  論文  参考訳（メタデータ） (2022-09-29T05:32:55Z)
• Document-Level Relation Extraction with Sentences Importance Estimation and Focusing [52.069206266557266]
  文書レベルの関係抽出(DocRE)は、複数の文の文書から2つのエンティティ間の関係を決定することを目的としている。 我々はDocREのための文重要度スコアと文集中損失を設計するSIEF(Sentence Estimation and Focusing)フレームワークを提案する。 2つのドメインの実験結果から、SIEFは全体的なパフォーマンスを改善するだけでなく、DocREモデルをより堅牢にします。
  論文  参考訳（メタデータ） (2022-04-27T03:20:07Z)
• A new baseline for retinal vessel segmentation: Numerical identification and correction of methodological inconsistencies affecting 100+ papers [0.0]
  得られた性能スコアのコヒーレンスに関する詳細な数値解析を行った。 視野の使用に関する報告結果に矛盾が認められた。 これまでに達成された最高精度はFoV領域の0.9582であり、これは人間のアノテーションよりも1%高い。
  論文  参考訳（メタデータ） (2021-11-06T11:09:11Z)
• Inconsistency in Conference Peer Review: Revisiting the 2014 NeurIPS Experiment [26.30237757653724]
  コンファレンスピアレビューにおいて不整合性を検討した2014 NeurIPS 実験を再検討した。 強調された論文では,品質スコアと紙の影響には相関がないことがわかった。
  論文  参考訳（メタデータ） (2021-09-20T18:06:22Z)
• Ranking Scientific Papers Using Preference Learning [48.78161994501516]
  我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。 ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-02T19:41:47Z)
• Dynamic Semantic Matching and Aggregation Network for Few-shot Intent Detection [69.2370349274216]
  利用可能な注釈付き発話が不足しているため、インテント検出は困難である。 セマンティック成分はマルチヘッド自己認識によって発話から蒸留される。 本手法はラベル付きインスタンスとラベルなしインスタンスの両方の表現を強化するための総合的なマッチング手段を提供する。
  論文  参考訳（メタデータ） (2020-10-06T05:16:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。