論文の概要: Impact of large language models on peer review opinions from a fine-grained perspective: Evidence from top conference proceedings in AI

• arxiv url: http://arxiv.org/abs/2604.19578v1
• Date: Tue, 21 Apr 2026 15:33:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-22 22:41:49.84724
• Title: Impact of large language models on peer review opinions from a fine-grained perspective: Evidence from top conference proceedings in AI
• Title（参考訳）: 大規模言語モデルがピアレビューの意見に及ぼす影響:AIの上位会議手続きからの証拠
• Authors: Wenqing Wu, Chengzhi Zhang, Yi Zhao, Tong Bao,
• Abstract要約: 大規模言語モデル(LLM)の出現に伴う学術論文のピアレビューレポートの変化について検討する。 その結果, LLMの出現に伴い, 要約や表面面の明瞭さに重点を置いたピアレビューテキストが, より長く, より流動的になってきていることが示唆された。 同時に、独創性、複製性、ニュアンスドクリティカルな推論など、より深い評価次元への注意は減少している。
• 参考スコア（独自算出の注目度）: 12.04501354723317
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the rapid advancement of Large Language Models (LLMs), the academic community has faced unprecedented disruptions, particularly in the realm of academic communication. The primary function of peer review is improving the quality of academic manuscripts, such as clarity, originality and other evaluation aspects. Although prior studies suggest that LLMs are beginning to influence peer review, it remains unclear whether they are altering its core evaluative functions. Moreover, the extent to which LLMs affect the linguistic form, evaluative focus, and recommendation-related signals of peer-review reports has yet to be systematically examined. In this study, we examine the changes in peer review reports for academic articles following the emergence of LLMs, emphasizing variations at fine-grained level. Specifically, we investigate linguistic features such as the length and complexity of words and sentences in review comments, while also automatically annotating the evaluation aspects of individual review sentences. We also use a maximum likelihood estimation method, previously established, to identify review reports that potentially have modified or generated by LLMs. Finally, we assess the impact of evaluation aspects mentioned in LLM-assisted review reports on the informativeness of recommendation for paper decision-making. The results indicate that following the emergence of LLMs, peer review texts have become longer and more fluent, with increased emphasis on summaries and surface-level clarity, as well as more standardized linguistic patterns, particularly reviewers with lower confidence score. At the same time, attention to deeper evaluative dimensions, such as originality, replicability, and nuanced critical reasoning, has declined.
• Abstract（参考訳）: LLM(Large Language Models)の急速な進歩により、学術コミュニティは、特に学術コミュニケーションの領域において、前例のない破壊に直面してきた。 ピアレビューの主な機能は、明瞭さ、独創性、その他の評価面などの学術的写本の品質を改善することである。 従来の研究では、LLMがピアレビューに影響を与え始めていることが示唆されていたが、中核的な評価機能を変更しているかどうかは不明だ。 さらに, LLMが言語形態, 評価的焦点, 推奨関連信号にどのような影響を及ぼすかについては, まだ体系的に検討されていない。 本研究では, LLMの出現に伴う学術論文の査読報告の変化について検討し, きめ細かいレベルでのばらつきを強調した。 具体的には、レビューコメントにおける単語と文の長さや複雑さなどの言語的特徴について検討するとともに、個々のレビュー文の評価的側面を自動的に注釈付けする。 また,LLMが修正あるいは生成した可能性のあるレビューレポートを識別するために,これまで確立されていた最大推定手法を用いている。 最後に、LCM支援レビューレポートに記載されている評価項目が、紙の意思決定における推薦の有益性に与える影響を評価する。 その結果, LLMの出現以降, 要約や表面面の明瞭さに重点を置いたピアレビューテキストが, より標準化された言語パターン, 特に信頼性スコアの低いレビュアーによって, より長く, より流動的になってきていることが示唆された。 同時に、独創性、複製性、ニュアンスドクリティカルな推論など、より深い評価次元への注意は減少している。

関連論文リスト

• Insights from the ICLR Peer Review and Rebuttal Process [11.96840383745149]
  ICLR 2024と2025のピアレビュープロセスを大規模に分析する。 本研究は,レビュースコア,著者-レビューアテンション,レビュー提出時の時間的パターン,共同レビューアの影響について検討する。 この結果から,初回評価と共同視聴者の評価が,報奨期間における得点変化の予測因子として最強であることが示唆された。
  論文  参考訳（メタデータ） (2025-11-19T14:21:52Z)
• When Your Reviewer is an LLM: Biases, Divergence, and Prompt Injection Risks in Peer Review [34.067892820832405]
  本稿では,学術レビュアーとして大規模言語モデル(LLM)を体系的に評価する。 ICLR 2023とNeurIPS 2022の1,441論文のキュレートされたデータセットを用いて、評価、強度、弱点を越えて、GPT-5-miniをヒトレビュアーに対して評価した。 以上の結果から, LLMは, より弱い論文に対する評価を一貫して向上させつつ, より強いコントリビューションに対する人間の判断と密に一致させることが示唆された。
  論文  参考訳（メタデータ） (2025-09-12T00:57:50Z)
• The simulation of judgment in LLMs [32.57692724251287]
  大規模言語モデル(LLM)は、情報フィルタリングから説明と信頼性の判断を通じて知識ギャップの評価と対処に至るまで、評価プロセスに組み込まれている。 これにより、このような評価がどのように構築されるのか、どのような仮定に依存しているのか、その戦略が人間のものとどのように異なるのかを調べる必要が生じる。 我々は、専門家の評価に対して、6つのLCM(NewsGuardとMedia Bias/Fact Check)と、制御された実験を通して収集された人間の判断に対してベンチマークを行った。
  論文  参考訳（メタデータ） (2025-02-06T18:52:10Z)
• RevisEval: Improving LLM-as-a-Judge via Response-Adapted References [95.29800580588592]
  RevisEvalは、応答適応参照による新しいテキスト生成評価パラダイムである。 RevisEvalは、理想的な参照が評価される応答に対する必要な関連性を維持するべきであるというキーオブザーバーによって駆動される。
  論文  参考訳（メタデータ） (2024-10-07T16:50:47Z)
• DnA-Eval: Enhancing Large Language Model Evaluation through Decomposition and Aggregation [75.81096662788254]
  大規模言語モデル(LLM)はスケーラブルで経済的な評価指標である。 これらの評価者がどの程度信頼できるかという問題は、重要な研究課題として浮上している。 本稿では,デコンプリートとアグリゲートを提案し,その評価プロセスを教育実践に基づいて異なる段階に分解する。
  論文  参考訳（メタデータ） (2024-05-24T08:12:30Z)
• A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [51.26815896167173]
  本稿では,3つの相補的な側面からPAMIレビューを総合的に分析する。 我々の分析は、現在のレビューの実践において、独特の組織パターンと永続的なギャップを明らかにします。 最後に、最先端のAI生成レビューの評価は、コヒーレンスと組織の進歩を奨励していることを示している。
  論文  参考訳（メタデータ） (2024-02-20T11:28:50Z)
• Style Over Substance: Evaluation Biases for Large Language Models [17.13064447978519]
  本研究では,大規模言語モデル(LLM)とともに,クラウドソースおよびエキスパートアノテータの挙動について検討する。 この結果から, 事実的誤りに対する回答は, 短すぎる, 文法的誤りを含む回答よりも好意的に評価され, 評価過程の偏りが示唆された。 評価面を1つのスコアにマージするのではなく,複数の次元にまたがるマシン生成テキストを独立に評価することを提案する。
  論文  参考訳（メタデータ） (2023-07-06T14:42:01Z)
• Investigating Fairness Disparities in Peer Review: A Language Model Enhanced Approach [77.61131357420201]
  我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。 我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。 我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
  論文  参考訳（メタデータ） (2022-11-07T16:19:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。