論文の概要: Impact of large language models on peer review opinions from a fine-grained perspective: Evidence from top conference proceedings in AI

• arxiv url: http://arxiv.org/abs/2604.19578v1
• Date: Tue, 21 Apr 2026 15:33:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-22 22:41:49.84724
• Title: Impact of large language models on peer review opinions from a fine-grained perspective: Evidence from top conference proceedings in AI
• Title（参考訳）: 大規模言語モデルがピアレビューの意見に及ぼす影響:AIの上位会議手続きからの証拠
• Abstract要約: 大規模言語モデル(LLM)の出現に伴う学術論文のピアレビューレポートの変化について検討する。 その結果, LLMの出現に伴い, 要約や表面面の明瞭さに重点を置いたピアレビューテキストが, より長く, より流動的になってきていることが示唆された。 同時に、独創性、複製性、ニュアンスドクリティカルな推論など、より深い評価次元への注意は減少している。
• 参考スコア（独自算出の注目度）: 12.04501354723317
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the rapid advancement of Large Language Models (LLMs), the academic community has faced unprecedented disruptions, particularly in the realm of academic communication. The primary function of peer review is improving the quality of academic manuscripts, such as clarity, originality and other evaluation aspects. Although prior studies suggest that LLMs are beginning to influence peer review, it remains unclear whether they are altering its core evaluative functions. Moreover, the extent to which LLMs affect the linguistic form, evaluative focus, and recommendation-related signals of peer-review reports has yet to be systematically examined. In this study, we examine the changes in peer review reports for academic articles following the emergence of LLMs, emphasizing variations at fine-grained level. Specifically, we investigate linguistic features such as the length and complexity of words and sentences in review comments, while also automatically annotating the evaluation aspects of individual review sentences. We also use a maximum likelihood estimation method, previously established, to identify review reports that potentially have modified or generated by LLMs. Finally, we assess the impact of evaluation aspects mentioned in LLM-assisted review reports on the informativeness of recommendation for paper decision-making. The results indicate that following the emergence of LLMs, peer review texts have become longer and more fluent, with increased emphasis on summaries and surface-level clarity, as well as more standardized linguistic patterns, particularly reviewers with lower confidence score. At the same time, attention to deeper evaluative dimensions, such as originality, replicability, and nuanced critical reasoning, has declined.
• Abstract（参考訳）: LLM(Large Language Models)の急速な進歩により、学術コミュニティは、特に学術コミュニケーションの領域において、前例のない破壊に直面してきた。 ピアレビューの主な機能は、明瞭さ、独創性、その他の評価面などの学術的写本の品質を改善することである。 従来の研究では、LLMがピアレビューに影響を与え始めていることが示唆されていたが、中核的な評価機能を変更しているかどうかは不明だ。 さらに, LLMが言語形態, 評価的焦点, 推奨関連信号にどのような影響を及ぼすかについては, まだ体系的に検討されていない。 本研究では, LLMの出現に伴う学術論文の査読報告の変化について検討し, きめ細かいレベルでのばらつきを強調した。 具体的には、レビューコメントにおける単語と文の長さや複雑さなどの言語的特徴について検討するとともに、個々のレビュー文の評価的側面を自動的に注釈付けする。 また,LLMが修正あるいは生成した可能性のあるレビューレポートを識別するために,これまで確立されていた最大推定手法を用いている。 最後に、LCM支援レビューレポートに記載されている評価項目が、紙の意思決定における推薦の有益性に与える影響を評価する。 その結果, LLMの出現以降, 要約や表面面の明瞭さに重点を置いたピアレビューテキストが, より標準化された言語パターン, 特に信頼性スコアの低いレビュアーによって, より長く, より流動的になってきていることが示唆された。 同時に、独創性、複製性、ニュアンスドクリティカルな推論など、より深い評価次元への注意は減少している。

関連論文リスト

• Insights from the ICLR Peer Review and Rebuttal Process [11.96840383745149]
  ICLR 2024と2025のピアレビュープロセスを大規模に分析する。 本研究は,レビュースコア,著者-レビューアテンション,レビュー提出時の時間的パターン,共同レビューアの影響について検討する。 この結果から,初回評価と共同視聴者の評価が,報奨期間における得点変化の予測因子として最強であることが示唆された。
  論文  参考訳（メタデータ） (2025-11-19T14:21:52Z)
• When Your Reviewer is an LLM: Biases, Divergence, and Prompt Injection Risks in Peer Review [34.067892820832405]
  本稿では,学術レビュアーとして大規模言語モデル(LLM)を体系的に評価する。 ICLR 2023とNeurIPS 2022の1,441論文のキュレートされたデータセットを用いて、評価、強度、弱点を越えて、GPT-5-miniをヒトレビュアーに対して評価した。 以上の結果から, LLMは, より弱い論文に対する評価を一貫して向上させつつ, より強いコントリビューションに対する人間の判断と密に一致させることが示唆された。
  論文  参考訳（メタデータ） (2025-09-12T00:57:50Z)
• Beyond "Not Novel Enough": Enriching Scholarly Critique with LLM-Assisted Feedback [81.0031690510116]
  本稿では,3段階を通して専門家レビューアの動作をモデル化する,自動ノベルティ評価のための構造化アプローチを提案する。 本手法は,人文のノベルティレビューを大規模に分析した結果から得られたものである。 182 ICLR 2025 の提出で評価されたこの手法は、人間の推論と86.5%の一致と、新規性の結論に関する75.3%の合意を達成している。
  論文  参考訳（メタデータ） (2025-08-14T16:18:37Z)
• Identifying Reliable Evaluation Metrics for Scientific Text Revision [7.503795054002405]
  ROUGEやBERTScoreといった従来のメトリクスは主に、意味のある改善を捉えるのではなく、類似性に重点を置いている。 まず手動による注釈研究を行い、異なる修正の質を評価する。 そこで本研究では,NLPドメインの参照不要評価指標について検討する。 LLM-as-a-judge評価とタスク固有のメトリクスを組み合わせたハイブリッドアプローチが,最も信頼性の高いリビジョン品質評価を提供することがわかった。
  論文  参考訳（メタデータ） (2025-06-05T09:00:23Z)
• The simulation of judgment in LLMs [32.57692724251287]
  大規模言語モデル(LLM)は、情報フィルタリングから説明と信頼性の判断を通じて知識ギャップの評価と対処に至るまで、評価プロセスに組み込まれている。 これにより、このような評価がどのように構築されるのか、どのような仮定に依存しているのか、その戦略が人間のものとどのように異なるのかを調べる必要が生じる。 我々は、専門家の評価に対して、6つのLCM(NewsGuardとMedia Bias/Fact Check)と、制御された実験を通して収集された人間の判断に対してベンチマークを行った。
  論文  参考訳（メタデータ） (2025-02-06T18:52:10Z)
• Are We There Yet? Revealing the Risks of Utilizing Large Language Models in Scholarly Peer Review [66.73247554182376]
  大規模言語モデル(LLM)がピアレビューに統合された。 未確認のLLMの採用は、ピアレビューシステムの完全性に重大なリスクをもたらす。 5%のレビューを操作すれば、論文の12%が上位30%のランキングでその地位を失う可能性がある。
  論文  参考訳（メタデータ） (2024-12-02T16:55:03Z)
• RevisEval: Improving LLM-as-a-Judge via Response-Adapted References [95.29800580588592]
  RevisEvalは、応答適応参照による新しいテキスト生成評価パラダイムである。 RevisEvalは、理想的な参照が評価される応答に対する必要な関連性を維持するべきであるというキーオブザーバーによって駆動される。
  論文  参考訳（メタデータ） (2024-10-07T16:50:47Z)
• DnA-Eval: Enhancing Large Language Model Evaluation through Decomposition and Aggregation [75.81096662788254]
  大規模言語モデル(LLM)はスケーラブルで経済的な評価指標である。 これらの評価者がどの程度信頼できるかという問題は、重要な研究課題として浮上している。 本稿では,デコンプリートとアグリゲートを提案し,その評価プロセスを教育実践に基づいて異なる段階に分解する。
  論文  参考訳（メタデータ） (2024-05-24T08:12:30Z)
• A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [51.26815896167173]
  本稿では,3つの相補的な側面からPAMIレビューを総合的に分析する。 我々の分析は、現在のレビューの実践において、独特の組織パターンと永続的なギャップを明らかにします。 最後に、最先端のAI生成レビューの評価は、コヒーレンスと組織の進歩を奨励していることを示している。
  論文  参考訳（メタデータ） (2024-02-20T11:28:50Z)
• Are Large Language Models Reliable Judges? A Study on the Factuality Evaluation Capabilities of LLMs [8.526956860672698]
  大きな言語モデル(LLM)は、その顕著な能力のために注目を集めている。 本研究では,テキスト生成モデルにより生成された要約における事実整合性の信頼性評価としてのLCMの可能性について検討する。
  論文  参考訳（メタデータ） (2023-11-01T17:42:45Z)
• Exploring the Reliability of Large Language Models as Customized Evaluators for Diverse NLP Tasks [65.69651759036535]
  大規模言語モデル(LLM)が人間にとって信頼できる代替手段であるかどうかを解析する。 本稿では、従来のタスク(例えば、ストーリー生成)とアライメントタスク(例えば、数学推論)の両方について検討する。 LLM評価器は不要な基準を生成したり、重要な基準を省略することができる。
  論文  参考訳（メタデータ） (2023-10-30T17:04:35Z)
• FELM: Benchmarking Factuality Evaluation of Large Language Models [40.78878196872095]
  本稿では,Felmと呼ばれる大規模言語モデルのファクチュアリティ評価のためのベンチマークを紹介する。 我々は,大規模言語モデルから生成された応答を収集し,微粒な方法で事実ラベルを注釈付けする。 その結果,検索は事実性評価に役立つが,現在のLCMは事実の誤りを忠実に検出するには不十分であることがわかった。
  論文  参考訳（メタデータ） (2023-10-01T17:37:31Z)
• Style Over Substance: Evaluation Biases for Large Language Models [17.13064447978519]
  本研究では,大規模言語モデル(LLM)とともに,クラウドソースおよびエキスパートアノテータの挙動について検討する。 この結果から, 事実的誤りに対する回答は, 短すぎる, 文法的誤りを含む回答よりも好意的に評価され, 評価過程の偏りが示唆された。 評価面を1つのスコアにマージするのではなく,複数の次元にまたがるマシン生成テキストを独立に評価することを提案する。
  論文  参考訳（メタデータ） (2023-07-06T14:42:01Z)
• Investigating Fairness Disparities in Peer Review: A Language Model Enhanced Approach [77.61131357420201]
  我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。 我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。 我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
  論文  参考訳（メタデータ） (2022-11-07T16:19:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。