論文の概要: When Your Reviewer is an LLM: Biases, Divergence, and Prompt Injection Risks in Peer Review

• arxiv url: http://arxiv.org/abs/2509.09912v1
• Date: Fri, 12 Sep 2025 00:57:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-15 16:03:07.952054
• Title: When Your Reviewer is an LLM: Biases, Divergence, and Prompt Injection Risks in Peer Review
• Title（参考訳）: レビュアーがLLMであるとき: ピアレビューにおけるバイアス、ダイバージェンス、プロンプト注入リスク
• Authors: Changjia Zhu, Junjie Xiong, Renkai Ma, Zhicong Lu, Yao Liu, Lingyao Li,
• Abstract要約: 本稿では,学術レビュアーとして大規模言語モデル(LLM)を体系的に評価する。 ICLR 2023とNeurIPS 2022の1,441論文のキュレートされたデータセットを用いて、評価、強度、弱点を越えて、GPT-5-miniをヒトレビュアーに対して評価した。 以上の結果から, LLMは, より弱い論文に対する評価を一貫して向上させつつ, より強いコントリビューションに対する人間の判断と密に一致させることが示唆された。
• 参考スコア（独自算出の注目度）: 34.067892820832405
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Peer review is the cornerstone of academic publishing, yet the process is increasingly strained by rising submission volumes, reviewer overload, and expertise mismatches. Large language models (LLMs) are now being used as "reviewer aids," raising concerns about their fairness, consistency, and robustness against indirect prompt injection attacks. This paper presents a systematic evaluation of LLMs as academic reviewers. Using a curated dataset of 1,441 papers from ICLR 2023 and NeurIPS 2022, we evaluate GPT-5-mini against human reviewers across ratings, strengths, and weaknesses. The evaluation employs structured prompting with reference paper calibration, topic modeling, and similarity analysis to compare review content. We further embed covert instructions into PDF submissions to assess LLMs' susceptibility to prompt injection. Our findings show that LLMs consistently inflate ratings for weaker papers while aligning more closely with human judgments on stronger contributions. Moreover, while overarching malicious prompts induce only minor shifts in topical focus, explicitly field-specific instructions successfully manipulate specific aspects of LLM-generated reviews. This study underscores both the promises and perils of integrating LLMs into peer review and points to the importance of designing safeguards that ensure integrity and trust in future review processes.
• Abstract（参考訳）: ピアレビューは学術出版の基盤となっているが、論文の提出数の増加、レビュアーの過負荷、専門知識のミスマッチによって、そのプロセスはますますぎこちない。 大規模な言語モデル(LLM)が"リビューア・エイズ"として使用され、その公平性、一貫性、間接的なインジェクション攻撃に対する堅牢性に対する懸念が高まっている。 本稿では,学術レビュアーとしてのLLMの体系的評価について述べる。 ICLR 2023とNeurIPS 2022の1,441論文のキュレートされたデータセットを用いて、評価、強度、弱点を越えて、GPT-5-miniをヒトレビュアーに対して評価した。 本評価では, 参照紙の校正, トピックモデリング, 類似性分析を用いて, レビュー内容の比較を行う。 さらに, LLM の注射感受性を評価するために, PDF 提出書に隠蔽指示書を埋め込んだ。 以上の結果から, LLMは, より弱い論文に対する評価を一貫して向上させつつ, より強いコントリビューションに対する人間の判断と密に一致させることが示唆された。 さらに、悪意のあるプロンプトをオーバーソーシングすると、トピックの焦点の微妙なシフトしか生じないが、明示的にフィールド固有の命令は、LLM生成レビューの特定の側面をうまく操作できる。 本研究は, LLMsをピアレビューに統合することの約束と危険性を両立させ, 今後のレビュープロセスの完全性と信頼性を確保するための安全ガードの設計の重要性を指摘する。

関連論文リスト

• Beyond "Not Novel Enough": Enriching Scholarly Critique with LLM-Assisted Feedback [81.0031690510116]
  本稿では,3段階を通して専門家レビューアの動作をモデル化する,自動ノベルティ評価のための構造化アプローチを提案する。 本手法は,人文のノベルティレビューを大規模に分析した結果から得られたものである。 182 ICLR 2025 の提出で評価されたこの手法は、人間の推論と86.5%の一致と、新規性の結論に関する75.3%の合意を達成している。
  論文  参考訳（メタデータ） (2025-08-14T16:18:37Z)
• ReviewAgents: Bridging the Gap Between Human and AI-Generated Paper Reviews [24.566487721847597]
  学術論文レビュー(Academic paper review)は、研究コミュニティにおける批判的だが時間を要する課題である。 学術出版物の増加に伴い、レビュープロセスの自動化が大きな課題となっている。 大規模言語モデル(LLM)を利用して学術論文レビューを生成するフレームワークであるReviewAgentsを提案する。
  論文  参考訳（メタデータ） (2025-03-11T14:56:58Z)
• Mind the Blind Spots: A Focus-Level Evaluation Framework for LLM Reviews [46.0003776499898]
  大きな言語モデル(LLM)は、レビューを自動的にドラフトできる。 LLM生成レビューが信頼できるかどうかを決定するには、体系的な評価が必要である。 注意の正規分布として焦点を運用する焦点レベル評価フレームワークを導入する。
  論文  参考訳（メタデータ） (2025-02-24T12:05:27Z)
• Are We There Yet? Revealing the Risks of Utilizing Large Language Models in Scholarly Peer Review [66.73247554182376]
  大規模言語モデル(LLM)がピアレビューに統合された。 未確認のLLMの採用は、ピアレビューシステムの完全性に重大なリスクをもたらす。 5%のレビューを操作すれば、論文の12%が上位30%のランキングでその地位を失う可能性がある。
  論文  参考訳（メタデータ） (2024-12-02T16:55:03Z)
• Usefulness of LLMs as an Author Checklist Assistant for Scientific Papers: NeurIPS'24 Experiment [59.09144776166979]
  大規模言語モデル(LLM)は、科学的ピアレビューを支援する上で有望だが議論の余地のあるツールである。 本研究は,論文提出を提出基準に適合させるツールとして,会議環境におけるLCMの有用性を評価する。
  論文  参考訳（メタデータ） (2024-11-05T18:58:00Z)
• AI-Driven Review Systems: Evaluating LLMs in Scalable and Bias-Aware Academic Reviews [18.50142644126276]
  我々は,人選好のアリーナを用いて,人選好と自動レビューのアライメントを評価する。 我々は、LLMを微調整して人間の好みを予測し、LLM同士の真っ向からの戦いにおいて、どのレビューが好まれるかを予測する。 我々は、公開可能なarXivおよびオープンアクセスのNatureジャーナルのレビューをオンラインで公開し、著者が研究論文をレビューし、改訂し、品質を改善するのに役立つ無料サービスを提供しています。
  論文  参考訳（メタデータ） (2024-08-19T19:10:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。