論文の概要: Justice in Judgment: Unveiling (Hidden) Bias in LLM-assisted Peer Reviews

• arxiv url: http://arxiv.org/abs/2509.13400v3
• Date: Tue, 23 Sep 2025 06:37:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-24 14:02:59.885303
• Title: Justice in Judgment: Unveiling (Hidden) Bias in LLM-assisted Peer Reviews
• Title（参考訳）: 判決の正義: LLM支援ピアレビューで(隠された)バイアスを解き放つ
• Authors: Sai Suresh Marchala Vasu, Ivaxi Sheth, Hui-Po Wang, Ruta Binkyte, Mario Fritz,
• Abstract要約: 大規模言語モデル (LLM) の生成するピアレビューのバイアスを, センシティブなメタデータの実験により検討する。 我々の分析は、共通の学術的ランキングに高いランクの機関を優先するアフィリエイトバイアスを一貫して示している。 トークンベースのソフトレーティングでより明確になる暗黙のバイアスを明らかにする。
• 参考スコア（独自算出の注目度）: 38.50822587716282
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The adoption of large language models (LLMs) is transforming the peer review process, from assisting reviewers in writing more detailed evaluations to generating entire reviews automatically. While these capabilities offer exciting opportunities, they also raise critical concerns about fairness and reliability. In this paper, we investigate bias in LLM-generated peer reviews by conducting controlled experiments on sensitive metadata, including author affiliation and gender. Our analysis consistently shows affiliation bias favoring institutions highly ranked on common academic rankings. Additionally, we find some gender preferences, which, even though subtle in magnitude, have the potential to compound over time. Notably, we uncover implicit biases that become more evident with token-based soft ratings.
• Abstract（参考訳）: 大規模言語モデル (LLMs) の採用は、レビュー担当者がより詳細な評価を書くことを支援することから、レビュー全体を自動生成することまで、ピアレビュープロセスを変革している。 これらの能力はエキサイティングな機会を提供する一方で、公正性と信頼性に関する重要な懸念を提起します。 本稿では, LLM 生成したピアレビューのバイアスについて, 著者の親和性や性別など, センシティブなメタデータを制御した実験により検討する。 我々の分析は、共通の学術的ランキングに高いランクの機関を優先するアフィリエイトバイアスを一貫して示している。 さらに、ジェンダーの嗜好もいくつかあり、それはたとえ微妙に見ても、時間とともに複雑になる可能性がある。 特に、トークンベースのソフトレーティングでより明確になる暗黙のバイアスを明らかにします。

関連論文リスト

• When Your Reviewer is an LLM: Biases, Divergence, and Prompt Injection Risks in Peer Review [34.067892820832405]
  本稿では,学術レビュアーとして大規模言語モデル(LLM)を体系的に評価する。 ICLR 2023とNeurIPS 2022の1,441論文のキュレートされたデータセットを用いて、評価、強度、弱点を越えて、GPT-5-miniをヒトレビュアーに対して評価した。 以上の結果から, LLMは, より弱い論文に対する評価を一貫して向上させつつ, より強いコントリビューションに対する人間の判断と密に一致させることが示唆された。
  論文  参考訳（メタデータ） (2025-09-12T00:57:50Z)
• Pairwise or Pointwise? Evaluating Feedback Protocols for Bias in LLM-Based Evaluation [57.380464382910375]
  評価のためのフィードバックプロトコルの選択は,評価信頼性に大きく影響し,系統的なバイアスを生じさせることを示す。 ジェネレータモデルは、気を散らす機能を埋め込むことで好みをひっくり返すことができる。 我々は,データセットの特徴と評価目標に基づくフィードバックプロトコルの選択を推奨する。
  論文  参考訳（メタデータ） (2025-04-20T19:05:59Z)
• Mind the Blind Spots: A Focus-Level Evaluation Framework for LLM Reviews [46.0003776499898]
  大きな言語モデル(LLM)は、レビューを自動的にドラフトできる。 LLM生成レビューが信頼できるかどうかを決定するには、体系的な評価が必要である。 注意の正規分布として焦点を運用する焦点レベル評価フレームワークを導入する。
  論文  参考訳（メタデータ） (2025-02-24T12:05:27Z)
• Are We There Yet? Revealing the Risks of Utilizing Large Language Models in Scholarly Peer Review [66.73247554182376]
  大規模言語モデル(LLM)がピアレビューに統合された。 未確認のLLMの採用は、ピアレビューシステムの完全性に重大なリスクをもたらす。 5%のレビューを操作すれば、論文の12%が上位30%のランキングでその地位を失う可能性がある。
  論文  参考訳（メタデータ） (2024-12-02T16:55:03Z)
• AI-Driven Review Systems: Evaluating LLMs in Scalable and Bias-Aware Academic Reviews [18.50142644126276]
  我々は,人選好のアリーナを用いて,人選好と自動レビューのアライメントを評価する。 我々は、LLMを微調整して人間の好みを予測し、LLM同士の真っ向からの戦いにおいて、どのレビューが好まれるかを予測する。 我々は、公開可能なarXivおよびオープンアクセスのNatureジャーナルのレビューをオンラインで公開し、著者が研究論文をレビューし、改訂し、品質を改善するのに役立つ無料サービスを提供しています。
  論文  参考訳（メタデータ） (2024-08-19T19:10:38Z)
• Take Care of Your Prompt Bias! Investigating and Mitigating Prompt Bias in Factual Knowledge Extraction [56.17020601803071]
  近年の研究では、事前学習言語モデル(PLM)が、事実知識抽出において「急激なバイアス」に悩まされていることが示されている。 本稿では,突発バイアスを徹底的に調査し緩和することにより,既存のベンチマークの信頼性を向上させることを目的とする。
  論文  参考訳（メタデータ） (2024-03-15T02:04:35Z)
• GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language Models [83.30078426829627]
  大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。 既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。 本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-11T12:02:14Z)
• Style Over Substance: Evaluation Biases for Large Language Models [17.13064447978519]
  本研究では,大規模言語モデル(LLM)とともに,クラウドソースおよびエキスパートアノテータの挙動について検討する。 この結果から, 事実的誤りに対する回答は, 短すぎる, 文法的誤りを含む回答よりも好意的に評価され, 評価過程の偏りが示唆された。 評価面を1つのスコアにマージするのではなく,複数の次元にまたがるマシン生成テキストを独立に評価することを提案する。
  論文  参考訳（メタデータ） (2023-07-06T14:42:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。