論文の概要: Breaking the Illusion of Review Reliability under Static Evaluation: SCOPE Fuzzing for LLM-based Scientific Reviewers

• arxiv url: http://arxiv.org/abs/2609.37097v1
• Date: Tue, 29 Sep 2026 09:20:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.373923
• Title: Breaking the Illusion of Review Reliability under Static Evaluation: SCOPE Fuzzing for LLM-based Scientific Reviewers
• Title（参考訳）: 静的評価による信頼性のイライラ: LLM を用いた科学レビュアーのためのSCOPEファズリング
• Abstract要約: 本研究では,3段階評価フレームワークを構築し,提示や議論論理,価値判断などに対する摂動を網羅する。 本稿では、フィードバック駆動型戦略選択と紙内容の適応的突然変異を組み合わせた戦略対応ファズーであるSCOPE-Fuzzerを提案する。
• 参考スコア（独自算出の注目度）: 18.357579631325834
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid growth of submissions and reviewing workload has accelerated the use of large language models (LLMs) in peer review. Prior studies suggest that LLM-based reviewers can penalize content perturbations, such as overclaiming, indicating a certain degree of reliability. Yet these conclusions are largely based on a narrow set of perturbation strategies instantiated with static templates, providing limited evidence of actual reliability. In this paper, we construct a three-level evaluation framework covering perturbations to surface presentation, argumentative logic, and value judgment. Experiments on representative LLM-based reviewers reveal two limitations of static evaluation: stratified vulnerability, where perturbation effects depend on whether the paper's original review score is high or low, and perturbation undercoverage, where a single template misses vulnerabilities exposed by diverse realizations. To address these limitations, we propose SCOPE-Fuzzer, a strategy-aware fuzzer that combines feedback-driven strategy selection with adaptive mutation of paper content. By iteratively probing reviewers with dynamic perturbations, SCOPE-Fuzzer consistently uncovers vulnerabilities overlooked by static evaluation and other baselines.
• Abstract（参考訳）: 提出書の急速な増加とワークロードのレビューにより、ピアレビューにおける大規模言語モデル(LLM)の利用が加速した。 以前の研究では、LCMベースのレビュアーは、過度な評価やある程度の信頼性を示すコンテンツ摂動を罰することができることが示唆された。 しかし、これらの結論は主に静的テンプレートでインスタンス化された摂動戦略の狭いセットに基づいており、実際の信頼性の証拠は限られている。 本稿では,3段階評価フレームワークを構築し,提示や議論論理,価値判断などに対する摂動を網羅する。 LLMをベースとした代表的なレビューアの実験では、論文の本来のレビュースコアが高いか低いかに依存する階層化された脆弱性と、さまざまな実現によって露呈される脆弱性を単一のテンプレートで見逃す摂動アンサーベイジという2つの静的評価の制限が明らかになった。 これらの制約に対処するために、フィードバック駆動型戦略選択と紙内容の適応的突然変異を組み合わせた戦略対応ファズーであるSCOPE-Fuzzerを提案する。 動的摂動を持つレビュアーを反復的に探すことで、SCOPE-Fuzzerは静的評価やその他のベースラインによって見落とされた脆弱性を一貫して発見する。

関連論文リスト

• Evaluating LLM-Based Grant Proposal Review via Structured Perturbations [18.689211845609623]
  我々は、6つの品質軸にまたがるLLM感度を探索する摂動型フレームワークを開発した。 我々は, 単一パスレビュー, セクション・バイ・セクション分析, 専門家パネルをエミュレートした「ペルソナのカウンシル」という3つのレビューアーキテクチャを比較した。
  論文  参考訳（メタデータ） (2026-03-09T11:53:50Z)
• Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
  大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。 このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。 我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
  論文  参考訳（メタデータ） (2026-01-21T06:07:43Z)
• Reviewing the Reviewer: Elevating Peer Review Quality through LLM-Guided Feedback [75.31379834079648]
  レビューを論証セグメントに分解するLLM駆動型フレームワークを提案する。 遅延思考と特異性をラベル付けした1,309文のデータセットであるLazyReviewPlusもリリースしました。
  論文  参考訳（メタデータ） (2026-01-17T20:32:18Z)
• Retrieval is Not Enough: Enhancing RAG Reasoning through Test-Time Critique and Optimization [58.390885294401066]
  Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。 RAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。 批判駆動アライメント(CDA)に基づく新しい反復的枠組みであるAlignRAGを提案する。 AlignRAG-autoは、動的に洗練を終了し、批判的な反復回数を事前に指定する必要がなくなる自律的な変種である。
  論文  参考訳（メタデータ） (2025-04-21T04:56:47Z)
• LLM-Safety Evaluations Lack Robustness [58.334290876531036]
  我々は、大規模言語モデルに対する現在の安全アライメント研究は、多くのノイズ源によって妨げられていると論じる。 本研究では,将来の攻撃・防衛用紙の評価において,ノイズやバイアスを低減させる一連のガイドラインを提案する。
  論文  参考訳（メタデータ） (2025-03-04T12:55:07Z)
• Aspect-Guided Multi-Level Perturbation Analysis of Large Language Models in Automated Peer Review [36.05498398665352]
  自動ピアレビューにおいて,大規模言語モデル(LLM)の堅牢性を評価するために,アスペクト誘導多段階摂動フレームワークを提案する。 我々のフレームワークは、ピアレビュープロセスペーパー、レビュー、そして、いくつかの品質面における反論の3つの重要な要素における摂動を探求する。
  論文  参考訳（メタデータ） (2025-02-18T03:50:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。