論文の概要: Major Revision, Minor Accountability: LLMs as Reviewers of Published Articles in Top-Tier Journals
- arxiv url: http://arxiv.org/abs/2610.31414v1
- Date: Thu, 22 Oct 2026 15:16:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.42137
- Title: Major Revision, Minor Accountability: LLMs as Reviewers of Published Articles in Top-Tier Journals
- Title（参考訳）: メジャーリビジョン, 微少な説明責任: トップタイア誌に掲載された記事のレビュアーとしてのLCM
- Abstract要約: 我々は200の記事からなるコーパスを組み立て、それぞれCC BY 4.0ライセンスでリリースし、2026年に公開された。
我々は,現在4つのLCMに対して,個別のピアレビューレポートをブラインドプロトコルで作成するよう依頼する。
彼らの決定は圧倒的に厳しいものであり、互いに矛盾するものだった。
- 参考スコア（独自算出の注目度）: 0.5471464048416309
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: With the growth of scientific output, the peer review system is approaching a breaking point: reviewers are increasingly hard to secure, and turnaround times lengthen accordingly. LLM-assisted or LLM-generated peer review has been proposed as a remedy, but how such models would treat manuscripts already published in top-tier journals, the closest thing the current system has to a gold standard of scientific validity, is not known. Here we assembled a corpus of 200 articles, each released under a CC BY 4.0 license and published in 2026, from 20 general-science, life-science, and clinical-medicine journals including Nature, Science, and Cell, and asked four current LLMs (two proprietary, two open-weight) to produce independent peer-review reports of each one under a blinded protocol. Their decisions were overwhelmingly harsh and starkly inconsistent with each other: 605 of 800 reviews (75.6%) recommended major revision or rejection, but the rate at which any single model did so ranged from 17.5% to 100% (p < 0.001), disagreement on manuscripts that had, by construction, already survived real editorial review at the journals in question. When the same manuscripts were doctored with one deliberately planted, field-specific methodological or statistical flaw, detection rates varied from 17.0% to 60.5% across models (p < 0.001). Recommending revision for papers that had already passed editorial review (low specificity) while missing flaws deliberately placed in front of them (low sensitivity), these models produce output that should be read for what it is: an uneven, framing- and model-dependent signal.
- Abstract（参考訳）: 科学的なアウトプットの増大に伴い、ピアレビューシステムはブレークポイントに近づきつつある。
LLM支援またはLCM生成のピアレビューは治療薬として提案されているが、そのようなモデルが既に上位層誌に掲載されている原稿をどう扱うかは定かではない。
ここでは200の記事のコーパスをまとめ、それぞれCC BY 4.0ライセンスで公開し、2026年に20の一般科学、生命科学、臨床医学雑誌、例えばNature、Science、Cellから出版し、現在4つのLCM(プロプライエタリな2つのオープンウェイト)にそれぞれ独立したピアレビューレポートを盲目プロトコルで作成するよう依頼した。
800点中605点(75.6%)は主要な修正や拒絶を推奨したが、どのモデルであっても17.5%から100%(p < 0.001)の範囲に留まり、建設段階では実際の編集レビューを継続していた。
同じ写本が故意に植えられた、フィールド固有の方法論または統計的欠陥で診断されたとき、検出率はモデル間で17.0%から60.5%に変化した(p < 0.001)。
編集レビュー(低特異性)をすでにパスした論文の改訂(低感度)において、これらのモデルは意図的にその前に置かれた欠陥(低感度)を補足し、不均一、フレーミング、モデル依存の信号として読み取るべき出力を生成する。
関連論文リスト
- Science or Slop?: Benchmarking and Mitigating Scientific Slop in AI-Generated Papers [59.059012465617634]
しかし、AIが生成する科学論文には、既存のトークンベースのAI検出器では容易に検出できない、より複雑なパターンがある。
これらの失敗を、構造、論証、アーティファクトの6つの尺度を通じて科学的にスロープしたものとして評価する。
本研究では,SciSlopHarnessを提案する。SciSlopHarnessは,実験記録が変更をサポートする場合にのみスロープを修正するための固定LDMをガイドするフレームワークである。
論文 参考訳（メタデータ） (2026-09-30T18:16:42Z) - NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。
既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。
本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文 参考訳（メタデータ） (2026-09-10T08:34:56Z) - More Than Mimicking Reviewers: Evaluating LLMs for Pre-Submission Peer Review [0.5156484100374058]
我々のシステムは、幅広い原子の懸念を発生させ、それらを短いレポートに圧縮する。
1万の ICLR 2026 の提出から、レビューに先立ってアクセス可能なバージョンを持つ3,398 の原稿を使用します。
トップ32の隠されたOracleは、256の候補プールの79.3%の重み付きカバレッジを保っているが、紙のみのセレクタは40～44%しか保持していない。
論文 参考訳（メタデータ） (2026-09-05T00:50:56Z) - ReviewGuard: Aligning LLM-Assisted Peer Review with Long-Term Scientific Impact [17.218230815053683]
ReviewGuardは、2段階のフレームワークで、LLMの生成したレビューと長期の科学的影響の引用に基づく見積もりを一致させる。
OpenReviewの20,861のAI/ML論文で、ReviewGuardは、Rho = 0.776のスピアマン相関と、辞退した論文の今後の引用を達成している。
この結果から,人的判断を置き換えることなく,高能率作業を特定するための補完的なシグナルを編集者に提供できることが示唆された。
論文 参考訳（メタデータ） (2026-05-29T02:05:10Z) - ResearchClawBench: A Benchmark for End-to-End Autonomous Scientific Research [142.29356526274387]
我々は自律的な科学的研究を評価するためのベンチマークであるResearchClawBenchを紹介する。
各タスクは、実際の論文に基づき、関連する文献や生データを提供し、評価中に対象の論文を隠蔽する。
論文 参考訳（メタデータ） (2026-05-28T16:27:40Z) - Correct Code, Vulnerable Dependencies: A Large Scale Measurement Study of LLM-Specified Library Versions [52.50730821321986]
大規模言語モデル(LLM)におけるバージョンレベルのリスクの大規模評価を初めて行った。
我々は1000のStack OverflowプログラミングタスクのベンチマークであるPinTrace上で10のLLMを評価した。
LLM バージョン選択は LLM ベース開発における第1級, 以前は見落とされたリスクサーフェスとして確認された。
論文 参考訳（メタデータ） (2026-05-07T13:52:59Z) - Knows: Agent-Native Structured Research Representations [5.037922001284019]
私たちは、構造化されたクレーム、証拠、証明、および既存の研究成果物との関係を束縛する軽量仕様であるKnowsを紹介します。
Knowsは、オリジナルのPDFと共存する薄いYAMLサイドカーとのギャップに対処し、パブリッシュ自体の変更を必要とせず、決定論的スキーマlinterで検証する。
本研究は, PDFのみ, サイドカーのみ, ハイブリット条件を比較検討し, 14の学術分野にまたがる20の論文を対象とした140の理解的質問に対する知識の評価を行った。
論文 参考訳（メタデータ） (2026-04-19T07:53:52Z) - Unveiling the Merits and Defects of LLMs in Automatic Review Generation for Scientific Papers [4.455306283717651]
科学論文の急増は、従来のピアレビュープロセスに緊張を増している。
本稿では,意味的類似性分析と構造化知識グラフメトリクスを統合した総合評価フレームワークを提案する。
ICLRとNeurIPSによる1,683の論文と6,495の専門家レビューのベンチマークを数年間にわたって構築し、5つの大きな言語モデルを用いてレビューを生成する。
論文 参考訳（メタデータ） (2025-09-13T19:15:22Z) - Are We There Yet? Revealing the Risks of Utilizing Large Language Models in Scholarly Peer Review [66.73247554182376]
大規模言語モデル(LLM)がピアレビューに統合された。
未確認のLLMの採用は、ピアレビューシステムの完全性に重大なリスクをもたらす。
5%のレビューを操作すれば、論文の12%が上位30%のランキングでその地位を失う可能性がある。
論文 参考訳（メタデータ） (2024-12-02T16:55:03Z) - Mapping the Increasing Use of LLMs in Scientific Papers [99.67983375899719]
2020年1月から2024年2月にかけて、arXiv、bioRxiv、Natureのポートフォリオジャーナルで950,965の論文をまとめて、体系的で大規模な分析を行った。
計算機科学の論文では, LLMの使用が着実に増加し, 最大, 最速の成長が観察された。
論文 参考訳（メタデータ） (2024-04-01T17:45:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。