論文の概要: Local AI pre-screening for human triple-blind peer review in health sciences
- arxiv url: http://arxiv.org/abs/2608.14625v1
- Date: Sat, 18 Jul 2026 00:06:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-23 14:54:39.917764
- Title: Local AI pre-screening for human triple-blind peer review in health sciences
- Title（参考訳）: 健康科学における人間の3重盲検診のための局所AI事前スクリーニング
- Abstract要約: ICLR 2026の分析によると、75,800人のピアレビューのうち、およそ21%がAIによって生成された。
本稿では,ピアレビューのためのマルチLLMプレスクリーニングフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Academic peer review is under mounting strain: NeurIPS 2025 received 21,575 submissions, ICLR 2025 received 11,603, and ICML 2025 received 12,107. This volume has outpaced the supply of qualified reviewers, and large language models (LLMs) are already filling the gap, largely undisclosed. An independent analysis of ICLR 2026 found roughly 21% of its 75,800 peer reviews were fully AI-generated, with over half showing some AI involvement (up from 15.8% in 2024). Documented risks include hallucinated citations in accepted papers and hidden prompt-injection instructions embedded in manuscripts to manipulate AI reviewers into favorable assessments. We propose a triple-blind, multi-LLM pre-screening framework for peer review, developed for a health sciences journal, that formalizes and discloses AI involvement while preserving human reviewers as the final decision-making authority. The framework routes a submission through five stages -- sanitization/anonymization, parallel AI pre-screening, an automated check gate, blinded human review, and editorial adjudication -- with return-to-author loops at the check and editor stages. Addressing the confidentiality concerns behind NIH/NSF bans on submitting unpublished proposals to third-party generative AI, all three AI reviewers run on locally-hosted, open-weight LLMs, keeping manuscript content within the journal infrastructure. The closest precedent, Shen et al., benchmarked five open-source LLMs on quartile classification of 200 manuscripts and found accuracy insufficient (35% exact-match) for autonomous use, supporting our decision to retain mandatory human adjudication. This transparent, human-supervised design offers a defensible alternative to today's opaque, unregulated AI use in peer review, potentially reducing the substantial delay of traditional review (avg. 13 weeks to first decision) without displacing human judgment.
- Abstract（参考訳）: NeurIPS 2025は21,575件、CLR 2025は11,603件、ICML 2025は12,107件だった。
このボリュームは、資格のあるレビュアーの供給を上回り、大きな言語モデル(LLM)がすでにギャップを埋めている。
ICLR 2026の独立した分析によると、75,800人のピアレビューの約21%が完全なAI生成であり、半数以上がAIの関与を示している(2024年の15.8%から)。
文書化されたリスクには、受理された論文の幻覚的な引用や、AIレビュアーを好意的な評価に操作するために原稿に埋め込まれた暗黙のインジェクション命令が含まれる。
我々は、人間レビュアーを最終的な意思決定権限として保持しつつ、AIの関与を形式化し、開示する健康科学誌のために開発された、ピアレビューのためのトリプル盲検マルチLLM事前スクリーニングフレームワークを提案する。
このフレームワークは、サニタイズ/匿名化、並列AI事前スクリーニング、自動チェックゲート、盲目な人間レビュー、編集判断という5つのステージを通じて提出される。
NIH/NSFの背後にある機密性に関する懸念に対して、3人のAIレビュアーは、ローカルにホストされたオープンウェイトなLLM上で実行し、原稿コンテンツをジャーナルインフラストラクチャ内に保持する。
最寄りの先例であるShen et al は、200の写本の四量体分類に関する5つのオープンソース LLM をベンチマークし、自律的な使用には精度が不十分である(35%の正確なマッチング)ことを発見した。
この透明で人間を監督するデザインは、ピアレビューにおける今日の不透明で規制されていないAIの使用に対する防御可能な代替手段を提供する。
関連論文リスト
- PaperDoctor: Evidence-Grounded and Actionable Feedback for Scientific Papers in Progress [130.58520199343707]
PaperDoctorは,3つの重要なイノベーションを備えた,サブミッション前のフィードバックのためのエージェントフレームワークである。
まず、全体論的階層的なフレームワークは、書き込み、レイアウト、参照、コード、理論、先行作業、実験を評価します。
第二に、各発見には、観察、文、方程式、コードラインなどの特定の証拠へのポインタ、修正提案が含まれる。
第3に、PaperDoctorはクレームの重要性と計算予算に基づいて実験を選択的に再構築し、再実行する。
論文 参考訳（メタデータ） (2026-09-15T11:08:11Z) - AI-Assisted Peer Review Across Research Communities: From Reviewer AI Policies to LLM Review Quality [39.33746637947531]
我々は、主要なAI/NLPカンファレンスと医療雑誌111社を対象に、レビュアーが直面するAIポリシーを調査した。
ICLR 2026とNature CommunicationsのAI生成ピアレビューを,新しいデータセットを用いて評価した。
論文 参考訳（メタデータ） (2026-08-04T12:34:47Z) - Gaming AI-Assisted Peer Reviews Poses New Risks to the Scientific Community [33.39468805524881]
AIによるピアレビューは、単純で低コストな操作に対して脆弱であることを示す。
これは、人書きとAI生成の両方の論文のために、規律と出版の場にまたがって見られます。
以上の結果から,AIツールを中性評価対象として扱うべきではないことが示唆された。
論文 参考訳（メタデータ） (2026-06-08T20:38:06Z) - Sem-Detect: Semantic Level Detection of AI Generated Peer-Reviews [11.21278193949403]
ピアレビューのための著者検出手法であるSem-Detectを提案する。
同じ論文の複数のAI生成レビューに対するターゲットレビューを比較する。
完全なAIレビューと、本物の人間によるレビューを区別することができる。
論文 参考訳（メタデータ） (2026-05-20T20:19:16Z) - On the limits and opportunities of AI reviewers: Reviewing the reviews of Nature-family papers with 45 expert scientists [113.03797263688519]
多くの科学者は、AIレビュアーを研究を評価する専門知識のない確率的システムと見なしている。
既存のAIレビュアーの評価では、評決が人間の評決に合致するかどうかに焦点が当てられている。
論文 参考訳（メタデータ） (2026-05-20T03:33:55Z) - When AI reviews science: Can we trust the referee? [73.47745294608072]
私たちは、トレーニングとデータ検索、デスクレビュー、深いレビュー、反論、システムレベルといった、レビューライフサイクル全体のアタックをマップします。
評価スコアに高名度フレーミング, 断定力, 反抗薬効, 文脈中毒の因果効果を分離するために, 2つの高度なLCMベースの審判を用いた。
論文 参考訳（メタデータ） (2026-04-26T08:03:32Z) - AI-Assisted Peer Review at Scale: The AAAI-26 AI Review Pilot [45.90272517740283]
本稿では,AI支援ピアレビューの大規模展開について報告する。
AAAI-26のすべてのメイントラックは、最先端のシステムから明確に特定されたAIレビューを受け取りました。
論文 参考訳（メタデータ） (2026-04-15T14:51:07Z) - ReviewerToo: Should AI Join The Program Committee? A Look At The Future of Peer Review [23.630458187587223]
ReviewerTooは、AI支援ピアレビューの研究とデプロイのためのフレームワークである。
専門的なレビュアー・ペルソナと構造化された評価基準による体系的な実験を支援する。
私たちは、複雑な評価判断をドメインの専門家に任せながら、AIが一貫性、カバレッジ、公平性を高める方法を示します。
論文 参考訳（メタデータ） (2025-10-09T23:53:19Z) - The ICML 2023 Ranking Experiment: Examining Author Self-Assessment in ML/AI Peer Review [49.43514488610211]
著者が提供するランキングは、機械学習カンファレンスでのピアレビュープロセスを改善するために利用することができる。
著者が提示したランキングを用いて生のレビュースコアを校正するイソトニックメカニズムに注目した。
本稿では,アイソトニック機構の慎重かつリスクの低いいくつかの応用と著者が提案する格付けをピアレビューで提案する。
論文 参考訳（メタデータ） (2024-08-24T01:51:23Z) - Monitoring AI-Modified Content at Scale: A Case Study on the Impact of ChatGPT on AI Conference Peer Reviews [51.453135368388686]
本稿では,大規模言語モデル (LLM) によって実質的に修正あるいは生成される可能性のある大規模コーパスにおけるテキストの分数推定手法を提案する。
我々の最大可能性モデルは、専門家による参照テキストとAIによる参照テキストを利用して、コーパスレベルでの実世界のLLM使用を正確かつ効率的に検証する。
論文 参考訳（メタデータ） (2024-03-11T21:51:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。