論文の概要: FIRSTPASS: A Multi-Domain, Multi-Round Peer Review Dataset Grounded in Real Editorial Outcomes
- arxiv url: http://arxiv.org/abs/2608.26129v1
- Date: Tue, 23 Jun 2026 02:44:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.354599
- Title: FIRSTPASS: A Multi-Domain, Multi-Round Peer Review Dataset Grounded in Real Editorial Outcomes
- Title（参考訳）: FIRSTPASS: リアル編集結果に基づくマルチドメイン・マルチラウンドピアレビューデータセット
- Abstract要約: FIRSTPASSは、ハイインパクトジャーナルからの完全な複数ラウンドの編集対話に基づいて構築された、最初の大規模ピアレビューデータセットである。
5つの科学領域(生物学、化学、神経科学、物理学、地球科学)にまたがる3,668のレコードからなる。
自動監査は、100%のコンテンツ整合性を確認します。専門家レビューは、平均2,155語で、カンファレンス会場レビューよりもかなり密接です。
- 参考スコア（独自算出の注目度）: 0.27998963147546146
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Scientific peer review datasets have trained AI systems exclusively on Computer Science and Machine Learning venues, producing models that critique ablation studies yet have never seen a biology reviewer demand contamination controls or a chemist question Nuclear Magnetic Resonance (NMR) spectral assignments. We introduce FIRSTPASS, the first large-scale peer review dataset built on complete multi-round editorial dialogues from a multidisciplinary high-impact journal. Curated from Nature Communications mandatory transparent peer review (instituted November 2022), FIRSTPASS comprises 3,668 records spanning five scientific domains (biology, chemistry, neuroscience, physics, and earth science), capturing the full iterative structure of scientific validation: initial referee reports, author point-by-point responses, and updated reviewer assessments. Each record carries an outcome label derived directly from editorial decisions (STANDARD for two-round review; EXTENDED for three or more rounds), providing ground truth absent in all prior corpora. An automated audit confirms 100% content integrity. Expert reviews average 2,155 words, substantially denser than conference venue reviews. All data, parsing pipelines, and evaluation scripts are released to enable reproducible benchmarking of AI scientific judgment across disciplines.
- Abstract（参考訳）: 科学的なピアレビューデータセットは、コンピュータサイエンスと機械学習の会場にのみAIシステムを訓練し、生物学のレビュアーが汚染制御を要求したり、化学者が核磁気共鳴(NMR)スペクトルを割り当てたのを見たことのない、アブレーション研究を批判するモデルを作成した。
FIRSTPASSは,複数の学際的なハイインパクトジャーナルからの完全な多面的編集対話に基づいて構築された,最初の大規模ピアレビューデータセットである。
ネイチャー・コミュニケーションズ(Nature Communications)の強制的透明なピアレビュー(2022年11月設置)から算出されたFIRSTPASSは、5つの科学領域(生物学、化学、神経科学、物理学、地球科学)にまたがる3,668のレコードで構成され、科学的検証の完全な反復構造を捉えている。
それぞれのレコードには、編集上の決定(STANDARDは2ラウンドのレビュー、EXTENDEDは3ラウンド以上のレビュー)から直接得られる結果ラベルがあり、すべての以前のコーパスに根底にある真実が欠落している。
自動監査は、100%コンテンツの完全性を確認する。
専門家のレビューの平均は2,155語であり、カンファレンス会場のレビューよりもかなり密集している。
すべてのデータ、解析パイプライン、評価スクリプトがリリースされ、AI科学的判断の再現可能なベンチマークを可能にする。
関連論文リスト
- When AI Reviews Train AI Reviewers: Scientific-Judgment Collapse and Mitigation [50.90087870200793]
大規模言語モデル(LLM)は、科学的な評価にますます参加している。
このフィードバックループの1ステップを制御された環境で研究する。
TrustReviewerは、AIと機械学習論文のピアレビューを生成するための、オープンソースのシステムである。
論文 参考訳（メタデータ） (2026-09-17T18:01:08Z) - PaperDoctor: Evidence-Grounded and Actionable Feedback for Scientific Papers in Progress [130.58520199343707]
PaperDoctorは,3つの重要なイノベーションを備えた,サブミッション前のフィードバックのためのエージェントフレームワークである。
まず、全体論的階層的なフレームワークは、書き込み、レイアウト、参照、コード、理論、先行作業、実験を評価します。
第二に、各発見には、観察、文、方程式、コードラインなどの特定の証拠へのポインタ、修正提案が含まれる。
第3に、PaperDoctorはクレームの重要性と計算予算に基づいて実験を選択的に再構築し、再実行する。
論文 参考訳（メタデータ） (2026-09-15T11:08:11Z) - FirstPass: Grounding AI Scientific Judgment in Multi-Round Editorial Outcomes [0.27998963147546146]
我々は、ピアレビューのためにAIの3つの側面すべてに対処するデータセットの微調整モデルであるFirstPassを紹介した。
我々は、強制的透明なピアレビュー(2022年11月設置)を活用し、自動監査により100%のコンテンツ完全性を検証する。
FirstPassは生成時に平均1,187ワードのレビューを生成し、ベースラインよりも人間の参照(2,155ワード)に近い。
論文 参考訳（メタデータ） (2026-06-18T15:06:36Z) - When AI reviews science: Can we trust the referee? [73.47745294608072]
私たちは、トレーニングとデータ検索、デスクレビュー、深いレビュー、反論、システムレベルといった、レビューライフサイクル全体のアタックをマップします。
評価スコアに高名度フレーミング, 断定力, 反抗薬効, 文脈中毒の因果効果を分離するために, 2つの高度なLCMベースの審判を用いた。
論文 参考訳（メタデータ） (2026-04-26T08:03:32Z) - FMMD: A multimodal open peer review dataset based on F1000Research [2.375184015411392]
FMMDはF1000Researchから収集されたマルチモーダルで多分野のオープンピアレビューデータセットである。
原稿レベルの視覚的および構造的なデータと、バージョン固有のレビュアーレポートと編集決定を統合することで、現在のギャップを埋める。
ピアレビュー研究の発展のための総合的な実証資料を提供する。
論文 参考訳（メタデータ） (2026-02-15T19:36:05Z) - ReviewGuard: Enhancing Deficient Peer Review Detection via LLM-Driven Data Augmentation [3.9199635838637072]
ReviewGuardは、欠陥レビューを検出して分類する自動化システムである。
最終コーパスは6,634枚、実際のレビュー24,657枚、合成レビュー46,438枚である。
不十分なレビューでは、評価スコアの低下、自己報告の信頼性の向上、構造的な複雑さの低減、ネガティブな感情の比率の向上が示されています。
論文 参考訳（メタデータ） (2025-10-18T15:45:26Z) - Automatic Reviewers Fail to Detect Faulty Reasoning in Research Papers: A New Counterfactual Evaluation Framework [55.078301794183496]
我々は、高品質なピアレビューを支えるコアレビュースキル、すなわち欠陥のある研究ロジックの検出に注力する。
これは、論文の結果、解釈、クレームの間の内部の一貫性を評価することを含む。
本稿では,このスキルを制御条件下で分離し,テストする,完全自動対物評価フレームワークを提案する。
論文 参考訳（メタデータ） (2025-08-29T08:48:00Z) - Re$^2$: A Consistency-ensured Dataset for Full-stage Peer Review and Multi-turn Rebuttal Discussions [2.5226834810382113]
一貫性に保証された最大のピアレビューと、Re2というリビューデータセットを紹介します。
このデータセットは、最初の投稿19,926件、レビューコメント70,668件、OpenReviewに関する24のカンファレンスと21のワークショップからの53,818件からなる。
論文 参考訳（メタデータ） (2025-05-12T16:02:52Z) - The ICML 2023 Ranking Experiment: Examining Author Self-Assessment in ML/AI Peer Review [49.43514488610211]
著者が提供するランキングは、機械学習カンファレンスでのピアレビュープロセスを改善するために利用することができる。
著者が提示したランキングを用いて生のレビュースコアを校正するイソトニックメカニズムに注目した。
本稿では,アイソトニック機構の慎重かつリスクの低いいくつかの応用と著者が提案する格付けをピアレビューで提案する。
論文 参考訳（メタデータ） (2024-08-24T01:51:23Z) - Can We Automate Scientific Reviewing? [89.50052670307434]
我々は、最先端自然言語処理(NLP)モデルを用いて、科学論文の第一パスピアレビューを生成する可能性について論じる。
我々は、機械学習領域で論文のデータセットを収集し、各レビューでカバーされているさまざまなコンテンツに注釈を付け、レビューを生成するために論文を取り込み、ターゲットの要約モデルを訓練する。
総合的な実験結果から、システム生成レビューは、人間によるレビューよりも、論文の多くの側面に触れる傾向にあることが示された。
論文 参考訳（メタデータ） (2021-01-30T07:16:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。