論文の概要: Metag: A dataset to build agentic meta-reviewing capabilities

• arxiv url: http://arxiv.org/abs/2608.20488v1
• Date: Thu, 20 Aug 2026 18:19:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-24 14:49:32.155206
• Title: Metag: A dataset to build agentic meta-reviewing capabilities
• Title（参考訳）: Metag: エージェントによるメタレビュー機能を構築するデータセット
• Authors: Anirudh Sundar, Min Chen, Divya Tadimeti, Gemma Zhang, Alice Li, Nigel Boachie Kumankumah, Pavan Uttej Ravva, Sadid Hasan, Somya Chatterjee, Pruthvi Prakash Navada, Xiao Wang, Yue Kang, Sulaiman Vesal, Larry Heck,
• Abstract要約: 本稿では,レビュー・リビューの過程における科学論文の変更を識別するためのデータセットであるMetagを紹介する。 得られたデータセットは、紙の違いに結びつく349の高品質なアクションアイテムで構成されている。
• 参考スコア（独自算出の注目度）: 10.965725822489519
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AI tools increasingly support tasks across the scientific research cycle, from experiment design and manuscript preparation to peer review. At the same time, the continuing growth in conference submissions has increased the burden on meta-reviewers, who must synthesize reviewer feedback, author rebuttals, and manuscript revisions. To address this concern, this paper introduces Metag, a dataset to accelerate the development of meta-reviewing agents, specifically to identify changes made to scientific articles during the review-rebuttal process. Each instance contains a reviewer concern, the author's proposed resolution, and the manuscript diffs implementing the stated change. Metag is collected by obtaining manuscript versions from before the review deadline and after acceptance, computing differences between the two documents, and asking human annotators to align these differences with action items from OpenReview discussions. The resulting dataset consists of 349 high-quality action items tied to paper differences and will enable building methods to empower meta reviewers to quickly identify whether authors have addressed reviewer statements and where in the paper those changes have been made, resulting in additional transparency and traceability throughout peer review. The dataset is publicly available at https://github.com/microsoft/Metag-dataset.
• Abstract（参考訳）: AIツールは、実験設計や原稿作成からピアレビューまで、科学研究サイクル全体にわたってタスクをサポートするようになっている。 同時に、会議提出書の継続的な増加は、レビュアーのフィードバック、著者の反論、原稿の改訂を総合しなければならないメタレビュアーの負担を増している。 本稿では,メタレビューエージェントの開発を促進するためのデータセットであるMetagを紹介する。 それぞれのインスタンスには、レビュアーの関心事、著者の提案した解決案、そして原稿は、記述された変更を実装することを異にする。 Metagは、レビュー期限前と受理後から原稿バージョンを取得し、2つのドキュメント間の差異を計算し、これらの違いをOpenReviewの議論からアクションアイテムと整合させるよう人間アノテータに求めることで収集される。 結果として得られたデータセットは、紙の違いに結びついた349の高品質なアクションアイテムで構成されており、メタレビュアに、著者がレビュアステートメントに対処したかどうか、そして論文の中でこれらの変更がどこで行われたのかを素早く識別する手段を提供することで、ピアレビューを通じて透明性とトレーサビリティが向上する。 データセットはhttps://github.com/microsoft/Metag-dataset.comで公開されている。

関連論文リスト

• What Drives Paper Acceptance? A Process-Centric Analysis of Modern Peer Review [2.9282248958475345]
  ICLR 2017-2025の大規模な実証研究を行い、28,000件以上の提出書を提出した。 以上の結果から,科学的新奇性以外の要因が受容結果を著しく形作っていることが示唆された。 著者,レビュアー,メタレビュアーに対して,ピアレビューにおける透明性と公正性を高めるためのデータ駆動ガイドラインを提案する。
  論文  参考訳（メタデータ） (2025-09-30T03:00:10Z)
• Decision-Making with Deliberation: Meta-reviewing as a Document-grounded Dialogue [61.0689885044492]
  メタリビューアを効果的に支援できるダイアログエージェントを実現する上での課題について検討する。 まず,対話エージェントの訓練におけるデータ不足の問題に対処する。 このデータを用いて、メタレビューに適した対話エージェントを訓練する。
  論文  参考訳（メタデータ） (2025-08-07T11:27:43Z)
• Identifying Aspects in Peer Reviews [59.02879434536289]
  我々は、ピアレビューのコーパスからアスペクトを抽出するデータ駆動スキーマを開発した。 我々は、アスペクトを付加したピアレビューのデータセットを導入し、コミュニティレベルのレビュー分析にどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2025-04-09T14:14:42Z)
• CASIMIR: A Corpus of Scientific Articles enhanced with Multiple Author-Integrated Revisions [7.503795054002406]
  本稿では,学術論文の執筆過程の改訂段階について,原文資料を提案する。 この新しいデータセットはCASIMIRと呼ばれ、OpenReviewの15,646の科学論文の改訂版とピアレビューを含んでいる。
  論文  参考訳（メタデータ） (2024-03-01T03:07:32Z)
• A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [51.26815896167173]
  本稿では,3つの相補的な側面からPAMIレビューを総合的に分析する。 我々の分析は、現在のレビューの実践において、独特の組織パターンと永続的なギャップを明らかにします。 最後に、最先端のAI生成レビューの評価は、コヒーレンスと組織の進歩を奨励していることを示している。
  論文  参考訳（メタデータ） (2024-02-20T11:28:50Z)
• Scientific Opinion Summarization: Paper Meta-review Generation Dataset, Methods, and Evaluation [55.00687185394986]
  本稿では,論文レビューをメタレビューに合成する,科学的意見要約の課題を提案する。 ORSUMデータセットは、47のカンファレンスから15,062のメタレビューと57,536の論文レビューをカバーしている。 実験の結果,(1)人間による要約は,議論の深みや特定の領域に対するコンセンサスや論争の特定など,必要な基準をすべて満たしていないこと,(2)タスクの分解と反復的自己調整の組み合わせは,意見の強化に強い可能性を示唆している。
  論文  参考訳（メタデータ） (2023-05-24T02:33:35Z)
• MOPRD: A multidisciplinary open peer review dataset [12.808751859133064]
  オープン・ピア・レビューは学術出版物で増加傾向にある。 既存のピアレビューデータセットのほとんどは、ピアレビュープロセス全体をカバーするデータを提供していません。 複数分野のオープンピアレビューデータセットMOPRDを構築した。
  論文  参考訳（メタデータ） (2022-12-09T16:35:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。