論文の概要: Metag: A dataset to build agentic meta-reviewing capabilities
- arxiv url: http://arxiv.org/abs/2608.20488v2
- Date: Mon, 24 Aug 2026 21:53:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-26 14:09:33.825868
- Title: Metag: A dataset to build agentic meta-reviewing capabilities
- Title（参考訳）: Metag: エージェントによるメタレビュー機能を構築するデータセット
- Abstract要約: 本稿では,レビュー・リビューの過程における科学論文の変更を識別するためのデータセットであるMetagを紹介する。
得られたデータセットは、紙の違いに結びつく349の高品質なアクションアイテムで構成されている。
- 参考スコア（独自算出の注目度）: 9.89538433423377
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI tools increasingly support tasks across the scientific research cycle, from experiment design and manuscript preparation to peer review. At the same time, the continuing growth in conference submissions has increased the burden on meta-reviewers, who must synthesize reviewer feedback, author rebuttals, and manuscript revisions. To address this concern, this paper introduces Metag, a dataset to accelerate the development of meta-reviewing agents, specifically to identify changes made to scientific articles during the review-rebuttal process. Each instance contains a reviewer concern, the author's proposed resolution, and the manuscript diffs implementing the stated change. Metag is collected by obtaining manuscript versions from before the review deadline and after acceptance, computing differences between the two documents, and asking human annotators to align these differences with action items from OpenReview discussions. The resulting dataset consists of 349 high-quality action items tied to paper differences and will enable building methods to empower meta reviewers to quickly identify whether authors have addressed reviewer statements and where in the paper those changes have been made, resulting in additional transparency and traceability throughout peer review. The dataset is publicly available at https://github.com/microsoft/Metag-dataset.
- Abstract（参考訳）: AIツールは、実験設計や原稿作成からピアレビューまで、科学研究サイクル全体にわたってタスクをサポートするようになっている。
同時に、会議提出書の継続的な増加は、レビュアーのフィードバック、著者の反論、原稿の改訂を総合しなければならないメタレビュアーの負担を増している。
本稿では,メタレビューエージェントの開発を促進するためのデータセットであるMetagを紹介する。
それぞれのインスタンスには、レビュアーの関心事、著者の提案した解決案、そして原稿は、記述された変更を実装することを異にする。
Metagは、レビュー期限前と受理後から原稿バージョンを取得し、2つのドキュメント間の差異を計算し、これらの違いをOpenReviewの議論からアクションアイテムと整合させるよう人間アノテータに求めることで収集される。
結果として得られたデータセットは、紙の違いに結びついた349の高品質なアクションアイテムで構成されており、メタレビュアに、著者がレビュアステートメントに対処したかどうか、そして論文の中でこれらの変更がどこで行われたのかを素早く識別する手段を提供することで、ピアレビューを通じて透明性とトレーサビリティが向上する。
データセットはhttps://github.com/microsoft/Metag-dataset.comで公開されている。
関連論文リスト
- Can AI Be a Good Peer Reviewer? A Survey of Peer Review Process, Evaluation, and the Future [50.89292049215399]
大規模言語モデル(LLM)は、ピアレビュープロセスの異なる段階を支援または自動化する動機付けの手法である。
我々は、(i)ピアレビュー生成のためのテクニックを合成し、微調整戦略、エージェントベースシステム、RLベースの手法、そして生成を強化する新しいパラダイムを合成する。
データセットをカタログ化し、モデリングの選択を比較し、制限、倫理的懸念、今後の方向性について議論します。
論文 参考訳（メタデータ） (2026-04-30T14:28:21Z) - ReviewGrounder: Improving Review Substantiveness with Rubric-Guided, Tool-Integrated Agents [50.27474750319121]
公式ガイドライン、論文の内容、人間によるレビューから派生した、紙固有のルーリックに従ってテキストをレビューする。
本稿では、公式ガイドライン、論文の内容、人手によるレビューに基づいて、レビューテキストを評価するベンチマークであるREVIEWBENCHを紹介する。
本稿では,レビューを起草段階と接地段階に分解するルーリック誘導ツール統合マルチエージェントフレームワークであるREVIEWGROUNDERを提案する。
論文 参考訳（メタデータ） (2026-04-15T16:33:04Z) - FMMD: A multimodal open peer review dataset based on F1000Research [2.375184015411392]
FMMDはF1000Researchから収集されたマルチモーダルで多分野のオープンピアレビューデータセットである。
原稿レベルの視覚的および構造的なデータと、バージョン固有のレビュアーレポートと編集決定を統合することで、現在のギャップを埋める。
ピアレビュー研究の発展のための総合的な実証資料を提供する。
論文 参考訳（メタデータ） (2026-02-15T19:36:05Z) - DeepSynth-Eval: Objectively Evaluating Information Consolidation in Deep Survey Writing [53.85037373860246]
本稿では,情報統合能力を客観的に評価するためのベンチマークであるDeep Synth-Evalを紹介する。
一般チェックリスト(実例)と制約チェックリスト(構造体)を用いたきめ細かい評価プロトコルを提案する。
その結果,エージェント型プラン・アンド・ライトは単ターン生成よりも大幅に優れていた。
論文 参考訳（メタデータ） (2026-01-07T03:07:52Z) - What Drives Paper Acceptance? A Process-Centric Analysis of Modern Peer Review [2.9282248958475345]
ICLR 2017-2025の大規模な実証研究を行い、28,000件以上の提出書を提出した。
以上の結果から,科学的新奇性以外の要因が受容結果を著しく形作っていることが示唆された。
著者,レビュアー,メタレビュアーに対して,ピアレビューにおける透明性と公正性を高めるためのデータ駆動ガイドラインを提案する。
論文 参考訳（メタデータ） (2025-09-30T03:00:10Z) - Decision-Making with Deliberation: Meta-reviewing as a Document-grounded Dialogue [61.0689885044492]
メタリビューアを効果的に支援できるダイアログエージェントを実現する上での課題について検討する。
まず,対話エージェントの訓練におけるデータ不足の問題に対処する。
このデータを用いて、メタレビューに適した対話エージェントを訓練する。
論文 参考訳（メタデータ） (2025-08-07T11:27:43Z) - Identifying Aspects in Peer Reviews [59.02879434536289]
我々は、ピアレビューのコーパスからアスペクトを抽出するデータ駆動スキーマを開発した。
我々は、アスペクトを付加したピアレビューのデータセットを導入し、コミュニティレベルのレビュー分析にどのように使用できるかを示す。
論文 参考訳（メタデータ） (2025-04-09T14:14:42Z) - Deep Transfer Learning Based Peer Review Aggregation and Meta-review Generation for Scientific Articles [2.0778556166772986]
論文の受理決定とメタレビュー生成という2つのピアレビューアグリゲーション課題に対処する。
まず,従来の機械学習アルゴリズムを適用し,受理決定のプロセスを自動化することを提案する。
メタレビュー生成では,T5モデルに基づく移動学習モデルを提案する。
論文 参考訳（メタデータ） (2024-10-05T15:40:37Z) - CASIMIR: A Corpus of Scientific Articles enhanced with Multiple Author-Integrated Revisions [7.503795054002406]
本稿では,学術論文の執筆過程の改訂段階について,原文資料を提案する。
この新しいデータセットはCASIMIRと呼ばれ、OpenReviewの15,646の科学論文の改訂版とピアレビューを含んでいる。
論文 参考訳（メタデータ） (2024-03-01T03:07:32Z) - A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [51.26815896167173]
本稿では,3つの相補的な側面からPAMIレビューを総合的に分析する。
我々の分析は、現在のレビューの実践において、独特の組織パターンと永続的なギャップを明らかにします。
最後に、最先端のAI生成レビューの評価は、コヒーレンスと組織の進歩を奨励していることを示している。
論文 参考訳（メタデータ） (2024-02-20T11:28:50Z) - Scientific Opinion Summarization: Paper Meta-review Generation Dataset, Methods, and Evaluation [55.00687185394986]
本稿では,論文レビューをメタレビューに合成する,科学的意見要約の課題を提案する。
ORSUMデータセットは、47のカンファレンスから15,062のメタレビューと57,536の論文レビューをカバーしている。
実験の結果,(1)人間による要約は,議論の深みや特定の領域に対するコンセンサスや論争の特定など,必要な基準をすべて満たしていないこと,(2)タスクの分解と反復的自己調整の組み合わせは,意見の強化に強い可能性を示唆している。
論文 参考訳（メタデータ） (2023-05-24T02:33:35Z) - MOPRD: A multidisciplinary open peer review dataset [12.808751859133064]
オープン・ピア・レビューは学術出版物で増加傾向にある。
既存のピアレビューデータセットのほとんどは、ピアレビュープロセス全体をカバーするデータを提供していません。
複数分野のオープンピアレビューデータセットMOPRDを構築した。
論文 参考訳（メタデータ） (2022-12-09T16:35:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。