論文の概要: PeeriScope: A Multi-Faceted Framework for Evaluating Peer Review Quality
- arxiv url: http://arxiv.org/abs/2604.24071v1
- Date: Mon, 27 Apr 2026 05:56:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-28 17:12:07.758768
- Title: PeeriScope: A Multi-Faceted Framework for Evaluating Peer Review Quality
- Title（参考訳）: PeeriScope: ピアレビューの品質を評価するための多面的フレームワーク
- Abstract要約: 構造的特徴を統合したモジュール型プラットフォームであるPeeriScopeについて述べる。
このデモンストレーションは、レビュアーの自己評価、編集トリアージ、大規模監査に利用されており、科学的なピアレビューにおける品質評価手法の継続的な開発を可能にしている。
- 参考スコア（独自算出の注目度）: 12.173793674044383
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The increasing scale and variability of peer review in scholarly venues has created an urgent need for systematic, interpretable, and extensible tools to assess review quality. We present PeeriScope, a modular platform that integrates structured features, rubric-guided large language model assessments, and supervised prediction to evaluate peer review quality along multiple dimensions. Designed for openness and integration, PeeriScope provides both a public interface and a documented API, supporting practical deployment and research extensibility. The demonstration illustrates its use for reviewer self-assessment, editorial triage, and large-scale auditing, and it enables the continued development of quality evaluation methods within scientific peer review. PeeriScope is available both as a live demo at https://app.reviewer.ly/app/peeriscope and via API services at https://github.com/Reviewerly-Inc/Peeriscope.
- Abstract（参考訳）: 学術会場におけるピアレビューの規模と多様性の増大は、レビュー品質を評価するための体系的、解釈可能、拡張可能なツールに緊急の必要性を生み出している。
構造的特徴を統合したモジュール型プラットフォームであるPeeriScopeについて述べる。
PeeriScopeはオープン性と統合のために設計されており、公開インターフェースとドキュメントAPIの両方を提供し、実用的なデプロイメントと研究の拡張性をサポートしている。
このデモンストレーションは、レビュアーの自己評価、編集トリアージ、大規模監査に利用されており、科学的なピアレビューにおける品質評価手法の継続的な開発を可能にしている。
PeeriScopeはhttps://app.reviewer.ly/app/peeriscopeのライブデモとhttps://github.com/Reviewerly-Inc/PeeriscopeのAPIサービスを通じて利用できる。
関連論文リスト
- Peerispect: Claim Verification in Scientific Peer Reviews [12.340116689292726]
Peerispectは、ピアレビューでクレームレベルの検証を運用するインタラクティブシステムである。
結果は、論文のエビデンスを直接ハイライトするビジュアルインターフェースを通じて提示される。
論文 参考訳（メタデータ） (2026-04-19T23:40:26Z) - ReviewGrounder: Improving Review Substantiveness with Rubric-Guided, Tool-Integrated Agents [50.27474750319121]
公式ガイドライン、論文の内容、人間によるレビューから派生した、紙固有のルーリックに従ってテキストをレビューする。
本稿では、公式ガイドライン、論文の内容、人手によるレビューに基づいて、レビューテキストを評価するベンチマークであるREVIEWBENCHを紹介する。
本稿では,レビューを起草段階と接地段階に分解するルーリック誘導ツール統合マルチエージェントフレームワークであるREVIEWGROUNDERを提案する。
論文 参考訳（メタデータ） (2026-04-15T16:33:04Z) - Is Peer Review Really in Decline? Analyzing Review Quality across Venues and Time [55.756345497678204]
本稿では,エビデンスに基づくレビュー品質の比較研究のための新しいフレームワークを提案する。
ICLR、NeurIPS、*ACLといった主要なAIおよび機械学習のカンファレンスに適用します。
レビュー品質の測定値と時間経過に伴うその進化の関係について検討する。
論文 参考訳（メタデータ） (2026-01-21T16:48:29Z) - Identifying Aspects in Peer Reviews [59.02879434536289]
我々は、ピアレビューのコーパスからアスペクトを抽出するデータ駆動スキーマを開発した。
我々は、アスペクトを付加したピアレビューのデータセットを導入し、コミュニティレベルのレビュー分析にどのように使用できるかを示す。
論文 参考訳（メタデータ） (2025-04-09T14:14:42Z) - Peer Review as A Multi-Turn and Long-Context Dialogue with Role-Based Interactions [62.0123588983514]
大規模言語モデル(LLM)は様々な分野にまたがる幅広い応用を実証してきた。
我々は、ピアレビュープロセスを多ターン長文対話として再構築し、著者、レビュアー、意思決定者に対して異なる役割を担っている。
複数の情報源から収集された92,017件のレビューを含む26,841件の論文を含む包括的データセットを構築した。
論文 参考訳（メタデータ） (2024-06-09T08:24:17Z) - Investigating Fairness Disparities in Peer Review: A Language Model
Enhanced Approach [77.61131357420201]
我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。
我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。
我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
論文 参考訳（メタデータ） (2022-11-07T16:19:42Z) - Evaluate & Evaluation on the Hub: Better Best Practices for Data and
Model Measurements [167.73134600289603]
Assessmentは、データとモデルの計測、メトリクス、比較のためのベストプラクティスをサポートするライブラリである。
ハブの評価は、75,000モデルと11,000データセットの大規模評価を可能にするプラットフォームである。
論文 参考訳（メタデータ） (2022-09-30T18:35:39Z) - Ranking Scientific Papers Using Preference Learning [48.78161994501516]
我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。
ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-02T19:41:47Z) - Systematic Review of Approaches to Improve Peer Assessment at Scale [5.067828201066184]
本稿では, ピアアセスメント(PA)の3つの側面, オートグレーティングとピアアセスメントツール(ピアレビュー/オートグレーティングの実施方法のみに注目します), ローグレビューを扱う戦略, 自然言語処理によるピアレビューの改善について述べる。
論文 参考訳（メタデータ） (2020-01-27T15:59:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。