論文の概要: Peer review should constrain evaluative authority
- arxiv url: http://arxiv.org/abs/2610.28646v1
- Date: Fri, 02 Oct 2026 07:17:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-26 00:37:12.14963
- Title: Peer review should constrain evaluative authority
- Title（参考訳）: 審査員は評価権限を拘束すべきである
- Abstract要約: 我々の立場は、査読改革の対象を、評価者の改善や判断集約を通じて不確実性を減らすことから、持続的不確実性の下で評価権限を制限することへとシフトさせる。
大規模なコンピュータサイエンス会議において、このポジションは、不均一なレビュー品質とレビュアー・アサインメント依存に対する制度的な反応を提供する。
- 参考スコア（独自算出の注目度）: 12.159488136335307
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Our position shifts the target of peer-review reform from reducing uncertainty through evaluator improvement or judgment aggregation to constraining evaluative authority under persistent uncertainty. Scientific peer review aims to assure research quality but also allocates scarce academic opportunities, such as publication in high-impact venues. However, the review system is under growing pressure as submissions increase while reviewer capacity, expertise, scrutiny, and incentives cannot scale accordingly. As peer review operates under persistent evaluative uncertainty, evaluator improvement and judgment aggregation remain structurally limited. We therefore propose authority-constrained peer review: before a consequential judgment is released as decision-relevant, it should withstand structured scrutiny through critique-authority decoupling, independent secondary evaluation, contestability and reversibility, and accountability for unsupported influence. Our aim is to prevent weakly supported judgments from entering final deliberation with the same authority as judgments that have withstood structured scrutiny, while creating incentives for reviewers to justify consequential claims more carefully. For large-scale computer-science conferences, this position offers an institutional response to uneven review quality and reviewer-assignment dependence; more broadly, it provides a governance principle for any domain where uncertain expert judgments allocate scarce academic opportunities.
- Abstract（参考訳）: 我々の立場は、査読改革の対象を、評価者の改善や判断集約を通じて不確実性を減らすことから、持続的不確実性の下で評価権限を制限することへとシフトさせる。
科学的ピアレビューは、研究の質を保証することを目的としているが、ハイインパクトな会場での出版など、学術的な機会も不足している。
しかし、審査員の能力、専門知識、精査、インセンティブがそれに応じてスケールできないため、審査制度は圧力が増している。
ピアレビューは持続的な評価の不確実性の下で運用されるため、評価者の改善と判断の集約は構造的に制限される。
そこで我々は, コンシークエンシャルな判断が決定関連性として解放される前に, 批判的権限の分離, 独立した二次評価, 競争性と可逆性, および無関係な影響に対する説明責任を通じて, 構造化された精査に耐えるべきである,と提案する。
我々の目指すところは、弱く支持された判断が、構造化された精査を免れた判断と同一の権限で最終審理に入るのを防ぎつつ、査読者がより慎重に主張を正当化するためのインセンティブを作ることである。
大規模なコンピュータサイエンス会議において、このポジションは、不均一なレビュー品質とレビュアー・アサインメント依存に対する制度的な対応を提供し、より広くは、不確実な専門家の判断が学術的な機会をほとんど割り当てていない領域に対してガバナンス原則を提供する。
関連論文リスト
- VeriFine: Scaling Verification for Self-Improvement in Embodied Reasoning [80.69185348729495]
我々は,政策の共進化,訓練カリキュラム,審査を通じて検証をスケールする枠組みを導入する。
ポリシー改善ループは、繰り返し発生する障害を診断し、適応的なカリキュラムを構築し、ポリシーを最適化するためにルーリックな判断を使用する。
運転およびロボットナビゲーションタスクの実験は、ポリシーと判断能力の両方において継続的な自己改善を示す。
論文 参考訳（メタデータ） (2026-10-06T17:50:29Z) - ActReview: Rebuttal-Guided Training Data and Rubric Rewards for Actionable Peer Review Generation [54.82704239643649]
本稿では, 紙固有の診断と具体的, 基礎的なリビジョン計画とを結びつける, 反感に満ちたポストトレーニングフレームワークである ActReview を紹介する。
我々の中心的な洞察は、著者の反論は、レビュアーの懸念に対処するための妥当な行動を明らかにし、それゆえ、リビジョン指向のフィードバックに対する潜在的な監督を提供することができるということである。
またActReview-Benchは、診断品質とリビジョンの有用性を評価するために、1,000インスタンスの人為的なベンチマークである。
論文 参考訳（メタデータ） (2026-09-08T17:30:16Z) - Beyond Rating: A Comprehensive Evaluation and Benchmark for AI Reviews [69.66583722746904]
私たちは、AIレビュアーを5次元にわたって評価する総合的な評価フレームワークであるBeyond Ratingを紹介します。
本稿では,専門家の不一致に対応するためのMax-Recall戦略を提案する。
提案したテキスト中心の指標は、特に弱みの議論のリコールであり、評価精度と強く相関している。
論文 参考訳（メタデータ） (2026-04-21T14:21:15Z) - Beyond Detection: Governing GenAI in Academic Peer Review as a Sociotechnical Challenge [7.402573615005516]
生成型AIツールは、ますます学術的ピアレビューに入り、公正性、説明責任、評価的判断の正当性に関する疑問を提起している。
本稿では、14のエリアチェアとプログラムチェアを用いた448のソーシャルメディア投稿の談話分析について紹介する。
我々は、GenAIが限られた支援業務に受け入れられる可能性があると広く合意するが、その中核となる評価判断、新規性、貢献、受容は人間の責任のままである。
我々は、AI支援ピアレビューは、ブランケット禁止や検出のみではなく、人間に対する評価判断を明示的に保ちながら、強制的かつ役割特異的な制御を規定することによって、最善を尽くすと論じている。
論文 参考訳（メタデータ） (2026-03-02T19:23:04Z) - Conversation for Non-verifiable Learning: Self-Evolving LLMs through Meta-Evaluation [56.84819098277464]
CoNLは、マルチエージェントのセルフプレイを通じて生成、評価、メタ評価を統合するフレームワークである。
CoNLは、安定したトレーニングを維持しながら、自己回帰ベースラインよりも一貫した改善を実現している。
論文 参考訳（メタデータ） (2026-01-29T09:41:14Z) - AI and the Future of Academic Peer Review [0.1622854284766506]
大規模言語モデル(LLM)は、ジャーナリスト、資金提供者、個人レビュアーによってピアレビューパイプラインで試験されている。
初期の研究は、AIアシストが人間に匹敵する品質のレビューを作成できることを示唆している。
教師付きLDM支援は, 人間の判断を損なうことなく, エラー検出, タイムライン, レビューヤの作業量を改善することができることを示す。
論文 参考訳（メタデータ） (2025-09-17T17:27:12Z) - Automatic Reviewers Fail to Detect Faulty Reasoning in Research Papers: A New Counterfactual Evaluation Framework [55.078301794183496]
我々は、高品質なピアレビューを支えるコアレビュースキル、すなわち欠陥のある研究ロジックの検出に注力する。
これは、論文の結果、解釈、クレームの間の内部の一貫性を評価することを含む。
本稿では,このスキルを制御条件下で分離し,テストする,完全自動対物評価フレームワークを提案する。
論文 参考訳（メタデータ） (2025-08-29T08:48:00Z) - Position: The AI Conference Peer Review Crisis Demands Author Feedback and Reviewer Rewards [2.8239108914343305]
本稿では,従来の一方向レビューシステムを双方向フィードバックループに変換する必要性を論じる。
著者はレビューの品質を評価し、レビュアーは正式な認定を受け、説明責任フレームワークを作成する。
論文 参考訳（メタデータ） (2025-05-08T05:51:48Z) - Paper Quality Assessment based on Individual Wisdom Metrics from Open Peer Review [4.35783648216893]
従来のクローズドピアレビューシステムは遅く、コストがかかり、透明ではない。
我々は、オープンなボトムアッププロセスを通じて、科学的ピアレビューの代替形態の有効性と正確性を提案し、検証する。
論文 参考訳（メタデータ） (2025-01-22T17:00:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。