論文の概要: Who Pays for Open Review? Visible Author Reputation and Its Effect on Ratings
- arxiv url: http://arxiv.org/abs/2609.11983v1
- Date: Mon, 07 Sep 2026 05:16:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 12:40:38.805139
- Title: Who Pays for Open Review? Visible Author Reputation and Its Effect on Ratings
- Title（参考訳）: オープンレビューに誰が払うのか? 著者の発言とレーティングへの影響
- Abstract要約: 両方のメカニズムの下で著者の評判が上昇し、オープンレビューの下では、統計的に重要な急激な上昇が見られました。
5つのAIモデルをレビュアーとして制御したシミュレーションで、原稿を固定し、著者の評判を変えることで、その効果を再現する。
- 参考スコア（独自算出の注目度）: 8.253952519498991
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: An OpenReview bug in November 2025 broke anonymity at several conferences and prompted calls for open review, which motivate us to ask what shifting from blind to open would mean for authors. Analyzing over 18,000 reviewed submissions to ICLR 2026, split into de facto open and blind groups by arXiv preprint timing, we find that ratings rise with author reputation under both mechanisms, with a steeper slope under open review that is statistically significant, and that the open-blind difference is concentrated at the borderline ratings. The pattern holds across five reputation proxies (including institution, h-index, and citation count), three author-aggregation rules, and five definitions of the open window. A controlled simulation with five AI models as reviewers, holding the manuscript fixed and varying the author reputation, reproduces the effect. With claude-opus-5 as the reviewer, for example, rating rises by 0.5 points as the author moves from low to high reputation.
- Abstract（参考訳）: 2025年11月のOpenReviewのバグは、いくつかのカンファレンスで匿名性を破り、オープンレビューを要求しました。
ICLR 2026への18,000件以上のレビューされた申請を分析し、arXivプレプリントのタイミングで事実上のオープングループとブラインドグループに分割された結果、両方のメカニズムの下で著者の評判が上昇し、統計的に重要なオープンレビューの勾配が急上昇し、オープン・ブラインド差が境界線評価に集中していることが判明した。
このパターンは5つの評価プロキシ(機関、h-インデックス、引用数を含む)、3つの著者集約ルール、オープンウィンドウの5つの定義を含んでいる。
5つのAIモデルをレビュアーとして制御したシミュレーションで、原稿を固定し、著者の評判を変えることで、その効果を再現する。
例えば、クロード・オプス5をレビュアーとして、著者が低い評価から高い評価へと移動するにつれて、レーティングは0.5ポイント上昇する。
関連論文リスト
- ActReview: Rebuttal-Guided Training Data and Rubric Rewards for Actionable Peer Review Generation [54.82704239643649]
本稿では, 紙固有の診断と具体的, 基礎的なリビジョン計画とを結びつける, 反感に満ちたポストトレーニングフレームワークである ActReview を紹介する。
我々の中心的な洞察は、著者の反論は、レビュアーの懸念に対処するための妥当な行動を明らかにし、それゆえ、リビジョン指向のフィードバックに対する潜在的な監督を提供することができるということである。
またActReview-Benchは、診断品質とリビジョンの有用性を評価するために、1,000インスタンスの人為的なベンチマークである。
論文 参考訳（メタデータ） (2026-09-08T17:30:16Z) - Gaming AI-Assisted Peer Reviews Poses New Risks to the Scientific Community [33.39468805524881]
AIによるピアレビューは、単純で低コストな操作に対して脆弱であることを示す。
これは、人書きとAI生成の両方の論文のために、規律と出版の場にまたがって見られます。
以上の結果から,AIツールを中性評価対象として扱うべきではないことが示唆された。
論文 参考訳（メタデータ） (2026-06-08T20:38:06Z) - Stop Automating Peer Review Without Rigorous Evaluation [51.53099943385505]
このポジションペーパーは、今日のAIシステムは、論文レビューの作成に使用すべきではない、と論じている。
1)AIレビュアーは、視点の多様性を低下させる論文内および新聞内における過剰な合意の隠れた効果を示す。
ピアレビューの危機に対処するには、ピアレビューの自動化の科学が必要です。
論文 参考訳（メタデータ） (2026-05-04T22:41:04Z) - Beyond Rating: A Comprehensive Evaluation and Benchmark for AI Reviews [69.66583722746904]
私たちは、AIレビュアーを5次元にわたって評価する総合的な評価フレームワークであるBeyond Ratingを紹介します。
本稿では,専門家の不一致に対応するためのMax-Recall戦略を提案する。
提案したテキスト中心の指標は、特に弱みの議論のリコールであり、評価精度と強く相関している。
論文 参考訳（メタデータ） (2026-04-21T14:21:15Z) - Automatic Reviewers Fail to Detect Faulty Reasoning in Research Papers: A New Counterfactual Evaluation Framework [55.078301794183496]
我々は、高品質なピアレビューを支えるコアレビュースキル、すなわち欠陥のある研究ロジックの検出に注力する。
これは、論文の結果、解釈、クレームの間の内部の一貫性を評価することを含む。
本稿では,このスキルを制御条件下で分離し,テストする,完全自動対物評価フレームワークを提案する。
論文 参考訳（メタデータ） (2025-08-29T08:48:00Z) - Can LLM feedback enhance review quality? A randomized study of 20K reviews at ICLR 2025 [115.86204862475864]
Review Feedback Agentは、あいまいなコメント、コンテンツの誤解、レビュアーへの専門的でない発言に対する自動的なフィードバックを提供する。
ICLR 2025で大規模なランダム化制御研究として実装された。
フィードバックを受けたレビュアーの27%がレビューを更新し、エージェントからの12,000以上のフィードバック提案がレビュアーによって取り入れられた。
論文 参考訳（メタデータ） (2025-04-13T22:01:25Z) - OpenReviewer: A Specialized Large Language Model for Generating Critical Scientific Paper Reviews [3.660182910533372]
OpenReviewerは、機械学習とAIカンファレンスの論文の高品質なピアレビューを生成するための、オープンソースのシステムである。
Llama-OpenReviewer-8Bは8Bパラメータ言語モデルで、トップカンファレンスから79,000人の専門家レビューに基づいて微調整されている。
論文 参考訳（メタデータ） (2024-12-16T16:31:00Z) - SEAGraph: Unveiling the Whole Story of Paper Review Comments [23.254167273244416]
従来のピアレビュープロセスでは、著者は曖昧または不十分な詳細なフィードバックを受け取ることが多い。
これにより、著者によるレビューコメントの理解を深める方法について、批判的な疑問が持ち上がる。
提案するSEAGraphは,レビューの意図を明らかにすることによって,レビューコメントを明確にするための新しいフレームワークである。
論文 参考訳（メタデータ） (2024-12-16T16:24:36Z) - When Reviewers Lock Horn: Finding Disagreement in Scientific Peer
Reviews [24.875901048855077]
本稿では,ある記事のレビュアー間での矛盾を自動的に識別する新しいタスクを紹介する。
我々の知識を最大限に活用するために、ピアレビュアー間での意見の不一致を自動的に識別する最初の試みを行う。
論文 参考訳（メタデータ） (2023-10-28T11:57:51Z) - How do Authors' Perceptions of their Papers Compare with Co-authors'
Perceptions and Peer-review Decisions? [87.00095008723181]
著者は論文の受理確率をおよそ3倍過大評価している。
女性作家は、男性作家よりも極端に高い(統計的に重要な)誤校正を示す。
受理された論文と受理された論文の回答者の少なくとも30%は、レビュープロセス後に自身の論文に対する認識が改善したと述べている。
論文 参考訳（メタデータ） (2022-11-22T15:59:30Z) - Does double-blind peer-review reduce bias? Evidence from a top computer
science conference [2.642698101441705]
我々は、国際学習表現会議に提出された5027論文のピアレビューファイルを分析し、二重盲検レビューが名声バイアスに与える影響を分析する。
ダブルブラインドレビューに切り替えた後に、最も名高い著者に与えられるスコアが大幅に減少したことが判明した。
二重盲検レビューは、他の(非著者-先験的)バイアスを制限することにより、選択の質を改善した可能性がある。
論文 参考訳（メタデータ） (2021-01-07T18:59:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。