論文の概要: Rejoinder: The ICML 2023 Ranking Experiment: Examining Author Self-Assessment in ML/AI Peer Review
- arxiv url: http://arxiv.org/abs/2605.25172v1
- Date: Sun, 24 May 2026 17:06:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-26 19:50:18.938261
- Title: Rejoinder: The ICML 2023 Ranking Experiment: Examining Author Self-Assessment in ML/AI Peer Review
- Title（参考訳）: Rejoinder: ICML 2023ランキング実験: ML/AI Peerレビューにおける著者の自己評価
- Abstract要約: この記事は、The ICML 2023 Ranking Experiment: Examining Author Self-Assessment in ML/AI Peer Review'のリファインダーである。
i)ピアレビューを統計的推定問題として定式化すること、(ii)アイソトニックメカニズムの展開における公平性と戦略的懸念を緩和すること、(iii)レビュアーランキングや構造化メタデータなどの補完的な信号を組み込むこと、(iv)生成AIの時代におけるピアレビューのための人間中心の枠組みを検討すること、の4つのテーマについて回答をまとめる。
- 参考スコア（独自算出の注目度）: 49.43514488610211
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This article is the rejoinder to ``The ICML 2023 Ranking Experiment: Examining Author Self-Assessment in ML/AI Peer Review,'' to appear in the Journal of the American Statistical Association with discussion. To address the practical and theoretical points raised by the discussants, we organize our response around four core themes: (i) formulating peer review as a statistical estimation problem; (ii) mitigating equity and strategic concerns in the deployment of the Isotonic Mechanism; (iii) incorporating complementary signals such as reviewer rankings and structured metadata; and (iv) exploring a human-centered framework for peer review in the era of generative AI.
- Abstract（参考訳）: 本稿では,「The ICML 2023 Ranking Experiment: Examining Author Self-Assessment in ML/AI Peer Review」を論じ,米国統計学会ジャーナルに掲載された。
議論者が提起した実践的・理論的問題に対処するため、我々は4つのテーマについて回答をまとめる。
一 統計的推定問題としてピアレビューを定式化すること。
二 イソトニック機構の展開における株式及び戦略上の懸念を緩和すること。
三 審査官の格付け及び構造化メタデータ等の補完的信号を取り入れること。
(4) 生成AI時代におけるピアレビューのための人間中心のフレームワークの探索。
関連論文リスト
- AI-Assisted Peer Review Across Research Communities: From Reviewer AI Policies to LLM Review Quality [39.33746637947531]
我々は、主要なAI/NLPカンファレンスと医療雑誌111社を対象に、レビュアーが直面するAIポリシーを調査した。
ICLR 2026とNature CommunicationsのAI生成ピアレビューを,新しいデータセットを用いて評価した。
論文 参考訳（メタデータ） (2026-08-04T12:34:47Z) - Reproducible, Explainable, and Effective Evaluations of Agentic AI for Software Engineering [4.411658619208916]
エージェントAIを支える大きな言語モデル(LLM)は、しばしばブラックボックスとして機能し、エージェントAIアプローチのベースラインに対する優位性を正当化するのは難しい。
本研究は,ICSE 2026,ICSE 2025,FSE 2025,ISSTA 2025の18論文を分析した。
この分析は、現在の研究と潜在的将来の研究の両方において、一般的なアプローチと、SEのためのエージェントAIを評価する際の制限を識別する。
論文 参考訳（メタデータ） (2026-04-01T22:24:08Z) - The Story is Not the Science: Execution-Grounded Evaluation of Mechanistic Interpretability Research [56.80927148740585]
我々は、動的に進化し、研究評価者としてAIエージェントを開発することで、スケーラビリティと厳密さの課題に対処する。
我々は,機械的解釈可能性の研究をテストベッドとして使用し,標準化された研究成果を構築し,MechEvalAgentを開発した。
我々の研究は、AIエージェントが研究評価を変革し、厳格な科学的実践の道を開く可能性を実証している。
論文 参考訳（メタデータ） (2026-02-05T19:00:02Z) - Detecting AI-Generated Content in Academic Peer Reviews [9.46916526949695]
本研究では、過去のレビューに基づいて訓練された検出モデルを適用し、ピアレビューにおけるAI生成コンテンツの時間的出現について検討する。
我々は2022年以前のAI生成コンテンツの最小限の検出と、2025年までの大幅な増加を観察する。
論文 参考訳（メタデータ） (2026-01-30T21:15:08Z) - Beyond "Not Novel Enough": Enriching Scholarly Critique with LLM-Assisted Feedback [81.0031690510116]
本稿では,3段階を通して専門家レビューアの動作をモデル化する,自動ノベルティ評価のための構造化アプローチを提案する。
本手法は,人文のノベルティレビューを大規模に分析した結果から得られたものである。
182 ICLR 2025 の提出で評価されたこの手法は、人間の推論と86.5%の一致と、新規性の結論に関する75.3%の合意を達成している。
論文 参考訳（メタデータ） (2025-08-14T16:18:37Z) - The AI Imperative: Scaling High-Quality Peer Review in Machine Learning [49.87236114682497]
AIによるピアレビューは、緊急の研究とインフラの優先事項になるべきだ、と私たちは主張する。
我々は、事実検証の強化、レビュアーのパフォーマンスの指導、品質改善における著者の支援、意思決定におけるAC支援におけるAIの具体的な役割を提案する。
論文 参考訳（メタデータ） (2025-06-09T18:37:14Z) - ReviewEval: An Evaluation Framework for AI-Generated Reviews [9.35023998408983]
学術研究の増大は、資格のあるレビュアーの不足と相まって、ピアレビューに対する革新的なアプローチを必要としている。
本稿では,AIによるレビューを総合的に評価するフレームワークであるReviewEvalを提案する。
本稿では、AIに基づくピアレビューに不可欠な指標を確立し、学術研究におけるAI生成レビューの信頼性と影響を大幅に向上させる。
論文 参考訳（メタデータ） (2025-02-17T12:22:11Z) - The ICML 2023 Ranking Experiment: Examining Author Self-Assessment in ML/AI Peer Review [49.43514488610211]
著者が提供するランキングは、機械学習カンファレンスでのピアレビュープロセスを改善するために利用することができる。
著者が提示したランキングを用いて生のレビュースコアを校正するイソトニックメカニズムに注目した。
本稿では,アイソトニック機構の慎重かつリスクの低いいくつかの応用と著者が提案する格付けをピアレビューで提案する。
論文 参考訳（メタデータ） (2024-08-24T01:51:23Z) - A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [51.26815896167173]
本稿では,3つの相補的な側面からPAMIレビューを総合的に分析する。
我々の分析は、現在のレビューの実践において、独特の組織パターンと永続的なギャップを明らかにします。
最後に、最先端のAI生成レビューの評価は、コヒーレンスと組織の進歩を奨励していることを示している。
論文 参考訳（メタデータ） (2024-02-20T11:28:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。