論文の概要: A Missing Piece for Trustworthy AI Reviewers: From Benchmarking Rhetorical Robustness to SciCore Review
- arxiv url: http://arxiv.org/abs/2609.39027v1
- Date: Wed, 30 Sep 2026 05:32:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.234271
- Title: A Missing Piece for Trustworthy AI Reviewers: From Benchmarking Rhetorical Robustness to SciCore Review
- Title（参考訳）: 信頼できるAIレビュアーの欠落:レトリックロバストネスのベンチマークからSciCoreレビューまで
- Abstract要約: 我々は、レトリックロバスト性(Rhetorical Robustness)を、コンテンツ保存された書き直しおよび論文間の識別における安定性の合同要件として定式化する。
1,260の原稿バージョンを備えたフルマニュアルベンチマークであるRobostReviewを導入し,30のレビュア構成を評価した。
SciCoreは,抽出された構造化科学コアに基づいて,全文の判定と判定を平均化する,二重ブランチレビュアーである。
- 参考スコア（独自算出の注目度）: 31.82508011704051
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: AI reviewers can assign different judgments to manuscripts that report the same science in different wording, potentially rewarding rhetorical optimization over scientific improvement. We formulate Rhetorical Robustness as the joint requirement of stability across content-preserving rewrites and discrimination across papers. We introduce RobustReview, a controlled full-manuscript benchmark with 1,260 manuscript versions, and evaluate 30 reviewer configurations. The benchmark reveals false robustness, where low rewrite sensitivity coincides with score collapse across papers, and shows that human alignment and rhetorical robustness rank reviewers differently. Moreover, the evaluated content-focused prompting protocol does not consistently improve robustness across backbones. Motivated by these findings, we introduce SciCore, a dual-branch reviewer that averages a full-manuscript judgment with a judgment based on an extracted, structured science core. This design combines manuscript-level assessment with a content-normalized view intended to reduce rhetorical sensitivity. In our primary GPT-5.5 comparison, SciCore achieves a leading joint stability-discrimination profile among the benchmarked reviewers while maintaining competitive human alignment. These results identify rhetorical robustness as a distinct evaluation target and demonstrate the potential of science-core review to improve it.
- Abstract（参考訳）: AIレビュアーは、異なる言葉で同じ科学を報告する原稿に異なる判断を割り当てることができ、科学的改善よりも修辞的な最適化に報いる可能性がある。
我々は、レトリックロバスト性(Rhetorical Robustness)を、コンテンツ保存された書き直しおよび論文間の識別における安定性の合同要件として定式化する。
1,260の原稿バージョンを備えたフルマニュアルベンチマークであるRobostReviewを導入し,30のレビュア構成を評価した。
このベンチマークは、低い書き直し感度が紙間のスコア崩壊と一致する偽の堅牢性を明らかにし、人間のアライメントと修辞的堅牢性ランキングが異なることを示している。
さらに、評価されたコンテンツ中心のプロンプトプロトコルは、バックボーン間の堅牢性を一貫して改善しない。
これらの知見に触発されたSciCoreは、抽出された構造化された科学コアに基づいて、全文の判定と判定を平均化するデュアルブランチレビュアーである。
この設計は、レトリックの感度を下げるために、原稿レベルの評価とコンテンツ正規化ビューを組み合わせる。
GPT-5.5の比較において、SciCoreは、競争力のある人間のアライメントを維持しながら、ベンチマークされたレビュアーの間で、主要な共同安定性判別プロファイルを達成している。
これらの結果から, 修辞的ロバスト性を評価対象として同定し, 科学中心レビューの可能性を実証した。
関連論文リスト
- Judging a Review by its Cover: A Reliability Analysis of LLM-based Peer Review Evaluation Metrics [13.687981034782517]
ピアレビュー評価指標が,表層言語以外の実体的レビュー品質をキャプチャするかどうかを検証するためのフレームワークを提案する。
我々は,文章やプレゼンテーションを変えながら,同じ評価内容を保持する忠実なLLMリライトと,オリジナルの人間レビューを比較した。
これらの結果から,多くのピアレビュー評価指標がレビュー品質と言語的プレゼンテーションを部分的に説明していることが明らかとなった。
論文 参考訳（メタデータ） (2026-09-20T00:49:57Z) - How Can Rhetoric Reward-Hack AI Reviewers? Dissecting Rhetorical Sensitivity in AI-Based Peer Review [34.868311584135775]
報告された科学的内容が保存されている場合、修辞的選択がAIレビューの判断をどのように形成するかを検討する。
我々は120の匿名ICLR 2026からの4,200のフルペーパー原稿の制御コーパスを構築した。
論文 参考訳（メタデータ） (2026-08-10T00:42:51Z) - Skill-Aligned Annotation for Reliable Evaluation in Text-to-Image Generation [50.85337196571056]
テキスト・ツー・イメージ(T2I)生成は急速に進歩し、モデル間の性能差が狭まるにつれて信頼性の高い評価が重要になった。
既存の評価慣行は、通常、Likert-scale や binary question answering (BQA) のような一様アノテーション機構を適用している。
我々は,T2I評価を,各評価スキルの根底にある特徴を反映したアノテーション戦略のレンズを通して再検討する。
論文 参考訳（メタデータ） (2026-05-13T09:14:31Z) - Quantifying the Statistical Effect of Rubric Modifications on Human-Autorater Agreement [50.34437999083224]
オートレーダは、評価と自動モデレーションコンテンツにますます使われています。
ヒトとオートレーダの両方に提示されるルーブリックの修正がスコアアグリーメントにどのように影響するかは、統計学的に限定されている。
論文 参考訳（メタデータ） (2026-05-07T13:55:11Z) - When AI reviews science: Can we trust the referee? [73.47745294608072]
私たちは、トレーニングとデータ検索、デスクレビュー、深いレビュー、反論、システムレベルといった、レビューライフサイクル全体のアタックをマップします。
評価スコアに高名度フレーミング, 断定力, 反抗薬効, 文脈中毒の因果効果を分離するために, 2つの高度なLCMベースの審判を用いた。
論文 参考訳（メタデータ） (2026-04-26T08:03:32Z) - Beyond Rating: A Comprehensive Evaluation and Benchmark for AI Reviews [69.66583722746904]
私たちは、AIレビュアーを5次元にわたって評価する総合的な評価フレームワークであるBeyond Ratingを紹介します。
本稿では,専門家の不一致に対応するためのMax-Recall戦略を提案する。
提案したテキスト中心の指標は、特に弱みの議論のリコールであり、評価精度と強く相関している。
論文 参考訳（メタデータ） (2026-04-21T14:21:15Z) - Automatic Reviewers Fail to Detect Faulty Reasoning in Research Papers: A New Counterfactual Evaluation Framework [55.078301794183496]
我々は、高品質なピアレビューを支えるコアレビュースキル、すなわち欠陥のある研究ロジックの検出に注力する。
これは、論文の結果、解釈、クレームの間の内部の一貫性を評価することを含む。
本稿では,このスキルを制御条件下で分離し,テストする,完全自動対物評価フレームワークを提案する。
論文 参考訳（メタデータ） (2025-08-29T08:48:00Z) - Paper Quality Assessment based on Individual Wisdom Metrics from Open Peer Review [4.35783648216893]
従来のクローズドピアレビューシステムは遅く、コストがかかり、透明ではない。
我々は、オープンなボトムアッププロセスを通じて、科学的ピアレビューの代替形態の有効性と正確性を提案し、検証する。
論文 参考訳（メタデータ） (2025-01-22T17:00:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。