論文の概要: PaperScorer: How Predictable Is Paper Acceptance?

• arxiv url: http://arxiv.org/abs/2610.31791v1
• Date: Thu, 22 Oct 2026 18:30:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.262709
• Title: PaperScorer: How Predictable Is Paper Acceptance?
• Title（参考訳）: PaperScorer: 紙の受け入れはどの程度予測可能か?
• Abstract要約: 抽出したテキストやページのスクリーンショットから,論文の受け入れや拒否を予測できるモデル群であるPaperScorerを紹介する。 PaperScorerは、論文がどれだけの意思決定を独自に行うかを示し、AIによる研究評価への第一歩を示している。
• 参考スコア（独自算出の注目度）: 5.494647469547178
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automated research is largely evaluated by benchmark performance, but the value of research rarely reduces to a single score. Humans judge a work's holistic contribution through peer review, which is hard to model because it is noisy and depends on many factors. However, what if, given only the paper, we could predict its peer-review decision directly? We introduce PaperScorer, a family of models that predict a paper's accept or reject decision from its extracted text or page screenshots, training only on the decision after removing author identity and formatting shortcuts. Vision models are the most predictive (68% accuracy on ICLR papers and 77% on ML papers from arXiv), beating text-only and frontier reasoning models. Unlike plain text, page images retain figures, layout, and presentation. This signal is robust, surviving smaller models and even compressing the whole paper into a single image. But accurate predictions are not evenly spread. PaperScorer is strongest on the lowest and highest rated papers, while papers rated in the middle stay unpredictable for our models and frontier systems alike. Additionally, its confidence is calibrated, so its most confident predictions are also its most accurate. Overall, PaperScorer shows how much of the decision a paper carries on its own, marking a first step toward AI-driven research evaluation.
• Abstract（参考訳）: 自動研究は主にベンチマークのパフォーマンスによって評価されるが、研究の価値は単一のスコアに還元されることは滅多にない。 人間は作品の全体的貢献をピアレビューで判断するが、それはノイズが多く、多くの要因に依存しているため、モデル化が難しい。 しかし、論文だけを考えると、ピアレビューの決定を直接予測できるとしたらどうだろうか? そこで本研究では,論文のテキストやページのスクリーンショットから,論文の受理や拒否の判断を予測し,著者のアイデンティティを除去し,ショートカットをフォーマットした上でのみ判断に基づいて学習するモデルであるPaperScorerを紹介した。 ビジョンモデルは最も予測的(ICLR論文の68%、arXivのML論文の77%)で、テキストのみおよびフロンティア推論モデルを上回っている。 プレーンテキストとは異なり、ページイメージは図形、レイアウト、プレゼンテーションを保持する。 この信号は頑丈で、小さなモデルでも生き残り、紙全体を1枚の画像に圧縮する。 しかし、正確な予測は均等に広まっていない。 PaperScorerは最安値と最高値の論文で最強だが、中間値の論文はわれわれのモデルやフロンティアシステムでは予測できない。 さらに、その信頼性は校正されているため、最も確実な予測も最も正確である。 全体としてPaperScorerは、論文がどれだけの意思決定を独自に行うかを示し、AIによる研究評価への第一歩を示している。

関連論文リスト

• Science or Slop?: Benchmarking and Mitigating Scientific Slop in AI-Generated Papers [59.059012465617634]
  しかし、AIが生成する科学論文には、既存のトークンベースのAI検出器では容易に検出できない、より複雑なパターンがある。 これらの失敗を、構造、論証、アーティファクトの6つの尺度を通じて科学的にスロープしたものとして評価する。 本研究では,SciSlopHarnessを提案する。SciSlopHarnessは,実験記録が変更をサポートする場合にのみスロープを修正するための固定LDMをガイドするフレームワークである。
  論文  参考訳（メタデータ） (2026-09-30T18:16:42Z)
• Reconstruction: A Blind Benchmark for Recovering Research Ideas from Pre-Publication Bibliographies [5.8079638399400375]
  レコンストラクション(Reコンストラクション)は、種紙とすべての同時または将来の文献を無視するブラインド・アイデア・リカバリのベンチマークである。 我々は,独立系大規模言語モデル裁判官が持たない根本真理に一致するという仮説をモデルに提案する。
  論文  参考訳（メタデータ） (2026-08-17T14:44:30Z)
• Do Synthetic Personas Predict Real Audience Response? A Sim-to-Real Study Where a No-Persona Baseline Beats Persona-Based Copy Simulation [51.56484100374058]
  そこで我々は,Upworthy Research Archiveを用いて,シミュレート・トゥ・リアルな妥当性について検討する。 実際の聴衆の人口統計に基づく10人のパネルと、一般的な読者がクリックする確率をモデルに尋ねるゼロショットベースラインを比較した。
  論文  参考訳（メタデータ） (2026-07-27T17:03:03Z)
• Does Multi-Agent Debate Improve AI Feedback on Research Papers? [0.0]
  44のメタアナリシスの著者は、自身の論文で3つのAIレポートを、改善に有用性でランク付けした。 完成した論文に対する知覚的有用性を測定し,AIが論文を参照すべきかどうかを別途問う。
  論文  参考訳（メタデータ） (2026-07-16T08:24:27Z)
• Deep Transfer Learning Based Peer Review Aggregation and Meta-review Generation for Scientific Articles [2.0778556166772986]
  論文の受理決定とメタレビュー生成という2つのピアレビューアグリゲーション課題に対処する。 まず,従来の機械学習アルゴリズムを適用し,受理決定のプロセスを自動化することを提案する。 メタレビュー生成では,T5モデルに基づく移動学習モデルを提案する。
  論文  参考訳（メタデータ） (2024-10-05T15:40:37Z)
• CausalCite: A Causal Formulation of Paper Citations [80.82622421055734]
  CausalCiteは紙の意義を測定するための新しい方法だ。 これは、従来のマッチングフレームワークを高次元のテキスト埋め込みに適応させる、新しい因果推論手法であるTextMatchに基づいている。 科学専門家が報告した紙衝撃と高い相関性など,各種基準におけるCausalCiteの有効性を実証する。
  論文  参考訳（メタデータ） (2023-11-05T23:09:39Z)
• Estimating the Causal Effect of Early ArXiving on Paper Acceptance [56.538813945721685]
  我々は,論文の審査期間(初期arXiving)前にarXivingが会議の受理に与える影響を推定する。 以上の結果から,早期のarXivingは,論文の受容に少なからぬ影響を及ぼす可能性が示唆された。
  論文  参考訳（メタデータ） (2023-06-24T07:45:38Z)
• Incorporating Vision Bias into Click Models for Image-oriented Search Engine [51.192784793764176]
  本論文では,画像指向検索エンジンに視覚バイアスが存在することを,位置以外の検査確率に影響する重要な要因と仮定する。 候補文書から抽出した視覚特徴から視覚バイアスを予測するために回帰型emアルゴリズムを用いた。
  論文  参考訳（メタデータ） (2021-01-07T10:01:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。