論文の概要: How to Find Fantastic Papers: Self-Rankings as a Powerful Predictor of Scientific Impact Beyond Peer Review

• arxiv url: http://arxiv.org/abs/2510.02143v1
• Date: Thu, 02 Oct 2025 15:50:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:21.193836
• Title: How to Find Fantastic Papers: Self-Rankings as a Powerful Predictor of Scientific Impact Beyond Peer Review
• Title（参考訳）: 幻想的な論文の発見方法:ピアレビューを超えた科学的インパクトの強力な予測者としてのセルフランキング
• Authors: Buxin Su, Natalie Collina, Garrett Wen, Didong Li, Kyunghyun Cho, Jianqing Fan, Bingxin Zhao, Weijie Su,
• Abstract要約: 我々は、高インパクトな研究を特定するための未調査の尺度を調査する。著者自身の、同じAIカンファレンスへの複数の応募のランキング。 我々は、先進的なAIカンファレンスで大規模な実験を行い、1,342人の研究者が、2,592件の投稿を認識された品質で自己ランク付けした。 その結果,論文が著者によって上位にランクされた論文は,最もランクの低い論文の2倍の引用を受け取っていることがわかった。
• 参考スコア（独自算出の注目度）: 41.30621399289495
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Peer review in academic research aims not only to ensure factual correctness but also to identify work of high scientific potential that can shape future research directions. This task is especially critical in fast-moving fields such as artificial intelligence (AI), yet it has become increasingly difficult given the rapid growth of submissions. In this paper, we investigate an underexplored measure for identifying high-impact research: authors' own rankings of their multiple submissions to the same AI conference. Grounded in game-theoretic reasoning, we hypothesize that self-rankings are informative because authors possess unique understanding of their work's conceptual depth and long-term promise. To test this hypothesis, we conducted a large-scale experiment at a leading AI conference, where 1,342 researchers self-ranked their 2,592 submissions by perceived quality. Tracking outcomes over more than a year, we found that papers ranked highest by their authors received twice as many citations as their lowest-ranked counterparts; self-rankings were especially effective at identifying highly cited papers (those with over 150 citations). Moreover, we showed that self-rankings outperformed peer review scores in predicting future citation counts. Our results remained robust after accounting for confounders such as preprint posting time and self-citations. Together, these findings demonstrate that authors' self-rankings provide a reliable and valuable complement to peer review for identifying and elevating high-impact research in AI.
• Abstract（参考訳）: 学術研究におけるピアレビューは、事実の正しさを確実にするだけでなく、将来の研究の方向性を形作ることのできる高い科学的ポテンシャルの研究を特定することを目的としている。 この課題は人工知能(AI)のような動きの速い分野において特に重要であるが、提出の急速な増加に伴い、ますます困難になっている。 本稿では,ハイインパクトな研究を特定するための未調査の尺度について検討する。 ゲーム理論的推論に基づいて、著者は作品の概念的深さと長期的約束について独自の理解を持っているため、自己評価が有益であるという仮説を立てる。 この仮説をテストするために、私たちは先進的なAIカンファレンスで大規模な実験を行い、1,342人の研究者が認識された品質によって2,592件の投稿を自己ランク付けしました。 1年以上の結果を追跡した結果、著者によって上位の論文は最低の論文の2倍の引用を受けており、自己評価は特に引用度の高い論文(150以上の引用)の識別に有効であることが判明した。 さらに,自己評価は,今後の引用回数を予測する上で,ピアレビュースコアよりも優れていた。 私たちの結果は、プレプリントの投稿時間や自己引用など、共同ファウンダーを考慮に入れた後も、引き続き堅牢でした。 これらの結果は、著者の自己評価が、AIにおけるハイインパクトな研究を特定し、高めるために、ピアレビューの信頼性と価値を提供することを示している。

関連論文リスト

• The ICML 2023 Ranking Experiment: Examining Author Self-Assessment in ML/AI Peer Review [49.43514488610211]
  著者が提供するランキングは、機械学習カンファレンスでのピアレビュープロセスを改善するために利用することができる。 著者が提示したランキングを用いて生のレビュースコアを校正するイソトニックメカニズムに注目した。 本稿では,アイソトニック機構の慎重かつリスクの低いいくつかの応用と著者が提案する格付けをピアレビューで提案する。
  論文  参考訳（メタデータ） (2024-08-24T01:51:23Z)
• ResearchAgent: Iterative Research Idea Generation over Scientific Literature with Large Language Models [56.08917291606421]
  ResearchAgentは、新しい作品のアイデアと運用のためのAIベースのシステムである。 ResearchAgentは、新しい問題を自動で定義し、手法と設計実験を提案し、繰り返し修正する。 我々は、複数の分野にわたる科学論文に関するResearchAgentを実験的に検証した。
  論文  参考訳（メタデータ） (2024-04-11T13:36:29Z)
• Position: AI/ML Influencers Have a Place in the Academic Process [82.2069685579588]
  機械学習研究の可視性向上におけるソーシャルメディアインフルエンサーの役割について検討する。 2018年12月から2023年10月までの間に、8000以上の論文の包括的なデータセットを収集しました。 我々の統計的および因果推論分析は、これらのインフルエンサーが支持する論文の引用が著しく増加することを示している。
  論文  参考訳（メタデータ） (2024-01-24T20:05:49Z)
• Fusion of the Power from Citations: Enhance your Influence by Integrating Information from References [3.607567777043649]
  本研究は,ある論文が学者の影響力を高めることができるか否かを判断するために,予測問題を定式化することを目的とする。 この研究にこの枠組みを適用することで、研究者は自分の論文が将来の影響力を高めることができるかどうかを特定できる。
  論文  参考訳（メタデータ） (2023-10-27T19:51:44Z)
• How do Authors' Perceptions of their Papers Compare with Co-authors' Perceptions and Peer-review Decisions? [87.00095008723181]
  著者は論文の受理確率をおよそ3倍過大評価している。 女性作家は、男性作家よりも極端に高い(統計的に重要な)誤校正を示す。 受理された論文と受理された論文の回答者の少なくとも30%は、レビュープロセス後に自身の論文に対する認識が改善したと述べている。
  論文  参考訳（メタデータ） (2022-11-22T15:59:30Z)
• Cracking Double-Blind Review: Authorship Attribution with Deep Learning [43.483063713471935]
  本稿では、匿名の原稿を著者に属性付けるトランスフォーマーベースのニューラルネットワークアーキテクチャを提案する。 我々は、arXivで公開されているすべての研究論文を200万冊以上の原稿に活用する。 本手法は, 論文の最大73%を正解する, 前代未聞の著者帰属精度を実現する。
  論文  参考訳（メタデータ） (2022-11-14T15:50:24Z)
• A Measure of Research Taste [91.3755431537592]
  生産性と味の両方に報いる引用に基づく尺度を提案する。 提示された尺度capは、出版物とその量の影響のバランスをとる。 本研究では, 生物学, 計算機科学, 経済学, 物理分野の研究者を対象に, capの特性を解析した。
  論文  参考訳（メタデータ） (2021-05-17T18:01:47Z)
• Early Indicators of Scientific Impact: Predicting Citations with Altmetrics [0.0]
  altmetricsを使って、学術的な出版物が得る短期的および長期的な引用を予測する。 我々は,様々な分類モデルと回帰モデルを構築し,それらの性能を評価し,それらのタスクに最適なニューラルネットワークとアンサンブルモデルを見つける。
  論文  参考訳（メタデータ） (2020-12-25T16:25:07Z)
• Characterising authors on the extent of their paper acceptance: A case study of the Journal of High Energy Physics [4.402336973466853]
  論文がほぼ常に会場で受理される著者のプロフィールと査読テキストについて検討する。 高い受け入れ率を持つ著者は、高い引用数、高い$h$-index、高い協力者数などを持つ可能性が高い。
  論文  参考訳（メタデータ） (2020-06-12T03:26:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。