論文の概要: Examining the Cognitive Gap Between Authors and Peer Reviewers on Academic Paper Novelty
- arxiv url: http://arxiv.org/abs/2606.13452v1
- Date: Thu, 11 Jun 2026 15:11:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-12 15:55:27.87384
- Title: Examining the Cognitive Gap Between Authors and Peer Reviewers on Academic Paper Novelty
- Title（参考訳）: 学術論文ノベルティにおける著者とピアレビュアーの認知ギャップの検討
- Authors: Chenggang Yang, Chengzhi Zhang,
- Abstract要約: 我々は2016年から2021年にかけてNature Communicationsに掲載された15,328の学術論文とピアレビューのコメントを分析した。
その結果、レビュアーと著者の両方が結果指向のイノベーションを強調しており、レビュアーはより包括的な評価視点を採用しています。
また,促進言語は,中等な革新性のある論文において,レビュアーが新規性について意見の相違に大きく関連していること,また,非常に高い論文や非常に低い論文に対しては無視できる影響があることも見出した。
- 参考スコア（独自算出の注目度）: 3.2586114800974957
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Novelty is a crucial metric for assessing the quality of academic papers. Scholars strive to highlight the novel aspects of their work, particularly in the title, abstract, and introduction. Peer review, serving as the gatekeeper of scientific rigor, rigorously evaluates the novelty of papers, yet a cognitive gap may exist between author self-promotion and reviewer evaluation. To investigate this, we analyzed 15,328 academic papers published in Nature Communications from 2016 to 2021, along with their peer-review comments. We found that both reviewers and authors emphasize result-oriented innovation, with reviewers adopting a more comprehensive evaluation perspective. Furthermore, by examining promotional intensity against inherent paper novelty, we found that its effect depends on the paper's actual innovation level. Highly innovative papers benefit from stronger promotional language, receiving more positive evaluations. We also found that promotional language significantly correlates with reviewer disagreement on novelty specifically for papers of moderate innovativeness, whereas it has negligible impact for papers with either very high or very low novelty. This reveals how promotional language operates most prominently in the gray area of academic evaluation.
- Abstract（参考訳）: ノベルティは学術論文の質を評価するための重要な指標である。
学者たちは彼らの作品の新規な側面、特にタイトル、抽象、導入について強調しようと努力している。
科学的厳密さの門番を務めるピア・レビューは、論文の新規性を厳格に評価するが、著者の自己宣伝とレビュアーの評価の間には認知的ギャップが存在する可能性がある。
そこで我々は,2016年から2021年にかけてNature Communicationsに掲載された15,328の学術論文と,そのピアレビューのコメントを分析した。
その結果、レビュアーと著者の両方が結果指向のイノベーションを強調しており、レビュアーはより包括的な評価視点を採用しています。
さらに,紙の新規性に対する促進強度を調べた結果,その効果は紙の実際のイノベーションレベルに依存していることがわかった。
高度に革新的な論文は、より強力なプロモーション言語から恩恵を受け、より肯定的な評価を受ける。
また,促進言語は,中等な革新性のある論文において,レビュアーが新規性について意見の相違に大きく関連していること,また,非常に高い論文や極めて低い論文に対しては無視できる影響があることも見出した。
このことは、学術的評価のグレー領域において、プロモーション言語がどのように最も顕著に機能するかを明らかにしている。
関連論文リスト
- NovBench: Evaluating Large Language Models on Academic Paper Novelty Assessment [17.02516373665209]
NovBenchは,大規模言語モデルの新規性評価を生成する能力を評価するために設計された,最初の大規模ベンチマークである。
NovBenchは、論文紹介から抽出したノベルティ記述や、それに対応する専門家によるノベルティ評価を含む、主要なNLPカンファレンスから1,684の論文レビューペアで構成されている。
LLMによる新規性評価の質を評価するための4次元評価フレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-13T14:35:17Z) - ScholarPeer: A Context-Aware Multi-Agent Framework for Automated Peer Review [48.60540055009675]
ScholarPeerは、上級研究者の認知過程をエミュレートするために設計された、検索可能なマルチエージェントフレームワークである。
We evaluate ScholarPeer on DeepReview-13K and the results showed that ScholarPeer achieve significant win-rates against state-of-the-art approach in side-side-side evaluations。
論文 参考訳（メタデータ） (2026-01-30T06:54:55Z) - NoveltyRank: Estimating Conceptual Novelty of AI Papers [8.218640708170119]
このプロジェクトの目的は、AI論文の概念的新奇性を推定し、ランク付けするモデルを開発することである。
本稿では,論文の題名,抽象的,意味的類似性から新奇性を評価する。
両タスクに対してQwen3-4B-Instruct-2507とSciBERTを微調整し、GPT-5.1に対してベンチマークを行い、タスクの定式化とモデリングの選択がパフォーマンスに与える影響を分析する。
論文 参考訳（メタデータ） (2025-12-12T03:33:32Z) - In-depth Research Impact Summarization through Fine-Grained Temporal Citation Analysis [52.42612945266194]
我々は、ニュアンス付き、表現型、時間対応のインパクトサマリーを生成する新しいタスクを提案する。
これらの要約は、微粒な引用意図の進化を通じて、賞賛(確認引用)と批評(補正引用)の両方を捉えていることを示す。
論文 参考訳（メタデータ） (2025-05-20T19:11:06Z) - Evaluating and Enhancing Large Language Models for Novelty Assessment in Scholarly Publications [12.183473842592567]
学術論文において,大規模言語モデルの新規性を評価する能力を評価するために,学術ノベルティベンチマーク(SchNovel)を導入する。
SchNovelは、arXivデータセットからサンプリングされた6つのフィールドにわたる15,000の論文からなる。
RAG-Noveltyは、類似論文の検索を利用して、人間レビュアーによるレビュープロセスをシミュレートし、新規性を評価する。
論文 参考訳（メタデータ） (2024-09-25T04:12:38Z) - From Words to Worth: Newborn Article Impact Prediction with LLM [69.41680520058418]
本稿では, LLMの能力を活用して, 新生記事の今後の影響を予測する, 有望なアプローチを提案する。
提案手法はLLMを用いて,高インパクトな論文の共有意味的特徴をタイトルと抽象的なペアの集合から識別する。
提案手法は, 0.216のMAEと0.901のNDCG@20を用いて, 提案手法が最先端性能を実現することを示す。
論文 参考訳（メタデータ） (2024-08-07T17:52:02Z) - A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [51.26815896167173]
本稿では,3つの相補的な側面からPAMIレビューを総合的に分析する。
我々の分析は、現在のレビューの実践において、独特の組織パターンと永続的なギャップを明らかにします。
最後に、最先端のAI生成レビューの評価は、コヒーレンスと組織の進歩を奨励していることを示している。
論文 参考訳（メタデータ） (2024-02-20T11:28:50Z) - A Content-Based Novelty Measure for Scholarly Publications: A Proof of
Concept [9.148691357200216]
学術出版物にノベルティの情報理論尺度を導入する。
この尺度は、学術談話の単語分布を表す言語モデルによって知覚される「サプライズ」の度合いを定量化する。
論文 参考訳（メタデータ） (2024-01-08T03:14:24Z) - Ranking Scientific Papers Using Preference Learning [48.78161994501516]
我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。
ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-02T19:41:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。