論文の概要: SciImpact: A Multi-Dimensional, Multi-Field Benchmark for Scientific Impact Prediction

• arxiv url: http://arxiv.org/abs/2604.17141v2
• Date: Tue, 21 Apr 2026 07:55:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-22 14:04:47.914685
• Title: SciImpact: A Multi-Dimensional, Multi-Field Benchmark for Scientific Impact Prediction
• Title（参考訳）: SciImpact: 科学的影響予測のための多次元マルチフィールドベンチマーク
• Authors: Hangxiao Zhu, Yuyu Zhang, Ping Nie, Yu Zhang,
• Abstract要約: SciImpactは19分野にわたる科学的影響予測のための大規模多次元ベンチマークである。 215,928枚のコントラスト紙で構成され、短期と長期の両方で有意義な影響差を反映している。 我々は、SciImpact上で広く使われている11の大規模言語モデル(LLM)を評価した。
• 参考スコア（独自算出の注目度）: 10.526822187607658
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid growth of scientific literature calls for automated methods to assess and predict research impact. Prior work has largely focused on citation-based metrics, leaving limited evaluation of models' capability to reason about other impact dimensions. To this end, we introduce SciImpact, a large-scale, multi-dimensional benchmark for scientific impact prediction spanning 19 fields. SciImpact captures various forms of scientific influence, ranging from citation counts to award recognition, media attention, patent reference, and artifact adoption, by integrating heterogeneous data sources and targeted web crawling. It comprises 215,928 contrastive paper pairs reflecting meaningful impact differences in both short-term (e.g., Best Paper Award) and long-term settings (e.g., Nobel Prize). We evaluate 11 widely used large language models (LLMs) on SciImpact. Results show that off-the-shelf models exhibit substantial variability across dimensions and fields, while multi-task supervised fine-tuning consistently enables smaller LLMs (e.g., 4B) to markedly outperform much larger models (e.g., 30B) and surpass powerful closed-source LLMs (e.g., o4-mini). These results establish SciImpact as a challenging benchmark and demonstrate its value for multi-dimensional, multi-field scientific impact prediction. Our project homepage is https://flypig23.github.io/sciimpact-homepage/
• Abstract（参考訳）: 科学文献の急速な成長は、研究影響を評価し予測するための自動的な方法を要求する。 先行研究は引用に基づくメトリクスに主に焦点を合わせており、他の影響次元を推論するためにモデルの能力について限られた評価を残している。 この目的のために、19分野にわたる科学的影響予測のための大規模多次元ベンチマークであるSciImpactを紹介した。 SciImpactは、引用数からメディアの注目、特許参照、アーティファクトの採用に至るまで、異種データソースとターゲットWebクローリングを統合することで、様々な科学的影響を捉えている。 215,928枚のコントラスト紙で、短期(例えば、ベストペーパー賞)と長期(例えば、ノーベル賞)の両方に有意義な影響差を反映している。 我々は、SciImpact上で広く使われている11の大規模言語モデル(LLM)を評価した。 一方,マルチタスク制御による微調整により,より小さなLCM(e g , 4B)がより大きなモデル(e g , 30B)を著しく上回り,強力なクローズドソースLCM(e g , o4-mini)を上回った。 これらの結果は、SciImpactを挑戦的なベンチマークとして確立し、多次元の多分野科学的影響予測にその価値を実証する。 私たちのプロジェクトのホームページはhttps://flypig23.github.io/sciimpact-homepage/です。

関連論文リスト

• Does Tone Change the Answer? Evaluating Prompt Politeness Effects on Modern LLMs: GPT, Gemini, LLaMA [0.6263481844384227]
  本研究は,インタラクショントーンがモデル精度に与える影響を検討するためのシステム評価フレームワークを提案する。 GPT-4o mini (OpenAI)、Gemini 2.0 Flash (Google DeepMind)、Llama 4 Scout (Meta) の3つのメジャー言語モデルにこのフレームワークを適用した。 以上の結果から,トーン感受性はモデル依存的かつドメイン依存的であることが示唆された。中性または超親和性は概してVery Rudeのプロンプトよりも高い精度が得られるが,統計的に有意な影響はヒューマニティタスクのサブセットにのみ現れる。
  論文  参考訳（メタデータ） (2025-12-14T19:25:20Z)
• From Words to Worth: Newborn Article Impact Prediction with LLM [69.41680520058418]
  本稿では, LLMの能力を活用して, 新生記事の今後の影響を予測する, 有望なアプローチを提案する。 提案手法はLLMを用いて,高インパクトな論文の共有意味的特徴をタイトルと抽象的なペアの集合から識別する。 提案手法は, 0.216のMAEと0.901のNDCG@20を用いて, 提案手法が最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-08-07T17:52:02Z)
• Smoke and Mirrors in Causal Downstream Tasks [59.90654397037007]
  本稿では, 治療効果推定の因果推論タスクについて検討し, 高次元観察において利害関係が記録されている。 最先端の視覚バックボーンから微調整した6つの480モデルを比較し、サンプリングとモデリングの選択が因果推定の精度に大きく影響することを発見した。 以上の結果から,今後のベンチマークでは,下流の科学的問題,特に因果的な問題について慎重に検討すべきであることが示唆された。
  論文  参考訳（メタデータ） (2024-05-27T13:26:34Z)
• Mapping the Increasing Use of LLMs in Scientific Papers [99.67983375899719]
  2020年1月から2024年2月にかけて、arXiv、bioRxiv、Natureのポートフォリオジャーナルで950,965の論文をまとめて、体系的で大規模な分析を行った。 計算機科学の論文では, LLMの使用が着実に増加し, 最大, 最速の成長が観察された。
  論文  参考訳（メタデータ） (2024-04-01T17:45:15Z)
• Time to Cite: Modeling Citation Networks using the Dynamic Impact Single-Event Embedding Model [0.33123773366516646]
  引用ネットワークはシングルイベント動的ネットワークの顕著な例である。 このような単一イベントネットワークのキャラクタリゼーションのための新しい可能性関数を提案する。 Dynamic Impact Single-Event Embedding Model (DISEE)は、静的潜伏距離ネットワークの埋め込みアプローチを古典的な動的影響評価と照合する。
  論文  参考訳（メタデータ） (2024-02-28T22:59:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。