論文の概要: NoveltyRank: Estimating Conceptual Novelty of AI Papers

• arxiv url: http://arxiv.org/abs/2512.14738v1
• Date: Fri, 12 Dec 2025 03:33:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-18 17:06:26.703514
• Title: NoveltyRank: Estimating Conceptual Novelty of AI Papers
• Title（参考訳）: NoveltyRank: AI論文のコンセプトノベルティを推定する
• Authors: Zhengxu Yan, Han Li, Yuming Feng,
• Abstract要約: このプロジェクトの目的は、AI論文の概念的新奇性を推定し、ランク付けするモデルを開発することである。 本稿では,論文の題名,抽象的,意味的類似性から新奇性を評価する。 両タスクに対してQwen3-4B-Instruct-2507とSciBERTを微調整し、GPT-5.1に対してベンチマークを行い、タスクの定式化とモデリングの選択がパフォーマンスに与える影響を分析する。
• 参考スコア（独自算出の注目度）: 8.218640708170119
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: With the growing ease of academic publishing, the volume of research papers, especially in AI-related fields, has surged dramatically. This flood of publications makes it difficult for truly novel and impactful work to stand out, and manual novelty assessment is often unstable and time-consuming. Our project aims to develop a model that estimates and ranks the conceptual novelty of AI papers, enabling a data-driven and scalable assessment of research originality. Such a system can help researchers efficiently identify submissions that introduce genuinely innovative ideas rather than minor variants, and provide conference reviewers with a quantitative and consistent signal of novelty. Our approach evaluates novelty primarily through a paper's title, abstract, and semantic similarity to prior literature. Given the motivation of novelty estimation, we explore two task formulations with different modeling objectives, each offering a different perspective: (1) binary classification, which predicts the paper's absolute novelty from learned patterns of prior novel works, and (2) pairwise novelty comparison, which learns to distinguish papers by relative novelty over others. We fine-tune Qwen3-4B-Instruct-2507 and SciBERT on both tasks, benchmarking against GPT-5.1 to analyze how task formulation and modeling choices affect performance. The implementation is publicly available at https://github.com/ZhengxuYan/NoveltyRank.
• Abstract（参考訳）: 学術出版の容易さが増すにつれ、特にAI関連の分野における研究論文の量は飛躍的に増加した。 この出版物の洪水により、真に新規で影響力のある作品が目立たなくなり、手作業による新規性の評価は不安定で時間を要することがしばしばある。 我々のプロジェクトは、AI論文の概念的新奇性を推定し、ランク付けし、データ駆動でスケーラブルな研究の独創性を評価できるモデルを開発することを目的としている。 このようなシステムは、研究者がマイナーな変種ではなく真に革新的なアイデアを導入する提案を効果的に特定し、会議のレビュアーに量的かつ一貫したノベルティのシグナルを与えるのに役立つ。 本稿では,論文の題名,抽象的,意味的類似性から新奇性を評価する。 新規性推定のモチベーションを考慮し, それぞれ異なる視点を持つ2つのタスクの定式化について検討する。(1) 先行する新規性の学習パターンから論文の絶対的新規性を予測する二項分類, (2) 相対的新規性による論文の識別を学習する一対の新規性比較。 両タスクに対してQwen3-4B-Instruct-2507とSciBERTを微調整し、GPT-5.1に対してベンチマークを行い、タスクの定式化とモデリングの選択がパフォーマンスに与える影響を分析する。 実装はhttps://github.com/ZhengxuYan/NoveltyRank.comで公開されている。

関連論文リスト

• RelevAI-Reviewer: A Benchmark on AI Reviewers for Survey Paper Relevance [0.8089605035945486]
  本稿では,調査論文レビューの課題を分類問題として概念化するシステムであるRelevAI-Reviewerを提案する。 25,164のインスタンスからなる新しいデータセットを導入する。各インスタンスには1つのプロンプトと4つの候補論文があり、それぞれがプロンプトに関連している。 我々は,各論文の関連性を判断し,最も関連性の高い論文を識別できる機械学習(ML)モデルを開発した。
  論文  参考訳（メタデータ） (2024-06-13T06:42:32Z)
• Chain-of-Factors Paper-Reviewer Matching [32.86512592730291]
  本稿では,意味的・話題的・引用的要因を協調的に考慮した,論文レビューアマッチングのための統一モデルを提案する。 提案したChain-of-Factorsモデルの有効性を,最先端のペーパー-リビューアマッチング手法と科学的事前学習言語モデルと比較した。
  論文  参考訳（メタデータ） (2023-10-23T01:29:18Z)
• Generative Judge for Evaluating Alignment [84.09815387884753]
  本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。 我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。 実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
  論文  参考訳（メタデータ） (2023-10-09T07:27:15Z)
• SciMON: Scientific Inspiration Machines Optimized for Novelty [68.46036589035539]
  文献に基づく新たな科学的方向を生成するために,ニューラルランゲージモデルを探索し,拡張する。 モデルが入力背景コンテキストとして使用される新しい設定で、劇的な出発をとっています。 本稿では,過去の科学的論文から「吸入」を抽出するモデリングフレームワークであるSciMONを紹介する。
  論文  参考訳（メタデータ） (2023-05-23T17:12:08Z)
• What's New? Summarizing Contributions in Scientific Literature [85.95906677964815]
  本稿では,論文のコントリビューションと作業状況について,個別の要約を生成するために,論文要約のアンタングル化という新たなタスクを導入する。 本稿では,学術論文のS2ORCコーパスを拡張し,コントリビューション・コントリビューション・コントリビューション・レファレンス・ラベルを付加する。 本稿では, 生成した出力の関連性, 新規性, 絡み合いを報告する総合的自動評価プロトコルを提案する。
  論文  参考訳（メタデータ） (2020-11-06T02:23:01Z)
• Rethinking Generalization of Neural Models: A Named Entity Recognition Case Study [81.11161697133095]
  NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。 詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。 本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
  論文  参考訳（メタデータ） (2020-01-12T04:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。