論文の概要: What Is Novel? A Knowledge-Driven Framework for Bias-Aware Literature Originality Evaluation

• arxiv url: http://arxiv.org/abs/2602.06054v2
• Date: Wed, 11 Feb 2026 12:35:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-15 14:54:53.66631
• Title: What Is Novel? A Knowledge-Driven Framework for Bias-Aware Literature Originality Evaluation
• Title（参考訳）: ノベルとは何か? バイアスを意識した文献原性評価のための知識駆動型フレームワーク
• Authors: Abeer Mostafa, Thi Huyen Nguyen, Zahra Ahmadi,
• Abstract要約: 文献を意識したノベルティ評価フレームワークを導入し、ピアレビューレポートから人間がノベルティを判断する方法を学習する。 トップレベルのAIカンファレンスから80K近いノベルティ注釈付きレビューを使用することで、レビュアーによるノベルティ評価の振る舞いを捉えるために、大きな言語モデルを微調整します。
• 参考スコア（独自算出の注目度）: 4.14197005718384
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Assessing research novelty is a core yet highly subjective aspect of peer review, typically based on implicit judgment and incomplete comparison to prior work. We introduce a literature-aware novelty assessment framework that explicitly learns how humans judge novelty from peer-review reports and grounds these judgments in structured comparison to existing research. Using nearly 80K novelty-annotated reviews from top-tier AI conferences, we fine-tune a large language model to capture reviewer-aligned novelty evaluation behavior. For a given manuscript, the system extracts structured representations of its ideas, methods, and claims, retrieves semantically related papers, and constructs a similarity graph that enables fine-grained, concept-level comparison to prior work. Conditioning on this structured evidence, the model produces calibrated novelty scores and human-like explanatory assessments, reducing overestimation and improving consistency relative to existing approaches.
• Abstract（参考訳）: 研究の新規性を評価することは、ピアレビューの中核であるが非常に主観的な側面であり、通常、暗黙の判断と以前の研究との不完全な比較に基づいている。 文献を意識したノベルティ評価フレームワークを導入する。本フレームワークは、人間がピアレビューレポートからノベルティをどう判断するかを明確に学習し、これらの判断を既存の研究と比較して構造化する。 トップレベルのAIカンファレンスから、80K近いノベルティ注釈付きレビューを使用して、レビューアリーなノベルティ評価の振る舞いを捉えるために、大きな言語モデルを微調整します。 与えられた原稿に対して、システムは、そのアイデア、方法、クレームの構造化された表現を抽出し、意味論的に関連のある論文を検索し、先行研究と詳細な概念レベルの比較を可能にする類似性グラフを構築する。 この構造化された証拠を条件に、モデルは校正されたノベルティスコアと人間のような説明的評価を生成し、過大評価を減らし、既存のアプローチに対する一貫性を向上させる。

関連論文リスト

• ScholarPeer: A Context-Aware Multi-Agent Framework for Automated Peer Review [48.60540055009675]
  ScholarPeerは、上級研究者の認知過程をエミュレートするために設計された、検索可能なマルチエージェントフレームワークである。 We evaluate ScholarPeer on DeepReview-13K and the results showed that ScholarPeer achieve significant win-rates against state-of-the-art approach in side-side-side evaluations。
  論文  参考訳（メタデータ） (2026-01-30T06:54:55Z)
• NoveltyRank: Estimating Conceptual Novelty of AI Papers [8.218640708170119]
  このプロジェクトの目的は、AI論文の概念的新奇性を推定し、ランク付けするモデルを開発することである。 本稿では,論文の題名,抽象的,意味的類似性から新奇性を評価する。 両タスクに対してQwen3-4B-Instruct-2507とSciBERTを微調整し、GPT-5.1に対してベンチマークを行い、タスクの定式化とモデリングの選択がパフォーマンスに与える影響を分析する。
  論文  参考訳（メタデータ） (2025-12-12T03:33:32Z)
• Beyond "Not Novel Enough": Enriching Scholarly Critique with LLM-Assisted Feedback [81.0031690510116]
  本稿では,3段階を通して専門家レビューアの動作をモデル化する,自動ノベルティ評価のための構造化アプローチを提案する。 本手法は,人文のノベルティレビューを大規模に分析した結果から得られたものである。 182 ICLR 2025 の提出で評価されたこの手法は、人間の推論と86.5%の一致と、新規性の結論に関する75.3%の合意を達成している。
  論文  参考訳（メタデータ） (2025-08-14T16:18:37Z)
• Literature-Grounded Novelty Assessment of Scientific Ideas [23.481266336046833]
  LLMに基づく検索拡張生成フレームワークであるIdean Novelty Checkerを提案する。 実験の結果,新規性チェッカーは既存手法よりも約13%高い一致を達成できた。
  論文  参考訳（メタデータ） (2025-06-27T08:47:28Z)
• GLIMPSE: Pragmatically Informative Multi-Document Summarization for Scholarly Reviews [25.291384842659397]
  本稿では,学術レビューの簡潔かつ包括的概要を提供するための要約手法であるsysを紹介する。 従来のコンセンサスに基づく手法とは異なり、sysは共通の意見とユニークな意見の両方をレビューから抽出する。
  論文  参考訳（メタデータ） (2024-06-11T15:27:01Z)
• SciMON: Scientific Inspiration Machines Optimized for Novelty [68.46036589035539]
  文献に基づく新たな科学的方向を生成するために,ニューラルランゲージモデルを探索し,拡張する。 モデルが入力背景コンテキストとして使用される新しい設定で、劇的な出発をとっています。 本稿では,過去の科学的論文から「吸入」を抽出するモデリングフレームワークであるSciMONを紹介する。
  論文  参考訳（メタデータ） (2023-05-23T17:12:08Z)
• SNaC: Coherence Error Detection for Narrative Summarization [73.48220043216087]
  SNaCは長文の微粒化アノテーションに根ざした物語コヒーレンス評価フレームワークである。 本稿では,生成した物語要約におけるコヒーレンスエラーの分類法を開発し,150冊の本や映画の脚本要約にまたがる6.6k文のスパンレベルアノテーションを収集する。 我々の研究は、最先端の要約モデルによって生成されるコヒーレンスエラーの最初の特徴と、群衆アノテータからコヒーレンス判断を引き出すためのプロトコルを提供する。
  論文  参考訳（メタデータ） (2022-05-19T16:01:47Z)
• Just Rank: Rethinking Evaluation with Word and Sentence Similarities [105.5541653811528]
  埋め込みの本質的な評価は かなり遅れています そして過去10年間 重要な更新は行われていません 本稿ではまず,単語と文の埋め込み評価におけるゴールドスタンダードとして意味的類似性を用いた問題点を指摘する。 本稿では,下流タスクとより強い相関関係を示すEvalRankという本質的な評価手法を提案する。
  論文  参考訳（メタデータ） (2022-03-05T08:40:05Z)
• SMURF: SeMantic and linguistic UndeRstanding Fusion for Caption Evaluation via Typicality Analysis [20.026835809227283]
  情報理論に根ざした評価の新しい定式化である「定型性」を導入する。 これらの分割された意味論と流布の次元が、キャプタの違いに関するシステムレベルの洞察をいかに与えているかを示す。 提案手法とそれらの組み合わせであるSMURFは,他のルールベース評価指標と比較した場合,人間の判断と最先端の相関が得られた。
  論文  参考訳（メタデータ） (2021-06-02T19:58:20Z)
• Unsupervised Reference-Free Summary Quality Evaluation via Contrastive Learning [66.30909748400023]
  教師なしコントラスト学習により,参照要約を使わずに要約品質を評価することを提案する。 具体的には、BERTに基づく言語的品質と意味情報の両方をカバーする新しい指標を設計する。 ニューズルームとCNN/デイリーメールの実験では,新たな評価手法が参照サマリーを使わずに他の指標よりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-10-05T05:04:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。