論文の概要: NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment

• arxiv url: http://arxiv.org/abs/2609.11234v1
• Date: Thu, 10 Sep 2026 08:34:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.256331
• Title: NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment
• Title（参考訳）: NovGauge: 紙ノベルティ評価におけるLCMの能力診断のための細粒度ベンチマーク
• Abstract要約: 大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。 既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。 本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
• 参考スコア（独自算出の注目度）: 54.4265627247104
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models (LLMs) are increasingly used in peer review at major AI conferences, yet novelty remains a persistent weak point. Existing benchmarks assess novelty as a single holistic score, making it difficult to diagnose which dimension a model misjudges or whether its evidence is faithful. We present NovGauge, a human-anchored benchmark for fine-grained novelty assessment diagnosis. The benchmark contains 619 paper pairs and 50 multi-paper sets, drawn from two expert sources: ICLR reviewer overlap claims and survey co-citations. Instances are independently labeled along three dimensions: task, problem, and method, capturing application goals, technical challenges, and solution approaches. We propose a cascading diagnostic pipeline that verifies per-dimension correctness, evidence grounding, and logical support. Evaluation of 18 LLMs shows hallucination rates ranging from 0% to 39% across dimensions, and among non-hallucinated correct-positive judgments, over 70% cite evidence fails to logically support the stated reason. The best-performing model, GPT-5.5, achieves 43-72% Verified F1 across dimensions, while most models retain less than half of their raw F1 after faithfulness verification. These results suggest that current LLMs remain far from reliable scientific novelty assessment, particularly when correctness is conditioned on faithful evidence grounding.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されているが、新規性は依然として弱点である。 既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価しており、モデルがどの次元にあるか、あるいはその証拠が忠実であるかを診断することは困難である。 本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。 ベンチマークには619のペーパーペアと50のマルチペーパーセットが含まれており、2つの専門家ソースから引用されている。 インスタンスは、タスク、問題、メソッド、アプリケーション目標のキャプチャ、技術的な課題、ソリューションアプローチの3つの次元に沿って、独立してラベル付けされます。 本稿では, 寸法毎の正当性, 根拠, 論理的支援を検証できるカスケード診断パイプラインを提案する。 18個のLCMの評価では,0%から39%の範囲の幻覚率を示し,非幻覚的正判定では70%以上の引用証拠が論理的に支持できない。 最高の性能のモデルであるGPT-5.5は、43-72%の検証済みF1を寸法で達成する一方、ほとんどのモデルは忠実な検証の後、元のF1の半分以下を維持している。 これらの結果から,現在のLSMは信頼性の高い科学的ノベルティ評価には程遠いことが示唆された。

関連論文リスト

• Reliability, validity, and diagnostic evidence for multi-model LLM short-answer scoring [2.5445349880936483]
  答えの短期評価には、信頼性、妥当性、深刻度、診断値、障害ケースに関する証拠が必要である。 本研究は,複数モデルOCG-PRES誘導LPMスコアを短時間で評価するために繰り返し評価した。
  論文  参考訳（メタデータ） (2026-09-06T00:27:30Z)
• SoundnessBench: Can Your AI Scientist Really Tell Good Research Ideas from Bad Ones? [51.154921661608675]
  我々は、ICLRの投稿から再構成された1,099の機械学習研究提案のキュレートされたベンチマークであるSoundnessBenchを紹介する。 SoundnessBenchは、完全なレビュー結果の正確な予測よりも、復元可能な提案段階の音質のベンチマークとして解釈されるべきである。
  論文  参考訳（メタデータ） (2026-05-28T17:57:37Z)
• Measuring Five-Nines Reliability: Sample-Efficient LLM Evaluation in Saturated Benchmarks [45.86413490112477]
  大規模言語モデル(LLM)は信頼性に敏感なアプリケーションで使用される。 厳密な信頼境界を持つ稀な失敗確率を推定するには、違法に大きなLSM推論サイズが必要である。 そこで本研究では,クロスエントロピー手法を用いて,故障確率入力に集中したサンプリング分布を学習する。
  論文  参考訳（メタデータ） (2026-05-11T20:23:44Z)
• Evaluating the Ability of Large Language Models to Identify Adherence to CONSORT Reporting Guidelines in Randomized Controlled Trials: A Methodological Evaluation Study [7.142913983218931]
  本研究は,現代LPMの精度と信頼性を評価することを目的とした。 各種医療専門分野にまたがる150個のRCTの黄金標準データセットを構築した。 トップパフォーマンスモデルであるGemini-2.5-FlashとDeepSeek-R1は、それぞれ0.280と0.282のコーエンのカッパ係数の0.634とほぼ同じマクロF1スコアを達成した。
  論文  参考訳（メタデータ） (2025-11-17T08:05:15Z)
• PRISMM-Bench: A Benchmark of Peer-Review Grounded Multimodal Inconsistencies [16.537126902822127]
  PRISMM-Benchは、科学論文において、実際のレビュアーがフラッグした不整合に基づいた最初のベンチマークである。 不整合同定、治療、ペアマッチングという3つのタスクを設計し、不整合の検出、修正、推論を行うモデルの能力を評価する。 我々は、大きなオープンウェイトモデル(GLM-4.5V 106B、InternVL3 78B)やプロプライエタリモデル(Gemini 2.5 Pro、GPT-5)を含む21のLMMをベンチマークした。
  論文  参考訳（メタデータ） (2025-10-18T13:46:26Z)
• CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
  隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。 ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
  論文  参考訳（メタデータ） (2025-10-02T02:14:33Z)
• The NazoNazo Benchmark: A Cost-Effective and Extensible Test of Insight-Based Reasoning in LLMs [3.9977256267361754]
  そこで本研究では,日本人児童のライドルから構築した費用効果評価指標であるNazonazoについて紹介する。 GPT-5以外のモデルは人間の性能に匹敵せず、平均精度は52.9%である。
  論文  参考訳（メタデータ） (2025-09-18T07:50:04Z)
• AVTrustBench: Assessing and Enhancing Reliability and Robustness in Audio-Visual LLMs [70.4578433679737]
  我々は9つの細工されたタスクにまたがる600万のサンプルからなるAudio-Visual Trustworthiness Assessment Benchmark (AVTrustBench)を紹介する。 ベンチマークを用いて、13の最先端AVLLMを広範囲に評価した。 その結果、既存のモデルのほとんどは、人間のような理解を達成できないことが判明した。
  論文  参考訳（メタデータ） (2025-01-03T23:03:24Z)
• How Easy is It to Fool Your Multimodal LLMs? An Empirical Analysis on Deceptive Prompts [54.07541591018305]
  提案するMAD-Benchは,既存のオブジェクト,オブジェクト数,空間関係などの5つのカテゴリに分割した1000の試験サンプルを含むベンチマークである。 我々は,GPT-4v,Reka,Gemini-Proから,LLaVA-NeXTやMiniCPM-Llama3といったオープンソースモデルに至るまで,一般的なMLLMを包括的に分析する。 GPT-4oはMAD-Bench上で82.82%の精度を達成するが、実験中の他のモデルの精度は9%から50%である。
  論文  参考訳（メタデータ） (2024-02-20T18:31:27Z)
• LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
  そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。 ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。 最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
  論文  参考訳（メタデータ） (2023-05-23T21:50:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。