論文の概要: On the Limits of LLM-as-Judge for Scientific Novelty Assessment

• arxiv url: http://arxiv.org/abs/2606.12071v1
• Date: Wed, 10 Jun 2026 13:34:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.476854
• Title: On the Limits of LLM-as-Judge for Scientific Novelty Assessment
• Title（参考訳）: 科学的ノベルティ評価におけるLCM-as-Judgeの限界について
• Authors: Soumitra Sinhahajari, Navonil Majumder, Soujanya Poria,
• Abstract要約: クリーナーアップストリームオブジェクトの研究--研究課題(RQ) RQ生成は科学的思考の前提条件である。 本稿では,最近のarXiv論文のベンチマークであるRQ-Benchを紹介する。
• 参考スコア（独自算出の注目度）: 42.41951117958116
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: LLMs are increasingly used to generate and judge scientific ideas. This makes novelty evaluation a central problem. Full idea evaluation is difficult because it often requires judging a method, its feasibility, and its empirical promise. We therefore study a cleaner upstream object: the research question (RQ). RQ generation is a prerequisite for scientific ideation, and RQs can be compared against questions pursued in real papers. We introduce RQ-Bench, a benchmark built from recent arXiv papers. For each paper, we reconstruct author-anchored RQs from its cited background, gaps, and contributions. These RQs are not the only valid questions for the same background. They are author-anchored reference points for testing novelty judgments. We evaluate model-generated RQs with standalone LLM judging, comparative LLM judging, and human expert evaluation. LLM judges consistently rate model-generated RQs as highly novel, producing a novelty mirage; in comparative evaluations, this preference becomes even stronger. Domain experts, however, reach the opposite conclusion and prefer the author-anchored reference questions. We further find that many generated RQs are narrow or source-bound, a dimension that LLM judges often miss unless explicitly tested. Overall, the contradictory novelty evaluations between LLM judges and human experts raise a serious concern about the reliability of using LLMs to assess the scientific novelty of research questions.
• Abstract（参考訳）: LLMは科学的なアイデアの生成と判断にますます利用されている。 これにより、新規性評価が中心的な問題となる。 完全なアイデア評価は、しばしばメソッド、その実現可能性、そして経験的な約束を判断する必要があるため、難しい。 そこで我々は, よりクリーンな上流の物体, 研究質問 (RQ) について検討する。 RQ生成は科学的思考の前提条件であり、RQは実際の論文で追求された質問と比較することができる。 本稿では,最近のarXiv論文のベンチマークであるRQ-Benchを紹介する。 各論文では、著者が作成したRQを引用した背景、ギャップ、コントリビューションから再構築する。 これらのRQは、同じ背景を持つ唯一の有効な質問ではない。 これらは、ノベルティの判断をテストするための著者による参照ポイントである。 モデル生成RQを, 独立LLM判定, 比較LLM判定, 人的専門家評価で評価した。 LLMはモデル生成RQを高い新規度で評価し、新規性ミラージュを生成する。 しかし、ドメインの専門家は反対の結論に達し、著者による参照質問を好む。 さらに、多くの生成されたRQは狭小あるいはソースバウンドであり、LLMの判断が明示的にテストされない限り、しばしば見逃される次元であることがわかった。 全体として、LLM審査員と人間専門家の矛盾する新奇性評価は、研究課題の科学的新奇性を評価するためにLLMを使用することの信頼性について深刻な懸念を提起している。

関連論文リスト

• LLM-REVal: Can We Trust LLM Reviewers Yet? [70.58742663985652]
  大規模言語モデル(LLM)は研究者に、学術的なワークフローに広く組み込むよう刺激を与えている。 本研究は、LLMのピアレビューと研究プロセスへの深い統合が学術的公正性にどのように影響するかに焦点を当てる。
  論文  参考訳（メタデータ） (2025-10-14T10:30:20Z)
• When Your Reviewer is an LLM: Biases, Divergence, and Prompt Injection Risks in Peer Review [34.067892820832405]
  本稿では,学術レビュアーとして大規模言語モデル(LLM)を体系的に評価する。 ICLR 2023とNeurIPS 2022の1,441論文のキュレートされたデータセットを用いて、評価、強度、弱点を越えて、GPT-5-miniをヒトレビュアーに対して評価した。 以上の結果から, LLMは, より弱い論文に対する評価を一貫して向上させつつ, より強いコントリビューションに対する人間の判断と密に一致させることが示唆された。
  論文  参考訳（メタデータ） (2025-09-12T00:57:50Z)
• How Much Do Large Language Model Cheat on Evaluation? Benchmarking Overestimation under the One-Time-Pad-Based Framework [8.76693832650115]
  大規模言語モデル(LLM)を評価する際の過大評価が懸念されている。 本稿では,暗号におけるワンタイムパッド暗号化にインスパイアされた動的評価フレームワークArxivRollを提案する。
  論文  参考訳（メタデータ） (2025-07-25T12:39:03Z)
• Reviewing Scientific Papers for Critical Problems With Reasoning LLMs: Baseline Approaches and Automatic Evaluation [0.552480439325792]
  本稿では,いくつかのベースラインアプローチと,トップ推論 LLM を判断として用いた拡張可能な自動評価フレームワークを提案する。 O3は、全てのモデルで最低限のコストで、最高の問題識別性能を示した。 本稿では,文書に基づく科学的理解・推論に関する知見を提供し,今後の応用の基盤となる。
  論文  参考訳（メタデータ） (2025-05-28T06:14:30Z)
• Right Answer, Wrong Score: Uncovering the Inconsistencies of LLM Evaluation in Multiple-Choice Question Answering [78.89231943329885]
  大規模言語モデル(LLM)の評価には,MCQA(Multiple-Choice Question Answering)が広く用いられている。 報告されたLCMの性能には,複数の要因が大きな影響を及ぼす可能性が示唆された。 既存の回答抽出手法が人間の判断と一致しているかどうかを解析する。
  論文  参考訳（メタデータ） (2025-03-19T08:45:03Z)
• Are We There Yet? Revealing the Risks of Utilizing Large Language Models in Scholarly Peer Review [66.73247554182376]
  大規模言語モデル(LLM)がピアレビューに統合された。 未確認のLLMの採用は、ピアレビューシステムの完全性に重大なリスクをもたらす。 5%のレビューを操作すれば、論文の12%が上位30%のランキングでその地位を失う可能性がある。
  論文  参考訳（メタデータ） (2024-12-02T16:55:03Z)
• JudgeBench: A Benchmark for Evaluating LLM-based Judges [61.048125269475854]
  judgeBenchは、知識、推論、数学、コーディングにまたがる挑戦的な応答ペアに関するLSMベースの判断を評価するためのベンチマークである。 審査員、微調整された審査員、マルチエージェントの審査員、報酬モデルに関する包括的な評価は、審査員ベンチが以前のベンチマークよりもかなり大きな課題を課していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T17:58:19Z)
• AI-Driven Review Systems: Evaluating LLMs in Scalable and Bias-Aware Academic Reviews [18.50142644126276]
  我々は,人選好のアリーナを用いて,人選好と自動レビューのアライメントを評価する。 我々は、LLMを微調整して人間の好みを予測し、LLM同士の真っ向からの戦いにおいて、どのレビューが好まれるかを予測する。 我々は、公開可能なarXivおよびオープンアクセスのNatureジャーナルのレビューをオンラインで公開し、著者が研究論文をレビューし、改訂し、品質を改善するのに役立つ無料サービスを提供しています。
  論文  参考訳（メタデータ） (2024-08-19T19:10:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。