論文の概要: Old Ideas, Novel Problems: The Instability of LLM-Based Novelty Evaluation

• arxiv url: http://arxiv.org/abs/2610.02022v1
• Date: Thu, 01 Oct 2026 16:43:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.305924
• Title: Old Ideas, Novel Problems: The Instability of LLM-Based Novelty Evaluation
• Title（参考訳）: 古い考え方, 新たな問題: LLMに基づく新規性評価の不安定性
• Abstract要約: 本稿では,新規性評価設計選択の体系的制御について述べる。 小さな急進的な設計選択が大きな結果をもたらすことが分かっています。 これらの結果は,自動思考システムの新規性向上の報告に関する疑問を提起する。
• 参考スコア（独自算出の注目度）: 16.109869066894458
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automated ideation systems are often evaluated on the novelty of the ideas they produce, and that judgment is increasingly delegated to large language models. Such judges are typically built ad hoc and validated, if at all, on human-authored papers rather than on the generated ideas they are meant to score. So, how do novelty judges perform? Not well. We present a systematic controlled study of novelty evaluation design choices. We first build an evaluation set automatically, mining OpenReview for passages where reviewers explicitly affirm or dispute a paper's originality and keeping only submissions with unanimous agreement at the extremes of their research area; we pair these with ideas from a vanilla LLM generator. Across six judges, we find that small prompt design choices have large consequences; e.g., simply telling the judge that reviewers found one idea novel and the other not can change its verdict on more than half of the identical idea pairs it is shown, shifting pairwise accuracy by over 50 points and occasionally pushing it below chance. The same change helps one judge and hurts another. Retrieval and larger reasoning budgets help little, and two purpose-built novelty evaluators are outperformed by our cheapest prompted baseline. These results raise questions about reported novelty gains of automated ideation systems, and call for robust novelty evaluation methods.
• Abstract（参考訳）: 自動思考システムは、しばしばそれらが生み出すアイデアの新規性に基づいて評価され、その判断はより大規模な言語モデルに委譲される。 このような審査員は、一般的にアドホック(adhoc)に構築され、評価される。 では、ノベルティ・ジャッジはどのように振る舞うのか? 良くない。 本稿では,新規性評価設計選択の体系的制御について述べる。 まず、評価セットを自動で構築し、レビュアーが論文の独創性を明示的に肯定または論争し、研究領域の極端において全会一致でのみ提出するパスをOpenReviewにマイニングする。 例えば、レビュアーは1つのアイデアノベルを見つけ、もう1つは、表示されている同一のアイデアペアの半分以上で判断を変更できず、ペアの精度を50ポイント以上シフトし、時にはチャンスを下すことができる。 同じ変化は、ある判断に役立ち、別の判断を損なう。 検索とより大きな推論予算は、ほとんど役に立たない。 これらの結果から,自動思考システムの新規性向上の報告に関する疑問が提起され,堅牢な新規性評価手法が求められた。

関連論文リスト

• Think-Probe-Respond: Improving Large Language Models as Judges of Research Idea Novelty [17.10692838025252]
  シンク・プローブ・レスポンス(Think-Probe-Respond、TPR)は、推論フェーズ中に隠された状態から潜伏する新規性判断を探索し、最終的な応答を条件付けるために探究された判断を使用する軽量なアプローチである。 強い基準線を越えて、TPRは新規性判定性能を22.30%改善し、一般的な「medium novelty」バイアスを緩和することに成功した。
  論文  参考訳（メタデータ） (2026-08-26T11:42:12Z)
• Stop Automating Peer Review Without Rigorous Evaluation [51.53099943385505]
  このポジションペーパーは、今日のAIシステムは、論文レビューの作成に使用すべきではない、と論じている。 1)AIレビュアーは、視点の多様性を低下させる論文内および新聞内における過剰な合意の隠れた効果を示す。 ピアレビューの危機に対処するには、ピアレビューの自動化の科学が必要です。
  論文  参考訳（メタデータ） (2026-05-04T22:41:04Z)
• Is this Idea Novel? An Automated Benchmark for Judgment of Research Ideas [5.4020309622966325]
  RINoBenchは、研究アイデアの新規性判断を大規模に評価するための最初の総合的なベンチマークである。 人間の専門家によって導かれ、判断される1,381件の研究アイデアと、9つの自動評価指標で構成されている。 このベンチマークを用いて、研究アイデアの新規性を判断する能力について、最先端の大規模言語モデルをいくつか評価する。
  論文  参考訳（メタデータ） (2026-03-11T00:54:10Z)
• What Is Novel? A Knowledge-Driven Framework for Bias-Aware Literature Originality Evaluation [4.14197005718384]
  文献を意識したノベルティ評価フレームワークを導入し、ピアレビューレポートから人間がノベルティを判断する方法を学習する。 トップレベルのAIカンファレンスから80K近いノベルティ注釈付きレビューを使用することで、レビュアーによるノベルティ評価の振る舞いを捉えるために、大きな言語モデルを微調整します。
  論文  参考訳（メタデータ） (2026-01-14T16:49:39Z)
• The Silent Judge: Unacknowledged Shortcut Bias in LLM-as-a-Judge [17.555073770285095]
  大規模言語モデル(LLM)は、要約、対話、創造的執筆といったタスクにおいてシステム出力を評価する自動判断器として、ますます多くデプロイされている。 提案手法では,現行のLLM審査員は,プロンプトに導入したショートカットに頼って,両方のカウントでフェールすることを示す。
  論文  参考訳（メタデータ） (2025-09-30T10:48:08Z)
• The Ideation-Execution Gap: Execution Outcomes of LLM-Generated versus Human Research Ideas [90.26363107905344]
  良いアイデアは単に斬新なものではなく、実行後により良い研究がもたらされるべきである。 AIが生み出すアイデアがより良い研究成果をもたらすかどうかをテストするために、我々は実行研究を行う。 実行前後の同じアイデアのレビュースコアを比較すると、LLM生成のアイデアのスコアは専門家によるアイデアよりも大幅に減少する。
  論文  参考訳（メタデータ） (2025-06-25T19:47:23Z)
• Re-evaluating Open-ended Evaluation of Large Language Models [50.23008729038318]
  現在のEloベースのレーティングシステムは、データ、意図的、あるいは偶発的なバイアスの影響を受けやすく、さらに強化できることを示している。 本稿では,3人プレイヤゲームとしての評価を提案し,冗長性に対するロバスト性を確保するために,ゲーム理論の新たな概念を導入する。
  論文  参考訳（メタデータ） (2025-02-27T15:07:47Z)
• JudgeBench: A Benchmark for Evaluating LLM-based Judges [61.048125269475854]
  judgeBenchは、知識、推論、数学、コーディングにまたがる挑戦的な応答ペアに関するLSMベースの判断を評価するためのベンチマークである。 審査員、微調整された審査員、マルチエージェントの審査員、報酬モデルに関する包括的な評価は、審査員ベンチが以前のベンチマークよりもかなり大きな課題を課していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T17:58:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。