論文の概要: Think-Probe-Respond: Improving Large Language Models as Judges of Research Idea Novelty

• arxiv url: http://arxiv.org/abs/2608.25660v1
• Date: Wed, 26 Aug 2026 11:42:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:15.806716
• Title: Think-Probe-Respond: Improving Large Language Models as Judges of Research Idea Novelty
• Title（参考訳）: Think-Probe-Respond:研究思想の新規性判断としての大規模言語モデルの改善
• Abstract要約: シンク・プローブ・レスポンス(Think-Probe-Respond、TPR)は、推論フェーズ中に隠された状態から潜伏する新規性判断を探索し、最終的な応答を条件付けるために探究された判断を使用する軽量なアプローチである。 強い基準線を越えて、TPRは新規性判定性能を22.30%改善し、一般的な「medium novelty」バイアスを緩和することに成功した。
• 参考スコア（独自算出の注目度）: 17.10692838025252
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automated novelty judgment can accelerate scientific discovery by enabling efficient evaluation, refinement, and comparison of research ideas. While large language models are increasingly adopted for this task, we investigate a previously overlooked limitation in their judgment capabilities: despite generating reasoning rationales that closely mirror those of human experts, their final novelty judgments often diverge substantially. We demonstrate that this miscalibration stems from a systematic bias towards judging ideas as "medium novel". To mitigate this, we propose Think-Probe-Respond (TPR), a lightweight approach that probes latent novelty judgments from hidden states during the reasoning phase and uses the probed judgments to condition the final response. Across strong baselines, TPR improves novelty judgment performance by 22.30% and successfully mitigates the prevalent "medium novelty" bias.
• Abstract（参考訳）: 自動新規性判定は、効率的な評価、洗練、研究アイデアの比較を可能にすることにより、科学的発見を加速することができる。 大規模な言語モデルがこのタスクにますます採用されているが、これまで見過ごされていた判断能力の限界を調査する。 この誤解は、アイデアを"medium novel"と判断する体系的な偏見に起因していることを実証する。 これを軽減するために,本論文では,提案するThink-Probe-Respond(TPR)を提案する。 強い基準線を越えて、TPRは新規性判定性能を22.30%改善し、一般的な「medium novelty」バイアスを緩和することに成功した。

関連論文リスト

• Beyond Rating: A Comprehensive Evaluation and Benchmark for AI Reviews [69.66583722746904]
  私たちは、AIレビュアーを5次元にわたって評価する総合的な評価フレームワークであるBeyond Ratingを紹介します。 本稿では,専門家の不一致に対応するためのMax-Recall戦略を提案する。 提案したテキスト中心の指標は、特に弱みの議論のリコールであり、評価精度と強く相関している。
  論文  参考訳（メタデータ） (2026-04-21T14:21:15Z)
• Is this Idea Novel? An Automated Benchmark for Judgment of Research Ideas [5.4020309622966325]
  RINoBenchは、研究アイデアの新規性判断を大規模に評価するための最初の総合的なベンチマークである。 人間の専門家によって導かれ、判断される1,381件の研究アイデアと、9つの自動評価指標で構成されている。 このベンチマークを用いて、研究アイデアの新規性を判断する能力について、最先端の大規模言語モデルをいくつか評価する。
  論文  参考訳（メタデータ） (2026-03-11T00:54:10Z)
• What Is Novel? A Knowledge-Driven Framework for Bias-Aware Literature Originality Evaluation [4.14197005718384]
  文献を意識したノベルティ評価フレームワークを導入し、ピアレビューレポートから人間がノベルティを判断する方法を学習する。 トップレベルのAIカンファレンスから80K近いノベルティ注釈付きレビューを使用することで、レビュアーによるノベルティ評価の振る舞いを捉えるために、大きな言語モデルを微調整します。
  論文  参考訳（メタデータ） (2026-01-14T16:49:39Z)
• Re-Rankers as Relevance Judges [65.37611299805856]
  再ランカ・アズ・レバレンス・ジャッジ設定で再ランカを再現する。 TREC-DL 2019〜2023では,220Mから32Bの3家族から8人の再ランカを対象に実験を行い,再ランカに基づく審査員による評価バイアスを分析した。
  論文  参考訳（メタデータ） (2026-01-08T00:02:59Z)
• CompassJudger-2: Towards Generalist Judge Model via Verifiable Rewards [72.44810390478229]
  CompassJudger-2は、タスク駆動のマルチドメインデータキュレーション戦略によって制限を克服する新しいジェネラリストジャッジモデルである。 CompassJudger-2は、複数の判定と報奨ベンチマークで優れた結果を得る。
  論文  参考訳（メタデータ） (2025-07-12T01:34:24Z)
• Literature-Grounded Novelty Assessment of Scientific Ideas [23.481266336046833]
  LLMに基づく検索拡張生成フレームワークであるIdean Novelty Checkerを提案する。 実験の結果,新規性チェッカーは既存手法よりも約13%高い一致を達成できた。
  論文  参考訳（メタデータ） (2025-06-27T08:47:28Z)
• Does Thinking More always Help? Mirage of Test-Time Scaling in Reasoning Models [130.5487886246353]
  Wait"や"Let me rethink"といったプロンプトを使って思考トレースを拡張することで、パフォーマンスが向上します。 テスト時にもっと考えることは、本当により良い推論につながるのでしょうか? 過度に考える”という理由から,新たな思考による初期パフォーマンス改善の一貫したパターンと,それに続く低下を示す。
  論文  参考訳（メタデータ） (2025-06-04T17:55:09Z)
• Re-evaluating Open-ended Evaluation of Large Language Models [50.23008729038318]
  現在のEloベースのレーティングシステムは、データ、意図的、あるいは偶発的なバイアスの影響を受けやすく、さらに強化できることを示している。 本稿では,3人プレイヤゲームとしての評価を提案し,冗長性に対するロバスト性を確保するために,ゲーム理論の新たな概念を導入する。
  論文  参考訳（メタデータ） (2025-02-27T15:07:47Z)
• Socratic Reasoning Improves Positive Text Rewriting [49.32560132826547]
  否定的思考を肯定的思考に反映することは、精神保健や心理療法に対するいくつかの認知的アプローチの欠如である。 我々は、思考の書き直しプロセスを合理化するために、textscSocraticReframeと呼ばれる新しいフレームワークを開発した。
  論文  参考訳（メタデータ） (2024-03-05T15:05:06Z)
• Probabilistically Robust Recourse: Navigating the Trade-offs between Costs and Robustness in Algorithmic Recourse [34.39887495671287]
  本稿では,達成された(反感)と所望のリコース無効率とのギャップを同時に最小化する目的関数を提案する。 我々は,任意のインスタンスに対応するリコース無効化率を特徴付けるために,新しい理論的結果を開発した。 複数の実世界のデータセットを用いた実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-03-13T21:39:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。