論文の概要: Do LLMs Know a Good Hypothesis When They See One? Logit-Based Energy Scoring Outperforms Prompted LLM-as-Judge for Scientific Hypothesis Ranking
- arxiv url: http://arxiv.org/abs/2608.17270v1
- Date: Tue, 18 Aug 2026 01:54:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-19 21:40:53.181109
- Title: Do LLMs Know a Good Hypothesis When They See One? Logit-Based Energy Scoring Outperforms Prompted LLM-as-Judge for Scientific Hypothesis Ranking
- Title（参考訳）: LLMは正しい仮説を知っているか? 論理ベースのエネルギースコアリングは科学的仮説ランキングを裏付ける
- Abstract要約: 大規模言語モデル(LLM)は、科学的仮説生成にますます使われている。
生成された仮説を評価することは、信頼できるAIによる科学的発見の課題である。
本稿では,言語モデル固有の信頼度を用いて仮説を評価するロジットに基づくエネルギースコアリング手法を提案する。
- 参考スコア（独自算出の注目度）: 5.946412396187168
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) are increasingly used for scientific hypothesis generation. However, evaluating generated hypotheses remains a challenge for trustworthy AI-enabled scientific workflows. Existing approaches often use LLMs as judges or rely on semantic similarity, which can favor familiar ideas over novel ones. We propose a logit-based energy scoring method that evaluates hypotheses using a language model's intrinsic confidence rather than comparative judgment. We benchmarked seven language models on 1,323 papers across 12 disciplines. Each paper was paired with its hypothesis and fifteen incorrect alternatives. Intrinsic scoring reached 33.0% Hit@1 pooled across both scorers, compared with 16.6% for prompted listwise ranking. The strongest configuration, a 1-billion-parameter model using logit-based energy scoring, reached 53.1%, though this was the maximum across 14 model-by-scorer combinations selected post hoc. Overall, intrinsic model confidence shows potential for scientific hypothesis evaluation. This study also motivates future research on confidence-based methods for trustworthy AI-enabled scientific discovery.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、科学的仮説生成にますます使われている。
しかし、生成された仮説を評価することは、信頼できるAI可能な科学ワークフローにとって依然として課題である。
既存のアプローチでは、しばしば LLM を判断として使用したり、意味的類似性に依存したりする。
比較判定ではなく,言語モデルの本質的信頼度を用いて仮説を評価するロジットに基づくエネルギースコアリング手法を提案する。
私たちは12の分野にわたる1,323の論文で7つの言語モデルをベンチマークしました。
それぞれの論文には仮説と15の誤った代替案が組み合わされた。
Intrinsicのスコアは両方のスコアで33.0%のHit@1となり、リストワイドランキングでは16.6%となった。
最強構成であるロジットベースのエネルギースコアリングを用いた1ビリオンパラメーターモデルが53.1%に達したが、これは14のモデル・バイ・スコラーの組み合わせで選択されたポストホックの最大値であった。
全体として、本質的なモデル信頼性は科学的仮説評価の可能性を示している。
この研究はまた、信頼できるAI可能な科学的発見のための信頼に基づく手法に関する将来の研究を動機付けている。
関連論文リスト
- AgentIdeaBench: Benchmarking Scientific Ideation in the Agent Era [55.37558486468993]
AgentIdeaBenchは、静的観測とアクティブ探索という2つの一致した条件下で科学的思考を評価するベンチマークである。
5つの分野にまたがる40の高密度サブフィールドにおける33個のLDMの静的アクティブ評価を一致させた。
アクティブな探索により、ヘッドルームの能力は大幅に向上し、ヘッドルームはモデル間で不均一に分散される。
論文 参考訳（メタデータ） (2026-09-07T15:19:13Z) - TRACES: A Benchmark for Epistemic Reliability in Scientific Reasoning by LLMs [0.0]
下流検証が存在しない領域では、科学的なエージェントとして大きな言語モデルが提案されている。
筆者らは,42枚の抽出,不正,疑似科学的論文からなるプローブコーパスを,各論文のフレーミングと単発モデルエンゲージメントを抽出・評価する手法と組み合わせて導入した。
プローブは、5つのクレームタイプ、製造された観測、擬似物理機構、魔法の前提、合法化橋、貨物カルト実験である。
論文 参考訳（メタデータ） (2026-08-11T20:30:32Z) - FALSIFYBENCH: Evaluating Inductive Reasoning in LLMs with Rule Discovery Games [2.959715295394151]
従来のWason 2-4-6タスクに触発された仮説駆動推論のための評価フレームワークであるFALSIFYBENCHを紹介する。
このタスクは、仮説の生成、証拠収集、そして証拠の確認と不確認の両方に対応する信念の修正という、科学的推論の重要な要素を捉えている。
モデルファミリとスケールをまたいだ12 LLM の評価は、推論モデルが命令調整モデルよりも一般的に強力な科学的推論モデルであることを示しているが、最適性能に近づくモデルはない。
論文 参考訳（メタデータ） (2026-06-03T11:33:17Z) - SoundnessBench: Can Your AI Scientist Really Tell Good Research Ideas from Bad Ones? [51.154921661608675]
我々は、ICLRの投稿から再構成された1,099の機械学習研究提案のキュレートされたベンチマークであるSoundnessBenchを紹介する。
SoundnessBenchは、完全なレビュー結果の正確な予測よりも、復元可能な提案段階の音質のベンチマークとして解釈されるべきである。
論文 参考訳（メタデータ） (2026-05-28T17:57:37Z) - GIANTS: Generative Insight Anticipation from Scientific Literature [84.95947892931142]
本稿では、下流紙のコアインサイトを基礎となる親論文から予測する世代課題であるインサイト予測を導入する。
実測値と実測値の類似性を評価するLM判定器を用いてモデル評価を行い,これらの類似性スコアが有能な人間の評価値と相関していることを示す。
GIANTS-4Bは、強化学習(RL)を用いて訓練されたLMで、これらの類似度スコアをプロキシ報酬として用いた洞察予測を最適化する。
論文 参考訳（メタデータ） (2026-04-10T18:13:55Z) - LiveMathematicianBench: A Live Benchmark for Mathematician-Level Reasoning with Proof Sketches [61.30693283718321]
研究レベルの数学的推論のための動的多重選択ベンチマークであるLiveMathematicianBenchを提案する。
新たに発表された定理で評価を基礎づけることで、記憶されたパターンを超えた現実的なテストベッドを提供する。
このパイプラインは、高レベルな証明戦略を使用して、妥当だが無効な解選択を構築する。
論文 参考訳（メタデータ） (2026-04-02T08:22:17Z) - SciArena: An Open Evaluation Platform for Foundation Models in Scientific Literature Tasks [87.29946641069068]
我々は,学術文献タスクの基礎モデルを評価するための,オープンで協調的なプラットフォームであるSciArenaを紹介する。
集合的知性を活用することで、SciArenaはコミュニティ主導の、オープンな科学的タスクにおけるモデルパフォーマンスの評価を提供する。
収集した嗜好データに基づいたメタ評価ベンチマークであるSciArena-Evalをリリースする。
論文 参考訳（メタデータ） (2025-07-01T17:51:59Z) - The Consistency Hypothesis in Uncertainty Quantification for Large Language Models [22.60039074743706]
モデルAPIアクセスのみに依存するブラックボックス不確実性定量化(UQ)手法は,その実用的メリットから人気を博している。
本稿では,自信の代用として生成整合性を利用するUQ手法の背景にある暗黙的な仮定について検討する。
信頼度推定のための世代間類似性を集約するデータフリーなブラックボックスUQ手法を提案する。
論文 参考訳（メタデータ） (2025-06-27T01:53:15Z) - ResearchBench: Benchmarking LLMs in Scientific Discovery via Inspiration-Based Task Decomposition [67.26124739345332]
大規模言語モデル(LLM)は科学的研究を支援する可能性を示しているが、高品質な研究仮説を発見する能力はいまだ検討されていない。
我々は,LLMを科学的発見のサブタスクのほぼ十分セットで評価するための,最初の大規模ベンチマークを紹介する。
学術論文から重要コンポーネント(研究質問、背景調査、インスピレーション、仮説)を抽出する自動フレームワークを開発する。
論文 参考訳（メタデータ） (2025-03-27T08:09:15Z) - Hypothesis Generation with Large Language Models [28.73562677221476]
データに基づく仮説生成(ラベル付き例)に焦点を当てる。
マルチアームの盗賊にインスパイアされた我々は、更新プロセスにおけるエクスプロイト探索のトレードオフを通知する報酬関数を設計する。
我々のアルゴリズムは、分類タスクにおいて、数発のプロンプトよりもずっと優れた予測性能を実現する仮説を生成することができる。
論文 参考訳（メタデータ） (2024-04-05T18:00:07Z) - Large Language Models for Automated Open-domain Scientific Hypotheses Discovery [50.40483334131271]
本研究は,社会科学の学術的仮説発見のための最初のデータセットを提案する。
従来のデータセットとは異なり、新しいデータセットには、(1)オープンドメインデータ(RAW Webコーパス)を観察として使用すること、(2)人間性にさらに新しい仮説を提案することが必要である。
パフォーマンス向上のための3つのフィードバック機構を含む,タスクのためのマルチモジュールフレームワークが開発されている。
論文 参考訳（メタデータ） (2023-09-06T05:19:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。