Evidence-Informed LLM Beliefs for Continual Scientific Discovery
Abstractの概要
本論文は、LLMを用いた継続的な科学的発見について研究し、先行研究（特にAutoDiscovery）が証拠の蓄積に伴って信念を進化させるべきであるにもかかわらず、静的な事前確率に基づいて驚き（surprisal）を測定していると論じています。著者らは、以前に検証された仮説の結果を使用して新しい仮説の事前確率を更新し、非定常的な驚きの概念をもたらす「証拠に基づくLLMの信念（evidence-informed LLM beliefs）」を導入しています。コンテキスト内のいくつかの信念更新メカニズムを比較した結果、過去の発見に対する埋め込みベースの検索が、事前信念と最終的な事後確率を最もよく一致させることがわかりました。さらに、システムが冗長な仮説を避け、更新された信念の下でも驚きをもたらす領域を探索できるように、信念更新フィルタリングと多様性最大化を用いて探索プロセスに変更を加えています。
新規性
主な新規性は、LLM主導の科学的発見を、固定されたものではなく過去の証拠によって継続的に更新される事前確率から計算される「非定常的な驚き」の観点から再構築した点にあります。また、探索を更新された信念に対応させるため、信念更新フィルタリングと多様性最大化を組み合わせた、証拠に基づく探索手順を導入しています。
成果
検証された信念更新メカニズムの中で、埋め込みベースのtop-k検索が最も優れたパフォーマンスを示し、静的な驚きの約37.5%が偽物であることを特定しました。5つの発見ドメイン全体で、証拠に基づく完全な探索手法は、標準的な静的報酬による探索と比較して蓄積された非定常的な驚きを30.62%増加させ、オンラインの重複排除だけにとどまらない成果を実証しました。
論文の注目点
- 事前確率が更新されない場合、以前の発見から示唆される仮説が依然として驚きとみなされる可能性があるため、静的な驚きの指標は発見の進展を過大評価する可能性がある。
- テストされたコンテキスト表現の中で、埋め込みベースのtop-k検索は、完全なコンテキスト条件付けよりも効率的でありながら、証拠に基づく事前確率を構築するための最も効果的な方法であった。
- 探索の改善は、報酬を静的な驚きから非定常的な驚きに単に置き換えたことによるものではなく、信念更新フィルタリング、多様性最大化、オンライン重複排除といった明示的な仮説選択の変更によってもたらされている。