論文の概要: Evidence-Based Scientific Question Discovery: A Framework with Historical Backtesting
- arxiv url: http://arxiv.org/abs/2608.09968v1
- Date: Wed, 29 Jul 2026 22:30:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 01:32:04.571497
- Title: Evidence-Based Scientific Question Discovery: A Framework with Historical Backtesting
- Title(参考訳): エビデンスに基づく科学的質問発見: 歴史的バックテストによるフレームワーク
- Abstract要約: 本稿では、追跡可能で再現可能な、スコープ制御された研究コーパスを、ランク付け可能な、偽装可能な研究質問に変換するフレームワークを提案する。
我々は、文献、構造化カタログ、宇宙望遠鏡アーカイブを独自に組み合わせた領域である、太陽系外惑星大気の枠組みをインスタンス化する。
- 参考スコア(独自算出の注目度): 0.5028072215868231
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Current AI systems are optimized for answering questions; the scientific enterprise is bottlenecked earlier, at discovering the questions worth investigating. We present a framework that turns a traceable, reproducible, scope controlled research corpus into ranked, falsifiable research questions: evidence is represented as provenance carrying claims; cross paper tensions are detected, typed, and human adjudicated; surviving signals are refined into questions and ranked by a two stage protocol separating scientific priority from execution priority. We instantiate the framework on exoplanet atmospheres, a domain that uniquely combines literature, structured catalogs, and space telescope archives. In a historical backtest, all questions generated from evidence available before 2021 were substantively engaged by the 2021 to 2026 literature the sys?tem never saw: two were answered, including one whose premise the community later explicitly refuted and the top ranked question is independently posed and still open. These results sug?gest that systematic question discovery from evidence tensions surfaces the questions working scientists subsequently invest in.
- Abstract(参考訳): 現在のAIシステムは、質問に答えるために最適化されている。
証拠はクレームを含む証明として表現され、クロスペーパーの緊張は検出され、型付けされ、ヒトの適応化され、生き残った信号は質問に洗練され、科学的優先度と実行優先度を区別する2段階のプロトコルによってランク付けされる。
我々は、文献、構造化カタログ、宇宙望遠鏡アーカイブを独自に組み合わせた領域である、太陽系外惑星大気の枠組みをインスタンス化する。
2021年以前の証拠から得られたすべての質問は、2021年から2026年までの文献に実質的に関与していたのか?
2つが答えられ、そのうちの1つは後にコミュニティの前提が明確に否定され、上位の質問は独立して提案され、まだオープンです。
これらの結果はsugですか?
証拠の緊張から 体系的な疑問発見を 探すと 科学者が投資する疑問が表れます
関連論文リスト
- Relevance is not enough: A Communication-Oriented Retrieval System for Consequential Scientific Question Answering [0.22499166814992436]
結果が直接人々の生活を形作り、それらを公共の水質コミュニケーションシステムを通じて研究する、連続的な科学的問題に焦点をあてる。
本システムではまず,まず推論型で各質問を分類し,その後フォローアップ質問を生成し,欠落した証拠を同定する。
あるコンポーネントは、既知のものと不確実なものを明確に区別し、別のコンポーネントは、科学的詳細をアクセス可能な言語に書き換える。
論文 参考訳(メタデータ) (2026-09-05T18:41:09Z) - EarthVerse: Benchmarking Scientific Agents Across Dynamic Earth Systems and Natural Hazards [73.12811119273206]
我々は,包括的調査を通じて科学的エージェントを評価するベンチマークであるEarthVerseを紹介する。
エージェントは異種イベントパッケージを検査し、互換性のあるエビデンスを選択し、透過的な計算を実行し、ソース差を調整し、最終回答で証明を保存する。
システム全体では、平均回答ユニットの精度は84.65%であり、最も高いStrict@95は34.81%である。
論文 参考訳(メタデータ) (2026-08-24T17:29:16Z) - Historical Backtesting for Scientific Question Discovery: A Protocol and Astronomy Pilot [0.5028072215868231]
我々は、時間的に分離されたコーパス、凍結した質問、監査可能なラベル、4つの基準ベースライン、および入力インターフェースを備えた再現可能な天文学のインスタンスをリリースする。
2026-08-17(2027-2030)を凍結した200の質問が公表された。
論文 参考訳(メタデータ) (2026-08-17T16:51:06Z) - DeepEra: A Deep Evidence Reranking Agent for Scientific Retrieval-Augmented Generated Question Answering [28.427433335623217]
ステップバイステップ推論を統合したディープエビデンス評価エージェント(DeepEra)を提案する。
この研究は、2段階のRAGフレームワークにおいて、無視できないSSLI問題を包括的に研究し、実証的に検証した初めてのものである。
論文 参考訳(メタデータ) (2026-01-23T06:19:08Z) - Open-ended Scientific Discovery via Bayesian Surprise [63.26412847240136]
AutoDSは、ベイジアン・サプライズを用いた科学探査を駆動する、オープンエンドの科学的発見の方法である。
我々はAutoDSを、生物学、経済学、金融学、行動科学といった21の領域にまたがる実世界のデータセットにまたがるデータ駆動ディスカバリの設定で評価する。
論文 参考訳(メタデータ) (2025-06-30T22:53:59Z) - Introducing Answered with Evidence -- a framework for evaluating whether LLM responses to biomedical questions are founded in evidence [1.3250161978024673]
生物医学的質問応答のための大規模言語モデル (LLMs) は、それらの応答の正確性と明確なサポートに関する懸念を提起する。
我々は,(1)アレクサンドリア,fka the Atropos Evidence Library,新しい観察研究に基づくRAGシステム,(2)PubMedに基づく検索強化システム(システムとパープレキシティ)を比較パイプラインで分析した。
PubMedをベースとしたシステムでは,約44%の質問に対してエビデンス支援の回答が得られたが,新たなエビデンスソースでは約50%の回答が得られた。
論文 参考訳(メタデータ) (2025-06-30T18:00:52Z) - PeerQA: A Scientific Question Answering Dataset from Peer Reviews [51.95579001315713]
実世界の科学的、文書レベルの質問回答データセットであるPeerQAを提示する。
データセットには208の学術論文から579のQAペアが含まれており、MLとNLPが多数を占めている。
収集したデータセットを詳細に分析し、3つのタスクのベースラインシステムを確立する実験を行う。
論文 参考訳(メタデータ) (2025-02-19T12:24:46Z) - Large Language Models for Automated Open-domain Scientific Hypotheses Discovery [50.40483334131271]
本研究は,社会科学の学術的仮説発見のための最初のデータセットを提案する。
従来のデータセットとは異なり、新しいデータセットには、(1)オープンドメインデータ(RAW Webコーパス)を観察として使用すること、(2)人間性にさらに新しい仮説を提案することが必要である。
パフォーマンス向上のための3つのフィードバック機構を含む,タスクのためのマルチモジュールフレームワークが開発されている。
論文 参考訳(メタデータ) (2023-09-06T05:19:41Z) - CREPE: Open-Domain Question Answering with False Presuppositions [92.20501870319765]
オンライン情報検索フォーラムからの予測失敗の自然な分布を含むQAデータセットであるCREPEを紹介する。
25%の質問が偽の前提命題を含み、これらの前提命題とその修正のための注釈を提供する。
既存のオープンドメインQAモデルの適応は適度に予測できるが、仮定が実際に正しいかどうかを予測するのに苦労する。
論文 参考訳(メタデータ) (2022-11-30T18:54:49Z) - Science Checker: Extractive-Boolean Question Answering For Scientific
Fact Checking [0.0]
本研究では,研究論文における事実と証拠からの合同推論に基づいて,科学的疑問を検証するためのマルチタスクアプローチを提案する。
提案した軽量かつ高速なアーキテクチャにより、平均エラー率は4%、F1スコアは95.6%に達した。
論文 参考訳(メタデータ) (2022-04-26T12:35:23Z) - REM-Net: Recursive Erasure Memory Network for Commonsense Evidence
Refinement [130.8875535449478]
REM-Netは、答えを説明できない低品質な証拠を消去することで証拠を洗練するためのモジュールを備えている。
既存の知識ベースから証拠を取得する代わりに、REM-Netは事前訓練された生成モデルを利用して、質問用にカスタマイズされた候補証拠を生成する。
結果はREM-Netの性能を示し、洗練された証拠が説明可能であることを示します。
論文 参考訳(メタデータ) (2020-12-24T10:07:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。