論文の概要: Testimony from Timelines: Evidence-Grounded Significance Testing of Temporal Clinical Hypotheses

• arxiv url: http://arxiv.org/abs/2610.40619v1
• Date: Thu, 29 Oct 2026 17:55:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 06:20:18.207909
• Title: Testimony from Timelines: Evidence-Grounded Significance Testing of Temporal Clinical Hypotheses
• Title（参考訳）: タイムラインからの証言:時間的臨床仮説の証拠と意義
• Abstract要約: 間違った判断がコストがかかる健康問題について研究する。 判決に至る途中で、すべての決定を格付けするベンチマークであるSTRATAを紹介します。 また、各決定を検査可能な出力として公開する段階的パラダイムART(Articulate, retrieve, test)を提案する。
• 参考スコア（独自算出の注目度）: 13.519498096558836
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ask a language model whether sales tend to dip after a product recall, or whether one side effect tends to follow another after a vaccine, and it answers in a fluent sentence that reads like a finding, with no test behind it. Assertions about how events unfold across many cases fill the Web, and each is a temporal hypothesis that only a significance test over the right records can settle. The verifier must specify the null, select the test and decide which records bear on the hypothesis, and any of these choices can go wrong while the conclusion still comes out right. Yet benchmarks for language-model data analysis grade only the conclusion, with the relevant data handed over. We study the problem in health, where a wrong verdict is costly, and present STRATA, a benchmark that grades every decision on the way to a verdict: 8,735 hypotheses over the clinical timelines of vaccine adverse-event reports, with gold plans, evidence sets, p-values and verdicts derived under a released codebook and reproduced by a deterministic oracle. We also propose ART (articulate, retrieve, test), a staged paradigm that exposes each decision as an inspectable output. Extensive experiments with five model configurations show that systems fail mostly at choosing which records count, a verdict-evidence gap that accuracy alone conceals. ART closes most of this gap and brings a 31B open model to within 0.01 of the frontier models under the same paradigm; the frontier models succeed once given the codebook.
• Abstract（参考訳）: 商品のリコール後に売り上げが減少する傾向にあるか、ワクチン後に別の副作用が続く傾向にあるのかを言語モデルに問う。 多くのケースにまたがるイベントの展開に関する例は、Webを埋めるものであり、それぞれが時間的仮説であり、適切なレコードに対する重要なテストだけが解決できる。 検証者はnullを指定し、テストを選択し、仮説にどのレコードがあるかを決めなければならない。 しかし、言語モデルデータ分析のベンチマークでは、関連するデータが引き継がれ、結論のみが評価される。 我々は、誤った評決がコストがかかる健康問題について研究し、現在STRATAは、評決に向かう途中ですべての決定を格付けするベンチマークである。8,735件のワクチン不適切な報告の臨床的スケジュールを、金の計画、エビデンスセット、p値、そして、公表されたコードブックに基づいて導かれ、決定論的託宣によって再現された評決で仮説を立てている。 また、各決定を検査可能な出力として公開する段階的パラダイムART(Articulate, retrieve, test)を提案する。 5つのモデル構成による大規模な実験では、システムはどのレコード数を選ぶかにほとんど失敗している。 ARTはこのギャップの大部分を埋め、同じパラダイムの下でフロンティアモデルの0.01に31Bのオープンモデルをもたらす。

関連論文リスト

• Same Evidence, Different Target: Decoding How Diagnostic Evidence Bears on Causal Questions from Language-Model States [7.032871370232397]
  因果的目標を変更しながら,同一の診断的証拠を口頭で繰り返し示すペアプロンプトを導入する。 それぞれのプロンプトは、証拠が因果問題にどのように耐えられるかに応じて、Favors、Challenges、Unresolved、Wrong Targetと呼ばれる。 我々はQwen2.5-7B-インストラクタの直交変圧器ブロックから最終トーケン隠れ状態を分析する。
  論文  参考訳（メタデータ） (2026-07-29T13:56:37Z)
• Before the Action: Benchmarking LLMs on Prospective Hypothesis Discovery [95.44432473367836]
  大規模言語モデル(LLM)は、事前に特定された質問に答える能力に優れるが、未解決の未解決段階をナビゲートする能力はほとんど測定されていない。 仮説探索(PHD)を導入し,不確定な証拠から,仮説空間を自律的に構築することをモデルに求める。 本稿では,6つの科学的・分析的領域にわたる988ケースのベンチマークであるHypoArenaと,オープンエンド仮説セットの評価フレームワークであるHypoEvalを紹介する。
  論文  参考訳（メタデータ） (2026-07-17T08:56:43Z)
• Diagnosing Evidence Utilization in Long-Context and Retrieval-Augmented Language Models under Matched Evidence Conditions [0.0]
  モデルはパラメトリックの先行情報から回答したり、存在する証拠を使わなかったり、関連するテキストを最終回答に変換することなく引用したりすることができる。 本稿では,エビデンス利用評価のための4条件診断プロトコルを提案する。
  論文  参考訳（メタデータ） (2026-06-04T22:44:57Z)
• Predicting fixed-sample test decisions enables anytime-valid inference [0.3222802562733787]
  我々は,任意の固定サンプル仮説テストから任意の有意なテストに変換する簡単な手順を導入する。 我々は、null仮説が偽である場合に、かなりのサンプル貯蓄でType-Iエラー制御と準最適パワーを確保する。 臨床試験などの分野では、早期に安全に停止することで、患者が最高の治療を受けられるようにし、効果的な治療法の開発を加速することができる。
  論文  参考訳（メタデータ） (2026-02-14T20:17:51Z)
• Sequential Predictive Two-Sample and Independence Testing [114.4130718687858]
  逐次的非パラメトリック2サンプルテストと独立テストの問題点について検討する。 私たちは賭けによる(非パラメトリックな)テストの原則に基づいています。
  論文  参考訳（メタデータ） (2023-04-29T01:30:33Z)
• Sequential Kernelized Independence Testing [77.237958592189]
  我々は、カーネル化依存度にインスパイアされたシーケンシャルなカーネル化独立試験を設計する。 シミュレーションデータと実データの両方にアプローチのパワーを実証する。
  論文  参考訳（メタデータ） (2022-12-14T18:08:42Z)
• Online Control of the False Discovery Rate under "Decision Deadlines" [1.4213973379473654]
  オンラインテスト手順は、一連の仮説テストを通して偽の発見の程度を制御することを目的としている。 提案手法は,テストの各段階での偽発見率(FDR)と,適応的に選択された停止時間を制御する。
  論文  参考訳（メタデータ） (2021-10-04T17:28:09Z)
• Tracking disease outbreaks from sparse data with Bayesian inference [55.82986443159948]
  新型コロナウイルス(COVID-19)のパンデミックは、感染発生時の感染率を推定する新たな動機を与える。 標準的な手法は、より細かいスケールで共通する部分的な観測可能性とスパースなデータに対応するのに苦労する。 原理的に部分観測可能なベイズ的枠組みを提案する。
  論文  参考訳（メタデータ） (2020-09-12T20:37:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。