論文の概要: Fisher-R1: Training LLM Agents for Reliable Hypothesis Testing
- arxiv url: http://arxiv.org/abs/2608.07437v1
- Date: Fri, 07 Aug 2026 17:22:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-10 16:21:25.581156
- Title: Fisher-R1: Training LLM Agents for Reliable Hypothesis Testing
- Title（参考訳）: Fisher-R1:信頼性仮説テストのためのLDMエージェントの訓練
- Abstract要約: 大規模言語モデル (LLM) エージェントは, 正しく実行された解析にもかかわらず, 誤った結論に至る微妙な推論誤りをしばしば犯すことを示す。
既存のベンチマークは、報告されたp値が統計的に有効かどうかをほとんど評価しないため、この障害モードをキャプチャできない。
P-Benchは、425個のオープンエンドでリアルな仮説テストタスクからなるベンチマークである。
- 参考スコア（独自算出の注目度）: 27.047859625065673
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reliable hypothesis testing is the foundation of many empirical scientific claims. Large language model (LLM) agents are increasingly used to automate this process, as they can inspect datasets, generate code, and produce analyses end-to-end. However, we show that they frequently make subtle inferential errors that lead to incorrect conclusions despite correctly executed analyses. Existing benchmarks fail to capture this failure mode, as they rarely assess whether a reported p-value is statistically valid given the assumptions underlying the data. We address this gap by building P-Bench, a benchmark comprising 425 open-ended, realistic hypothesis-testing tasks spanning economics, biology, and medicine. Each task requires an agent to select a statistical method, compute a p-value, and draw a conclusion given only a scientific hypothesis and a dataset. We further introduce Fisher-R1, an open-weight LLM agent trained for rigorous hypothesis testing using synthetic tasks and reinforcement learning. On P-Bench, Fisher-R1-14B substantially improves over its backbone and outperforms strong proprietary and open-source baselines, including GPT-5.4 and DeepSeekV4-Pro, achieving a 21% average relative improvement in single-trial success over DeepSeek-V4-Pro, with gains up to 26% on the most challenging tasks. Our results demonstrate that current LLM agents lack reliable statistical reasoning for hypothesis testing and that reinforcement learning on tasks with verified statistical reward substantially improves reliability.
- Abstract（参考訳）: 信頼性のある仮説テストは多くの経験的な科学的主張の基礎である。
大規模言語モデル(LLM)エージェントは、データセットを検査し、コードを生成し、エンドツーエンドの分析を生成することができるため、このプロセスを自動化するためにますます使用されている。
しかし, 解析が正しく実行されているにもかかわらず, 誤った結論を導くような微妙な推論誤りをしばしば犯すことが判明した。
既存のベンチマークは、データの背後にある仮定から報告されたp値が統計的に有効であるかどうかをほとんど評価しないため、この障害モードを捕捉することができない。
P-Benchは、経済学、生物学、医学にまたがる、425のオープンエンドで現実的な仮説テストタスクからなるベンチマークである。
各タスクには、統計的方法を選択し、p値を計算し、科学的仮説とデータセットのみを与えられた結論を引き出すためのエージェントが必要である。
さらに、合成タスクと強化学習を用いた厳密な仮説テストのために訓練されたオープンウェイトLLMエージェントであるFisher-R1を紹介する。
P-Benchでは、Fisher-R1-14Bはバックボーンを大幅に改善し、GPT-5.4やDeepSeekV4-Proなど、プロプライエタリでオープンソースのベースラインを上回り、DeepSeek-V4-Proよりも平均21%改善し、最も困難なタスクでは最大26%向上した。
以上の結果から,従来のLCMエージェントには仮説検証のための信頼性のある統計的推論が欠如しており,統計的報奨のあるタスクにおける強化学習が信頼性を著しく向上することが示唆された。
関連論文リスト
- NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。
既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。
本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文 参考訳（メタデータ） (2026-09-10T08:34:56Z) - Rewarding the Scientific Process: Process-Level Reward Modeling for Agentic Data Analysis [68.28714988482703]
プロセス・リワード・モデル(PRM)は、LLM(Large Language Models)の推論能力を増強することに成功した。
本稿では,一般ドメインのPRMがデータ分析エージェントの監督に苦慮していることを示す。
本稿では,新しい環境対応生成プロセス報酬モデルであるDataPRMを紹介する。
論文 参考訳（メタデータ） (2026-04-27T09:00:30Z) - When Stability Fails: Hidden Failure Modes Of LLMS in Data-Constrained Scientific Decision-Making [0.0]
大規模言語モデル(LLM)は、データ制約された科学的作業フローにおける意思決定支援ツールとして、ますます使われてきている。
LLM意思決定の4次元を明示的に分離する制御された行動評価フレームワークを提案する。
統計的基盤真理から分岐しながら, LLM がほぼ完全なラン・ツー・ラン安定性を示すことを示す。
論文 参考訳（メタデータ） (2026-03-16T19:17:09Z) - STAR : Bridging Statistical and Agentic Reasoning for Large Model Performance Prediction [78.0692157478247]
本稿では,知識駆動型エージェント推論を用いて,データ駆動型静的予測を橋渡しするフレームワークSTARを提案する。
STARはスコアベースとランクベースの両方の基準線を一貫して上回ることを示す。
論文 参考訳（メタデータ） (2026-02-12T16:30:07Z) - Beyond Perfect Scores: Proof-by-Contradiction for Trustworthy Machine Learning [0.0]
モデルが真の臨床的手がかりに依存しているか、あるいはデータの急激な相関に依存しているかは、しばしば不明である。
本稿では, 証明・比較に基づく信頼性試験について述べる。
我々のアプローチは、潜在的な成果フレームワークに基づいて、スプリアスラベルを慎重にトレーニングし、テストする。
論文 参考訳（メタデータ） (2026-01-10T22:08:14Z) - Emulating Public Opinion: A Proof-of-Concept of AI-Generated Synthetic Survey Responses for the Chilean Case [0.0]
大規模言語モデル (LLMs) は、調査研究における方法論的および応用的な革新のための有望な道を提供する。
チリの世論確率論的調査から, LLM生成型人工サーベイ応答の信頼性を評価する。
論文 参考訳（メタデータ） (2025-09-11T21:43:59Z) - Conformal P-Value in Multiple-Choice Question Answering Tasks with Provable Risk Control [0.0]
本研究では,多目的質問応答(MCQA)における大規模言語モデル(LLM)の信頼性向上を目的とした,テスト強化型コンフォメーション予測(CP)フレームワークを提案する。
CPは予測セットに対して統計的に厳格な限界被覆保証を提供し、重要試験は確立された統計的厳密さを提供する。
本研究は,高度QAアプリケーションにおける信頼性の高いLCMデプロイメントの統計的枠組みを確立する。
論文 参考訳（メタデータ） (2025-08-07T16:46:47Z) - Reasoning or Memorization? Unreliable Results of Reinforcement Learning Due to Data Contamination [67.67725938962798]
大規模なWebスケールコーパスの事前トレーニングは、広く使用されているベンチマークでデータ汚染の影響を受けやすいQwen2.5が残る。
我々はRandomCalculationと呼ばれる任意の長さと難易度を持つ完全クリーンな算術問題を生成するジェネレータを導入する。
精度の高い報酬信号のみがベースモデルの性能境界を超える安定した改善をもたらすことを示す。
論文 参考訳（メタデータ） (2025-07-14T17:55:15Z) - The Consistency Hypothesis in Uncertainty Quantification for Large Language Models [22.60039074743706]
モデルAPIアクセスのみに依存するブラックボックス不確実性定量化(UQ)手法は,その実用的メリットから人気を博している。
本稿では,自信の代用として生成整合性を利用するUQ手法の背景にある暗黙的な仮定について検討する。
信頼度推定のための世代間類似性を集約するデータフリーなブラックボックスUQ手法を提案する。
論文 参考訳（メタデータ） (2025-06-27T01:53:15Z) - MOOSE-Chem3: Toward Experiment-Guided Hypothesis Ranking via Simulated Experimental Feedback [136.27567671480156]
先行テストからのフィードバックに基づいて仮説を優先順位付けする実験誘導ランキングを導入する。
我々は、シーケンシャルな意思決定問題として実験誘導型ランキングを定めている。
我々のアプローチは、実験前のベースラインと強い改善を著しく上回る。
論文 参考訳（メタデータ） (2025-05-23T13:24:50Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳（メタデータ） (2022-01-11T23:01:12Z) - Showing Your Work Doesn't Always Work [73.63200097493576]
『Show Your Work: Improved Reporting of Experimental Results』では、最高の学習モデルの有効性を報告している。
解析的にそれらの推定器は偏りがあり、エラーを起こしやすい仮定を用いていることを示す。
我々は、偏見のない代替案を導き、統計的シミュレーションから経験的な証拠で主張を裏付ける。
論文 参考訳（メタデータ） (2020-04-28T17:59:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。