論文の概要: Predictive Credit: Measuring What Scientific Explanations Add to Experimental Forecasts
- arxiv url: http://arxiv.org/abs/2610.00314v1
- Date: Tue, 29 Sep 2026 00:36:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:23.599307
- Title: Predictive Credit: Measuring What Scientific Explanations Add to Experimental Forecasts
- Title（参考訳）: 予測クレジット:科学的な説明が実験的な予測にどんな影響を及ぼすかを測定する
- Abstract要約: 5つのチェックはコミットメント、デリバリ、予測ゲイン、アライメント、既知の信号の取り込みを追跡する。
Tox21のROC AUCインターバルスコアハーネステストは未使用であった。
OpenMLのジョイントフォーメーション、ポイント等価性、リピータビリティルールは未完成であった。
- 参考スコア（独自算出の注目度）: 0.7460935829208671
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Research agents explain planned experiments. We measure predictive credit with paired forecasts sharing an intervention, forecaster, and outcome while varying description, matched explanation, and donor context. Five checks track commitment, delivery, predictive gain, alignment, and known-signal uptake. Across 336 prospective states in controlled learning, 12 Tox21 endpoints, and 24 OpenML tasks, v5's frozen credit decision was inconclusive. Tox21's preregistered ROC AUC interval-score harm test was unmet ($D-M=-.0026$, 95 percent interval [$-.0174$, .0104]); OpenML's joint formation, point-equivalence, and repeatability rule was unmet. Matched point-accuracy gains over description remained unconfirmed, and Tox21/OpenML seed-donor intervals spanned zero. Under requested DeepSeek V4 Pro, matched and donor cards reduced secondary Tox21 drift by 64.5 and 59.1 percent. A DeepSeek V4 Flash replay raised matched point MAE from .01823 to .02020 and missed matched-donor interval-score equivalence. OpenML full-card assignment widened nominal 80 percent intervals by 21 percent, with 49.3 percent coverage versus 51.4 percent for description and content in 66/144 cards. Direct-text Flash delivered all 144 notes without detectable matched point-accuracy gain. A researcher-authored mechanism positive control lowered point MAE by 2.60 percentage points versus description. The protocol measures predictive credit for research-agent benchmarks and scientific forecasting; natural-explanation credit remained unconfirmed at the tested donor resolutions.
- Abstract（参考訳）: 研究員は計画された実験を説明します。
我々は、介入、予測、結果を共有するペアの予測と一致した説明、一致した説明、ドナーコンテキストで予測信用を測定する。
5つのチェックはコミットメント、デリバリ、予測ゲイン、アライメント、既知の信号の取り込みを追跡する。
制御学習、12のTox21エンドポイント、24のOpenMLタスクにおいて、v5の凍結されたクレジット決定は決定的ではなかった。
Tox21 の ROC AUC インターバルスコアハーネステストは未平均 (D-M=-.0026$, 95% インターバル [$-.0174$, .0104]) であった。
Tox21/OpenMLシードドナー間隔は0。
要求されたDeepSeek V4 Proでは、マッチカードとドナーカードが2次のTox21ドリフトを64.5と59.1%減少させた。
DeepSeek V4 Flashのリプレイは、.01823から.02020までマッチしたポイントMAEを上昇させ、マッチしたドナーのインターバルスコアの等価性を逃した。
OpenMLのフルカードの割り当ては、名目上の80%の間隔を21%拡大し、49.3%がカバーし、66/144カードでは51.4パーセントがコンテンツだった。
ダイレクトテキストFlashは、検出可能な一致したポイント精度の上昇を伴わない144のノートを全て配信した。
研究者が承認したメカニズムの正の制御により、ポイントMAEは記述に対して2.60ポイント低下した。
このプロトコルは、調査対象のベンチマークと科学的予測のための予測クレジットを計測し、試験されたドナー決議では、自然な説明クレジットは未確認のままであった。
関連論文リスト
- Agent Error Dataset: Scaling 50,000 Error--Diagnosis Pairs for Failure Analysis and Error-Aware Post-Training [45.727227890697556]
我々は,9,961のソースタスクから50,228のエラー診断ペアからなるエージェントエラーデータセット(AED)を紹介した。
5段階のAgenic Error-to-Trainingパイプラインは自然の故障を収集し、診断と修正案を生成し、記録された証拠と照合する。
アクタートレーニングのレシピの比較において、アクションオンリーの修復トレーニングは成功オンリーのトレーニングよりもWebShop-liteの方が6.67ポイント高い。
論文 参考訳（メタデータ） (2026-09-30T16:40:22Z) - The Price of Peeking: Anytime-Valid Leakage Detection on ML-KEM EM Traces [45.88028371034407]
本研究は, ベットによる検査に基づく漏洩検出について検討する。
13000～20000のサンプルに対して繰り返し表示される$|t|>4.5$は2.7-12.9%の複製で誤報を発生させた。
論文 参考訳（メタデータ） (2026-09-27T14:14:10Z) - WhatWorkedBench: Benchmarking Experimental Understanding in AI Agents [0.7460935829208671]
WhatWorkedBenchは、取得、推論、プログラム構造、配信をリンクする。
カタログは、36のタスク条件、30のソース、8のワークフローファミリ、1248のインデックス付き構成レコードで構成されている。
論文 参考訳（メタデータ） (2026-09-23T07:49:24Z) - TimeLitmus: A Diagnostic Benchmark for Cross-Modal Understanding and Explanation Faithfulness in Event-Conditioned Time-Series Prediction [48.104261148149654]
TimeLitmusは、イベント条件付き時系列予測における相互理解と忠実さの説明のための診断ベンチマークである。
TimeLitmusには財務と交通の計4,856件の評価記録がある。
論文 参考訳（メタデータ） (2026-09-21T14:38:49Z) - Measuring the Checker: Mutation Analysis for GPU-Kernel Benchmark Oracles [86.41218924166775]
LLM生成のGPUカーネルのベンチマークは、ランダムな入力とゆるやかな浮動小数点耐性で正確性を決定する。
最近の研究は、これらのチェッカーは弱く、手動でパッチを当てることに同意している。
本稿では,カーネルベンチマークの精度指標として突然変異解析を導入する。
論文 参考訳（メタデータ） (2026-09-02T10:30:05Z) - The "Curse of Knowledge" in LLM Query Simulation: Concept Provenance for Tracing Answer-Side Intrusion [8.706093337738869]
本稿では,背景支援型,人中心型,人尾型,候補型応答側ゾーンに問合せ概念を割り当てるフレームワークである概念実証を紹介した。
概念証明を100UQV100トピック,8LLM,5プロンプト条件の77,004クエリに適用し,5条件平均以上1.0のクロスパイプトークン-HCIRスピアマンローを求める。
人間の検証は68.2%の精度で緩和され、45.5%の知識侵入と45.0パーセントのデプロイメント侵入という2つのメカニズムが明らかになった。
論文 参考訳（メタデータ） (2026-08-26T00:06:31Z) - Stage-Replay Divergence Follows the KV Cache: Fixed-Prefix Precision Controls and Bidirectional Cache Transplantation [51.56484100374058]
Stage-replayは中間トークンプレフィックスを再構築し、プレフィックスに最初に到達したデコーダ状態からの継続として、新しいプリフィル継続を処理する。
一致した200itemの実験では、保持されたライブキャッシュと同一の整数トークンのワンショットプリフィルを比較し、両側に正確なレプリカを配置する。
論文 参考訳（メタデータ） (2026-07-30T16:41:40Z) - Selective Prediction and Uncertainty-Aware Referral for Pap Smear Classification [3.093890460224435]
本稿では,Herlev Papスミアデータセットの選択的予測と不確実性を考慮した参照について検討する。
ImageNet-pretrained weights with weighted random samples, and two light transformer backbones are fine-tuned on Herlev from ImageNet-pretrained weights with weighted random sample。
統計的に有意な差は認められなかった。
論文 参考訳（メタデータ） (2026-07-15T05:47:31Z) - Multi-Dimensional Behavioral Evaluation of Agentic Stock Prediction Systems Using Large Language Model Judges with Closed-Loop Reinforcement Learning Feedback [1.2362187555287152]
ファイナンスにおける予測評価は、ポイント予測エラーに基づく集計精度測定と予測精度テストに依存している。
本稿では,中間決定プロセス自体を評価することによって,精度試験を補完する行動予測評価手法を提案する。
論文 参考訳（メタデータ） (2026-05-07T06:31:34Z) - Predictive Entropy Links Calibration and Paraphrase Sensitivity in Medical Vision-Language Models [2.064612766965483]
我々は,MedGemma 4BITの分布MIMIC CXRと外分布PadChest chest X ray データセットの5つの不確実性定量化手法を示し,LLaVA RAD7Bのクロスアーキテクチャ検証を行った。
うまく校正された単一モデル法では、一方のフォワードパスからの予測エントロピーは、メドジェマのAUROC 0.711、LLaVARAD p 10 4の0.878、信頼できないと敏感な予測の両方を1つのエントロピーしきい値でフラグ付けることができる。
論文 参考訳（メタデータ） (2026-04-10T04:18:47Z) - Exploring Response Uncertainty in MLLMs: An Empirical Evaluation under Misleading Scenarios [49.53589774730807]
マルチモーダル大規模言語モデル(MLLM)は近年,視覚的質問応答から映像理解に至るまでのタスクにおいて,最先端のパフォーマンスを実現している。
12件のオープンソースMLLMが, 単一の偽装キューを受けた65%の症例において, 既往の正解を覆した。
論文 参考訳（メタデータ） (2024-11-05T01:11:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。