論文の概要: AI Scientists Are Only as Good as Their Evidence: A Stratified Ablation of Proprietary Data and Reasoning Skills in Drug-Asset Valuation
- arxiv url: http://arxiv.org/abs/2606.09556v1
- Date: Mon, 08 Jun 2026 14:31:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-09 14:42:07.26794
- Title: AI Scientists Are Only as Good as Their Evidence: A Stratified Ablation of Proprietary Data and Reasoning Skills in Drug-Asset Valuation
- Title（参考訳）: AI科学者は、その証拠と同等に優れている:ドラッグ・アセット・バリュエーションにおける、プロプライエタリなデータと推論スキルの段階的アブレーション
- Authors: Yinan Wang,
- Abstract要約: 生産評価エージェントに制御された3本腕のアブレーションを実行する。
A は Web のみの LLM アナリストであり,B にはパブリックな構造化ツールと 14 次元のバリュエーションプレイブックが追加されている。
C言語には独自のパイプライン、トライアル、インテリジェンスを備えたNoah AIコーパスが追加されている。
- 参考スコア（独自算出の注目度）: 5.448055492807343
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI Scientist agents are often evaluated as if capability were mainly a function of model quality, prompting, or reasoning scaffolds. We test a different hypothesis in drug-asset valuation: for knowledge-intensive scientific decisions, the limiting factor is often the evidence substrate the agent can access. We run a controlled three-arm ablation on a production valuation agent: A is a plain web-only LLM analyst, B adds public structured tools plus a 14-dimension valuation playbook, verifier, objectivity policy and red-team, and C adds the proprietary Noah AI corpus of curated pipeline, trial and deal intelligence. Across a 13-asset stratified benchmark, B improves calibration and audit discipline: tier-in-range accuracy rises from 0.80 to 0.89 and objectivity from 3.16 to 3.30. But B does not remove the factual ceiling. Under capability-superset accounting, A and B recover only 0.25 and 0.38 of the curated gold competitive record, while C recovers 0.96; on the curated long-tail subset, C reaches 0.93 vs. 0.26/0.30. Raw blind-panel decision quality is similar for A and B (7.01 vs. 6.96), so we introduce completeness-aware decision utility: informed decision-quality = decision-quality x gold-coverage. On this metric, C reaches 7.43 vs. 1.76/2.57 for A/B. Even a perfect non-proprietary-data report would be capped at 3.83 by B's coverage. The result is not that reasoning scaffolds are unimportant; they improve calibration and discipline. Rather, proprietary evidence sets the upper bound of what the AI Scientist can know and therefore decide.
- Abstract（参考訳）: AIサイエンティストエージェントは、能力が主にモデル品質、プロンプト、または足場を推論する機能であるかのように評価されることが多い。
知識集約的な科学的判断では、制限要因はエージェントがアクセス可能なエビデンスであることが多い。
Aは、WebのみのLLMアナリストであり、Bは、パブリックな構造化されたツールに加えて、14次元のバリュエーションプレイブック、バリデーション、客観性ポリシー、レッドチーム、Cは、キュレートされたパイプライン、トライアル、ディールインテリジェンスのプロプライエタリなNoah AIコーパスを追加しています。
13の階層化されたベンチマークで、Bは校正と監査の規律を改善する: 層内精度は0.80から0.89に上昇し、客観性は3.16から3.30に向上する。
しかし、Bは実際の天井を外さない。
キャパシティ・スーパーセットの会計では、AとBはキュレートされた金競争記録の0.25と0.38しか回収せず、Cは0.96を回収し、キュレートされたロングテールサブセットでは、Cは0.93と0.26/0.30に達する。
A と B (7.01 vs. 6.96) に類似しているため、完全性を考慮した意思決定ユーティリティ: 情報判定品質 = 判定品質 x ゴールド被覆を導入する。
この計量で、C は A/B に対して 7.43 対 1.76/2.57 に達する。
完全なノンプロプライエタリデータレポートでさえ、Bの報道によって3.83に抑えられることになる。
その結果、推論の足場は重要ではなく、校正と規律を改善している。
むしろ、プロプライエタリなエビデンスによって、AIサイエンティストが知っていることの上限が設定され、従って決定される。
関連論文リスト
- Design and Evaluation of Multi-Agent AI Oracle Systems for Prediction Market Resolution [0.0]
予測市場は、不確実な出来事を予測するために集合的なインテリジェンスを集約する。
既存のオラクルシステムは、高速だが不安定な自動化と、正確だがコストのかかる人間の仲裁とをトレードオフする。
マルチエージェントLLMアーキテクチャが単一モデルベースラインよりもオラクル分解能を向上できるかどうかを評価する。
論文 参考訳（メタデータ） (2026-05-29T03:44:19Z) - Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
テキスト検出器は、事前訓練された典型軸を増幅する。
タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。
RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
論文 参考訳（メタデータ） (2026-05-20T19:08:38Z) - The Endogeneity of Miscalibration: Impossibility and Escape in Scored Reporting [2.3698341511302443]
自律エージェントからの真実の報告を排除することは、スケーラブルなAI監視における中核的な問題である。
プリンシパルは、厳密に適切なスコアリングルールを使用してエージェントのレポートをスコアリングするが、エージェントはまた、非正確チャンネルを通じてレポートの恩恵を受ける。
我々の主な成果は内在性であり、プリンシパルの最適監視は必ずしもスクリーンタイプに非ファイン承認関数を使用する。
論文 参考訳（メタデータ） (2026-05-08T12:42:28Z) - The Compliance Trap: How Structural Constraints Degrade Frontier AI Metacognition Under Adversarial Pressure [1.885184624108961]
11モデル中8モデルが対向圧下で破滅性メタ認知低下をきたした。
コンプライアンストラップ」を識別する
高度な推論能力を持つモデルは、最も深刻な絶対的な劣化を示す。
論文 参考訳（メタデータ） (2026-05-04T09:40:21Z) - Cognitive Friction: A Decision-Theoretic Framework for Bounded Deliberation in Tool-Using Agents [0.0]
制約のないツール使用エージェントは、どの情報ソースをクエリして実行するかを決めなければなりません。
本稿では,これらの障害モードを認知的摩擦によって形式化する決定論的枠組みであるTCAを提案する。
我々は,TCAを2つの制御された環境において,停止品質,混雑時の行動選択,時間的緊急性の分離を図った。
論文 参考訳（メタデータ） (2026-03-31T17:30:25Z) - Criterion Validity of LLM-as-Judge for Business Outcomes in Conversational Commerce [10.670366057920205]
対話型AIの評価には多次元対話評価が広く用いられている。
品質スコアが、彼らが提供しようとするダウンストリームの結果と結びついているかどうか、ほとんどテストされていないままです。
LLM-as-Judgeで実装した7次元評価ルーブリックを、検証されたビジネス変換に対して試験する。
論文 参考訳（メタデータ） (2026-03-11T04:47:42Z) - Explainable Admission-Level Predictive Modeling for Prolonged Hospital Stay in Elderly Populations: Challenges in Low- and Middle-Income Countries [65.4286079244589]
長期滞在期間 (pLoS) は, 院内感染のリスクに関連する重要な要因である。
入院レベルの患者と病院の診療データを用いて, pLosの予測モデルを開発し, 解説する。
論文 参考訳（メタデータ） (2026-01-07T23:35:24Z) - Shoot First, Ask Questions Later? Building Rational Agents that Explore and Act Like People [81.63702981397408]
限られたリソースを前提として、言語モデル(LM)に基づいたエージェントは、どの程度合理的に行動するのか?
エージェント情報探索をベンチマークし,強化する手法を開発し,人間の行動から洞察を抽出する。
Spotterエージェントでは、LMのみのベースラインよりも14.7%の精度で精度を向上し、Captainエージェントでは、期待情報ゲイン(EIG)を0.227ビット(達成可能なノイズ天井の94.2%)まで引き上げる。
論文 参考訳（メタデータ） (2025-10-23T17:57:28Z) - LLMs Can Get "Brain Rot"! [68.08198331505695]
ジャンクウェブテキストへの連続曝露は、大規模言語モデル(LLM)の持続的認知低下を誘導する
実Twitter/Xコーパスで制御された実験を行い、ジャンクと逆制御されたデータセットを構築します。
その結果、データ品質がLLM能力の崩壊の原因であることを示す重要な多視点的証拠が得られた。
論文 参考訳（メタデータ） (2025-10-15T13:28:49Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z) - Understanding, Predicting and Better Resolving Q-Value Divergence in
Offline-RL [86.0987896274354]
まず、オフラインRLにおけるQ値推定のばらつきの主な原因として、基本パターン、自己励起を同定する。
そこで本研究では,Q-network の学習における進化特性を測定するために,SEEM(Self-Excite Eigen Value Measure)尺度を提案する。
われわれの理論では、訓練が早期に発散するかどうかを確実に決定できる。
論文 参考訳（メタデータ） (2023-10-06T17:57:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。