論文の概要: CADS: Measuring the Incremental Contribution of LLM Proposers in Sequential Biological Screens
- arxiv url: http://arxiv.org/abs/2610.24597v1
- Date: Sat, 17 Oct 2026 10:02:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-22 17:30:40.096031
- Title: CADS: Measuring the Incremental Contribution of LLM Proposers in Sequential Biological Screens
- Title(参考訳): CADS:シークエンシャル・バイオ・スクリーンにおけるLCMプロポーラのインクリメンタル・コントリビューションの測定
- Abstract要約: 本稿では,同一のLLMループに対して提案者の漸進値を定量化する誤差制御計測フレームワークを提案する。
DepMapが支援するシミュレーションでは、CADSは2つの評価成果物を公開している。
初期の20種の種子では、テスト候補の履歴をQwen2.5-7Bに供給し、純寄与は+0.35に、95%の間隔で0を覆い、+2.90にシフトする。
- 参考スコア(独自算出の注目度): 11.933423285201899
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models are increasingly used to guide sequential biological screens, yet standard evaluations rely on raw hit counts that conflate a proposer's value with the discovery capacity of the underlying algorithmic harness. Adaptive sampling and corrupted experimental readouts also leave standard feedback comparisons without a false-discovery guarantee. We present Certified Agentic Discovery Screens (CADS), an error-controlled measurement framework that quantifies a proposer's incremental value against an identical LLM-free loop. By integrating capped likelihood-ratio bounds, e-processes, and complete-family e-BH, CADS controls the terminal false discovery rate under the stated null and corruption conditions despite arbitrary dependence, adaptive sampling, and optional stopping. In DepMap-backed simulations, CADS exposes two evaluation artifacts: the LLM-free harness alone clears the feedback gate, and raw origin counts overstate LLM contributions because LLM picks displace fallback discoveries. On the initial 20 seeds, supplying tested-candidate history to Qwen2.5-7B shifts its net contribution from +0.35, with a 95% interval covering zero, to +2.90, with the interval above zero. This initial net effect did not persist in a 50-seed matched-quota replication. These results support net gain over an LLM-free loop, measured between separately certified sets, as the appropriate measure of proposer contribution.
- Abstract(参考訳): 大規模言語モデルは、シーケンシャルな生物学的スクリーンを導くためにますます使われているが、標準的な評価は、アルゴリズムハーネスの発見能力とプロジェクタの価値を分割する生のヒット数に依存する。
適応的なサンプリングと破損した実験読出も、偽発見保証なしで標準的なフィードバック比較を残している。
我々は,同一のLLMループに対して提案者の漸進値を定量化する誤り制御計測フレームワークであるCertified Agentic Discovery Screens (CADS)を提案する。
CADSは、任意の依存、アダプティブサンプリング、および任意の停止にもかかわらず、列挙された確率比境界、e-プロセス、および完全ファミリーe-BHを統合することにより、記述されたヌル条件および汚職条件下での終端偽発見率を制御する。
DepMapが支援するシミュレーションでは、CADSは2つの評価成果を公開している: LLMフリーハーネスはフィードバックゲートをクリアする。
初期の20種の種子では、テスト候補の履歴をQwen2.5-7Bに供給し、純寄与は+0.35に、95%の間隔で0を覆い、+2.90にシフトする。
この初期効果は50シードの一致したクォータ複製では持続しなかった。
これらの結果は、提案者貢献の適切な尺度として、個別に認定された集合間で測定されたLLMフリーループ上のネットゲインをサポートする。
関連論文リスト
- Mapping CVEs to MITRE ATT&CK Techniques: A Curated Gold-Set Classifier and the Limits of LLM-Assisted Label Expansion [46.262619407930266]
我々は、専門家のMITRE Center for Threat-Informed Defense mappingsから1,207 CVEのキュレートされた金のデータセットにマルチラベル分類器をトレーニングする。
その結果得られたモデルは、ゼロショットの埋め込み類似性のベースラインと比較して、おおよそdoubles recall@5である。
次に,LLMによるラベリングが金のデータセットを拡張できるかどうかを検討する。
論文 参考訳(メタデータ) (2026-07-28T10:59:04Z) - LLM-as-a-Verifier: A General-Purpose Verification Framework [74.40111651545979]
本稿では,汎用検証フレームワーク LLM-as-a-Verifier を紹介する。
追加のトレーニングを必要とせずに、エージェントタスクに対してきめ細かいフィードバックを提供する。
いくつかのベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2026-07-06T17:59:35Z) - PAC-Bayesian Certificates for Quadratic Closed-Loop Control [0.0]
PAC-ベイズ境界は、データ依存予測器に対する有限サンプル保証を提供する。
学習に基づく制御にそれらを適用することは、自然な目的が二次的な軌道コストであるため困難である。
PAC-Bayes-Chernoff 証明書の集合を,実現可能な閉ループ応答に対する後部分布として提供する。
論文 参考訳(メタデータ) (2026-06-26T17:24:21Z) - CauTion: Knowing When to Trust LLMs for Ensemble Causal Discovery [51.07538881798502]
大規模言語モデル(LLM)は、統計的推論を補完する将来的なドメイン知識の源を提供する。
我々は、LLMドメイン知識を統計的因果探索アルゴリズムのアンサンブルに確実に統合するフレームワークであるCauTionを提案する。
CauTionは、データ中心とLLM拡張ベースラインの両方を一貫して上回る。
論文 参考訳(メタデータ) (2026-06-02T13:07:43Z) - Dual-Tree LLM-Enhanced Negative Sampling for Implicit Collaborative Filtering [40.89512526196666]
大型言語モデル(LLM)は推奨システムにおいて有望であることを示している。
既存の方法はテキスト情報とタスク固有の微調整に依存しており、実用性に制限がある。
テキストフリーかつ微調整不要なデュアルトレー型負サンプリング法(DTL-NS)を提案する。
論文 参考訳(メタデータ) (2026-02-20T14:32:41Z) - Confident Rankings with Fewer Items: Adaptive LLM Evaluation with Continuous Scores [25.638175689769934]
IRTベースの適応テストの原則的拡張を連続有界スコア(ROUGE, BLEU, LLM-as-a-Judge)に適用する。
本稿では,信頼性の高いモデルランキングを実現するための適応的停止基準付き不確実性意識ランクアを導入し,できるだけ少数の項目をテストする。
提案手法では,各項目の2%をランダムサンプリングよりも格付け相関を0.12改善し,95%の精度で信頼度予測を行う。
論文 参考訳(メタデータ) (2026-01-20T11:59:13Z) - Constrained Adaptive Rejection Sampling [27.579645342312674]
言語モデル(LM)は、生成した出力が厳密な意味的制約や構文的制約を満たす必要があるアプリケーションでますます使われている。
既存の制約付き生成へのアプローチは、スペクトルに沿って低下する: 欲求的制約付き復号法は、復号時の有効性を強制するが、LMの分布を歪ませる。
本稿では、分布歪みを伴わないRSの試料効率を厳密に改善するアプローチである、適応型サンプリング(CARS)を提案する。
論文 参考訳(メタデータ) (2025-10-02T11:17:26Z) - Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
生成のための教師なし共形推論フレームワークを提案する。
我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。
その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
論文 参考訳(メタデータ) (2025-09-26T23:40:47Z) - Provenance: A Light-weight Fact-checker for Retrieval Augmented LLM Generation Output [49.893971654861424]
検索強化生成(RAG)から非実効出力を検出する軽量な手法を提案する。
私たちは、二項決定を下すためにしきい値にできる事実性スコアを計算します。
実験の結果, ROC曲線 (AUC) の下では, 関連するオープンソースデータセットの広範囲にわたって高い面積を示すことができた。
論文 参考訳(メタデータ) (2024-11-01T20:44:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。