論文の概要: Verifier strength does not buy discovery quality: a pre-registered two-domain test of LLM-based automated research, with post-hoc evidence pointing to proposer-pool composition

• arxiv url: http://arxiv.org/abs/2611.04420v1
• Date: Tue, 03 Nov 2026 07:04:40 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:30:07.713328
• Title: Verifier strength does not buy discovery quality: a pre-registered two-domain test of LLM-based automated research, with post-hoc evidence pointing to proposer-pool composition
• Title（参考訳）: 検証器の強度は発見の質を損なうものではない--LLMによる自動研究の予備登録2ドメイン試験とポストホックエビデンスによるプロジェクタプール構成
• Abstract要約: 自動的な研究パイプラインは、暗黙の賭けでLLMプロジェクタと検証器をペアリングする。 私たちはこの賭けを、ジョブショップスケジューリングと車両のエッジオフロードという、2つの実データドメインでテストします。 より良い発見への最速の道は、プールを広げることであり、門を締めることではない。
• 参考スコア（独自算出の注目度）: 22.960695200368296
• License:
• Abstract: Automated research pipelines pair an LLM proposer with a verifier on an implicit bet: discovery quality rises with verification strength. Under a pre-registered protocol we test this bet in two real-data domains -- job-shop scheduling and vehicular edge offloading on Beijing T-Drive trajectories -- across 100 matched LLM/random pairs per domain and three verifier tiers. The manipulation binds -- a 429-case mutation battery shows scores rising across tiers -- yet the paired LLM-over-random advantage does not scale with it (A, one-sided p=0.1115; D, p=0.9994), and in D shrinks under the strict tier (margin contrast -0.040, p=0.0013). The two lower gates promote identical candidates in 100/100 and 99/100 pairs, so the strict order is untestable when they coincide. Constructively, LLM proposals carry a real paired advantage over random controls, but a post-hoc union-pool analysis shows the fastest path to better discovery is widening the pool, not tightening the gate: mixing the two pools adds +1.52 holdout-value units in domain A (one-sided Wilcoxon, n=100, p=0.0002) -- evidence that pool composition, not verification strength, is the lever. Criteria, ledgers and scripts are archived on Zenodo (DOI: 10.5281/zenodo.23308866).
• Abstract（参考訳）: 自動研究パイプラインは、LLMプロジェクタと暗黙の賭けで検証器をペアリングする。 事前登録されたプロトコルの下で、我々はこの賭けを2つの実データドメイン(ジョブショップスケジューリングと北京のT-Driveトラジェクトリの車体エッジオフロード)でテストする。100個のマッチしたLLM/ランダムペアと3つの検証済みティアにまたがる。バインドバインド -- 429ケースの変異バッテリは、階層にわたって上昇するスコアを示している。しかし、ペア化されたLLM-オーバーランダムの利点は、それとスケールしない(A、一方のp=0.1115; D、p=0.9994)。Dは厳密なティア(マージンコントラスト-0.040,p=0.0013)の下で縮小する。 2つの下降ゲートは100/100と99/100のペアで同一の候補を推進しているため、一致した場合の厳密な順序は証明できない。 構成的には、LLMの提案はランダム制御に対して真の対の優位性を持っているが、ポストホック・ユニオン・プール分析(英語版)は、2つのプールを混合するとドメインA(一方のウィルコクソン、n=100, p=0.0002)に+1.52のホールドアウト値単位が付加され、プールの構成が検証強度ではなくレバーであることが証明されている。 基準、台帳、脚本は善導(DOI:10.5281/zenodo.23308866)にアーカイブされている。

関連論文リスト

• CADS: Measuring the Incremental Contribution of LLM Proposers in Sequential Biological Screens [11.933423285201899]
  本稿では,同一のLLMループに対して提案者の漸進値を定量化する誤差制御計測フレームワークを提案する。 DepMapが支援するシミュレーションでは、CADSは2つの評価成果物を公開している。 初期の20種の種子では、テスト候補の履歴をQwen2.5-7Bに供給し、純寄与は+0.35に、95%の間隔で0を覆い、+2.90にシフトする。
  論文  参考訳（メタデータ） (2026-10-17T10:02:32Z)
• Coverage, Not Credit: Failure-Credit Routing of Zeroth-Order Perturbation Budgets Does Not Improve On-Pool Sample Efficiency for LLM Agents [0.0]
  軌道レベルのクレジット割り当ては、検証可能な信号のみを使用して、どのモジュールが障害を引き起こすかをローカライズすることができる。 フェールクレジットは、固定されたゼロオーダー/進化ストラテジー(ZO/ES)の摂動予算をルートすべきかどうかを問う。 合成環境と凍結したQwen2.5-1.5B/3BおよびSmolLM2-1.7Bのエージェントの至る所で、オンプール比較において均一配置よりも統計的に検出可能な改善は見つからない。
  論文  参考訳（メタデータ） (2026-08-28T07:27:02Z)
• Accurate Ensembles, Fragile Narratives: Multi-Scale Stacking and a Fidelity Audit of LLM-Generated Explanations for Credit Risk [0.0]
  クレジットスコアリングは、決定ロジックをパラメータから読み取ることができないモデルに依存している。 共通する提案は、言語モデルとのギャップを埋める: 特徴属性を計算し、それらを LLM に渡し、合理的に記述させる。 このようなシステムをエンド・ツー・エンドに構築し、約束の後半が成立するかどうかをテストします。
  論文  参考訳（メタデータ） (2026-08-08T13:22:14Z)
• One Human, $N$ Agents: Audit-Budget Allocation for LLM Agent Fleets under Miscalibrated, Correlated Confidence [41.99844472131922]
  一人の人間が1ラウンド当たり$N$ LLMエージェントを予算$B ll N$監査で監査しなければならない。 我々はこれを、2段階のガウス的コーパスに対する予算付きノイズ検査としてモデル化し、信頼度の高い監査がランダムである場合の誤校正しきい値($*$過去)を特定する。
  論文  参考訳（メタデータ） (2026-07-30T14:52:36Z)
• Mapping CVEs to MITRE ATT&CK Techniques: A Curated Gold-Set Classifier and the Limits of LLM-Assisted Label Expansion [46.262619407930266]
  我々は、専門家のMITRE Center for Threat-Informed Defense mappingsから1,207 CVEのキュレートされた金のデータセットにマルチラベル分類器をトレーニングする。 その結果得られたモデルは、ゼロショットの埋め込み類似性のベースラインと比較して、おおよそdoubles recall@5である。 次に,LLMによるラベリングが金のデータセットを拡張できるかどうかを検討する。
  論文  参考訳（メタデータ） (2026-07-28T10:59:04Z)
• Which Defense Closes Which Threat? Attributing OWASP-LLM-Top-10 Coverage and Its Brittleness Under Paraphrasing [51.56484100374058]
  プロダクションLLMアプリケーションは、いくつかの防衛ファミリを積み重ねる -- 拒絶フレーズフィルタ、トークンバッジコントロール、モデル許容度リスト、レート制限、ツール登録認証 -- が、BASベンチマークでは、単一の集計カバレッジ番号を報告している。 21エージェントベースラインスキャナに4つのLLM-Top-10対応エージェントを追加し、4つの合成LDMエンドポイントの格子をターゲットとした。
  論文  参考訳（メタデータ） (2026-06-01T19:39:25Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• Representation Without Reward: A JEPA Audit for LLM Fine-Tuning [1.2691047660244335]
  JEPA(Joint-embedding predictive Architectures)は、モデルが観測された出力よりも遅延表現を予測できるように訓練された時に、より有用な抽象化を学ぶべきであることを提案している。 自己回帰型言語モデルの微調整には、この原理はより厳密な要件を必要とする。 我々は、Llama-3.2-1B-Instruct LoRA を用いて、自然言語からレジェックス生成におけるその要件を検証した。
  論文  参考訳（メタデータ） (2026-05-14T20:27:32Z)
• OpenSanctions Pairs: Large-Scale Entity Matching with LLMs [0.9131359219276399]
  我々は,実世界の国際制裁アグリゲーションとアナリストの重複から派生した,大規模エンティティマッチングベンチマークOpenSanctions Pairsをリリースした。 データセットには、31か国で293の異種源にまたがる755,540のラベル付きペアが含まれている。 オフザシェルフ LLM は生産ルールベースのベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2026-02-24T06:25:49Z)
• Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
  生成のための教師なし共形推論フレームワークを提案する。 我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。 その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
  論文  参考訳（メタデータ） (2025-09-26T23:40:47Z)
• ConQueR: Query Contrast Voxel-DETR for 3D Object Detection [47.51610366092525]
  ConQueRは、挑戦的なOpenデータセット検証セットに基づいて、新しい最先端(ソータ)71.6 mAPH/L2を実現する。 当社のシングルフレームConQueRは、挑戦的なOpenデータセット検証セット上で、新しい最先端(ソータ)71.6 mAPH/L2を実現しています。
  論文  参考訳（メタデータ） (2022-12-14T15:44:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。