論文の概要: Explore or Confirm? LLM Agents Misallocate Measurements Under Noise

• arxiv url: http://arxiv.org/abs/2610.25111v1
• Date: Sun, 18 Oct 2026 08:44:06 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:40:40.826893
• Title: Explore or Confirm? LLM Agents Misallocate Measurements Under Noise
• Title（参考訳）: 探査か確認か? LLM エージェントは騒音下での計測をミスサロケートする
• Abstract要約: Wellocateは、既知の真の価値を持つシミュレートされたアッセイキャンペーンである。 生成されたランドスケープと、2つの実際のタンパク質データセット上に構築されている。 Wellocateをベンチマークおよび強化学習環境としてリリースする。
• 参考スコア（独自算出の注目度）: 1.0190194769786831
• License:
• Abstract: As model reasoning gets cheaper, the physical experiment becomes the slow and costly step in discovery. Each experiment returns a noisy reading: a high value can mean a good candidate or a lucky draw. With a fixed budget, an AI agent must keep choosing between exploring a new candidate and confirming a promising one by re-testing it. We measure that choice in Wellocate, a simulated assay campaign with known true values. It is built on a generated landscape and on two real protein datasets, GB1 and PhoQ, scrambled so no model can answer from memory. We test five language models as minimal agents, with no tools and no memory beyond the history in each prompt. They misallocate in both directions. Three over-confirm, spending most of the budget re-testing. On the generated landscape one under-confirms, trusting single readings, and there every model ends with a worse final pick than a basic scripted strategy. Each failure has its own cause. The over-confirmers run short of new candidates worth trying: a list of untried candidates cuts their re-testing and, on real protein data, makes two of them pick much better. A running summary of their readings or a description of the landscape changes it by at most five percentage points. For the under-confirmer, re-testing its top candidates in a final round, replayed on its own campaigns, recovers only about a quarter of what it loses by picking the wrong candidate. This suggests confirmation has to run through the whole campaign. We release Wellocate as a benchmark and reinforcement-learning environment with frozen splits and scripted baselines. With it, anyone can measure how an agent splits its budget before trusting it with real experiments, and train agents to split it better. Code, data and the environment are available at https://github.com/Xstendyl/wellocate.
• Abstract（参考訳）: モデル推論が安価になるにつれて、物理実験は発見の遅さとコストのかかるステップとなる。 それぞれの実験は騒々しい読みを返します。高い値は良い候補かラッキーな引き分けを意味します。 一定の予算で、AIエージェントは、新しい候補を探索し、有望な候補を再テストすることで確認するかを選択し続けなければなりません。 我々はその選択を、既知の真の価値を持つシミュレートされたアッセイキャンペーンであるWellocateで測定する。 生成されたランドスケープ上に構築されており、GB1とPhoQという2つの実際のタンパク質データセット上に構築されている。 私たちは5つの言語モデルを最小限のエージェントとしてテストします。 彼らは両方の方向を間違える。 3つの過度に確認され、予算の大半を再テストに費やした。 生成されたランドスケープでは、未確認で、単一の読み込みを信頼し、すべてのモデルが、基本的なスクリプト戦略よりも悪い最終選択で終わる。 それぞれの失敗には独自の原因がある。 未確認候補のリストは、再検査をカットし、実際のタンパク質データに基づいて、その中の2つの方がずっと良い選択をする。 読み書きの要約や風景の描写は、少なくとも5ポイントの差で変化している。 最終ラウンドでトップ候補を再テストし、自身のキャンペーンでリプレイし、間違った候補を選び、失った候補の約4分の1を回収する。 これは、このキャンペーン全体を通して確認する必要があることを示唆している。 凍結スプリットとスクリプトベースラインを備えたベンチマークおよび強化学習環境としてWellocateをリリースする。 それを使って、エージェントが実際の実験を信頼する前に、エージェントがどのように予算を分割するかを測定することができ、エージェントがそれをよりよく分割するように訓練することができる。 コード、データ、環境はhttps://github.com/Xstendyl/wellocate.comから入手できる。

関連論文リスト

• Sample, Mix, or Verify? Allocating Test-Time Compute under Imperfect Verifiers [0.2065179573803396]
  SPLITは正しい回答を提出する確率の正確な公式である。 実験的なベイズの公式に適合し、目に見えないタスクの予算計画に使用する。 パイロットをはるかに超える予測器として、SPLITは検証者が成功すると、パワーローフィッティングを破る。
  論文  参考訳（メタデータ） (2026-10-16T10:28:07Z)
• When Can You Trust an Agent's Own Verifier? Stress-Testing Counterfactual Rationale Verification Under Search Pressure and Oracle Access [2.548904650574671]
  エージェントがそれに対して最適化したら、検証者が信頼性を保つかどうかを問う。 私たちの貢献は新しい検証ではなく、ストレステストの方法です。 テストはRationale Consistency Score(RCS)という独自の検証装置に適用する。 我々は報告基準を提案し、検証を$$で監査し、これらのプローブを信頼する前に検証する。
  論文  参考訳（メタデータ） (2026-10-16T00:41:30Z)
• VST: Verifiable Structured Transport for Auditable Agent-to-Agent Alpha Discovery [11.790070440436294]
  エージェント・ツー・エージェント(A2A)アルファ発見は、マイニングと評価エージェント間の繰り返しのフィードバックサイクルによって遅くなる。 我々はまず、この通信をEmphtyped, causally addressable, unicast recordの構造化エージェント対エージェントプロトコルとして再構成する。 型付けが提供するものは、スキーマチェック、決定論的にリプレイされ、構築によって予測を評価者にリークすることを防ぐ状態である。
  論文  参考訳（メタデータ） (2026-09-07T05:43:50Z)
• Test-Time Scaling in the Wild: Why Exploitation, Not Exploration, Is the Bottleneck [1.4991111518581999]
  テストタイムスケーリング(TTS)は、追加の推論計算を使用することで、言語モデルの出力を改善する。 5世代ベンチマークで5つのTSファミリーの計算正規化比較を行った。
  論文  参考訳（メタデータ） (2026-08-19T13:59:53Z)
• Search Discipline for Long-Horizon Research Agents [0.0]
  自動検索エージェントは、メートル法に対して科学的候補を提案し、評価し、選択する。 この非凝集構造に科学的妥当性が存在する場合、アグリゲーションはまず間違った候補をランク付けする。
  論文  参考訳（メタデータ） (2026-06-09T23:55:31Z)
• DISCO: Diversifying Sample Condensation for Efficient Model Evaluation [59.01400190971061]
  コスト評価は傾向を低下させ、イノベーションのサイクルを遅くし、環境への影響を悪化させる。 モデル応答の多様性を最大化するサンプルを選択することが重要となる。 我々のメソッドである$textbfDiversifying Sample Condensation (DISCO)$は、最も大きなモデル不一致を持つトップkサンプルを選択します。
  論文  参考訳（メタデータ） (2025-10-09T08:53:59Z)
• Runaway is Ashamed, But Helpful: On the Early-Exit Behavior of Large Language Model-based Agents in Embodied Environments [54.67512489842682]
  大規模言語モデル(LLM)は、複雑な実施環境において、強力な計画と意思決定能力を示す。 LLMをベースとしたエージェントの早期退避行動を探究する第一歩を踏み出す。
  論文  参考訳（メタデータ） (2025-05-23T08:23:36Z)
• Forward-Backward Reasoning in Large Language Models for Mathematical Verification [65.9495774606273]
  自己整合性(Self-Consistency)は、さまざまな推論チェーンの回答をサンプリングし、多数決によって最終回答を選択する。 候補解の検証に後方推論を導入する。 検証のための FOrward と BAckward Reasoning は最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-08-15T13:19:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。