論文の概要: ACED-Bench: Evaluating How LLM Agents Acquire and Act on Causal Evidence

• arxiv url: http://arxiv.org/abs/2610.14381v1
• Date: Fri, 09 Oct 2026 23:01:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.040469
• Title: ACED-Bench: Evaluating How LLM Agents Acquire and Act on Causal Evidence
• Title（参考訳）: ACED-Bench: LLMエージェントがいかにして因果証拠を入手し、行動するかを評価する
• Abstract要約: 本稿では,この要件に基づいて構築されたニューロシンボリックベンチマークであるACED-BENCH(Active Causal Evidence and Decision Benchmark)を紹介する。 主要なリーダーボードACED-COREには180のタスクが含まれている。 我々は,3つのアクティブエージェント設計における7つの現代LCMと2つの先行世代モデルを評価した。
• 参考スコア（独自算出の注目度）: 40.670500527968926
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models are increasingly used as scientific assistants, yet we still lack reliable ways to evaluate whether they can investigate a system rather than merely answer a prompt. A useful evaluation must let agents choose experiments, interpret finite evidence, and make causal decisions, while keeping the environment coherent across repeated observations and interventions and preserving objective ground truth. We introduce ACED-BENCH (Active Causal Evidence and Decision Benchmark), a neuro-symbolic benchmark built around this requirement. The key idea is to separate the readable scientific surface from the formal causal world: LLMs generate natural-language scenarios and task text, while hidden probabilistic graphical models define the causal graph, data-generating process, intervention semantics, validation checks, and oracle answers. This yields scientific worlds that are natural for agents to investigate but exact enough for scalable, programmatic evaluation. The main leaderboard ACED-CORE contains 180 tasks: 60 set-valued causal ancestry/descendancy questions and 120 constrained causal-decision tasks. We also report ACED-QUAL, a 150-question yes/no qualification check using the same hidden-PGM interface. We evaluate seven contemporary LLMs and two earlier-generation models across three active agent designs. ACED-QUAL checks whether agents can use the interface to draw conclusions from evidence, while ACED-CORE tests whether they can decide what evidence to collect and when to commit to an answer. Evidence-ledger analysis localizes failures within the investigation: agents test the wrong intervention, lose relevant evidence, or continue after sufficient evidence has appeared. These results suggest that reliable AI co-scientists need explicit support for experiment design, evidence retention, answer commitment, and stopping.
• Abstract（参考訳）: 大規模言語モデルは、科学的なアシスタントとしてますます使われていますが、単にプロンプトに答えるのではなく、システムを調査できるかどうかを評価するための信頼できる方法はありません。 有効な評価は、エージェントが実験を選択し、有限の証拠を解釈し、因果決定をし、環境を反復的な観察と介入に一致させ、客観的な根拠の真実を保たなければならない。 本稿では,この要件に基づいて構築されたニューロシンボリックベンチマークであるACED-BENCH(Active Causal Evidence and Decision Benchmark)を紹介する。 LLMは自然言語のシナリオとタスクテキストを生成し、隠れた確率的グラフィカルモデルは因果グラフ、データ生成プロセス、介入セマンティクス、検証チェック、オラクルの回答を定義します。 これにより、エージェントが調査するのは自然だが、スケーラブルでプログラム的な評価には十分である科学の世界が得られる。 主要なリーダーボードACED-COREには180のタスクが含まれている。 また,同一の隠蔽PGMインタフェースを用いた150項目のイエス/ノー資格チェックであるACED-QUALを報告した。 我々は,3つのアクティブエージェント設計における7つの現代LCMと2つの先行世代モデルを評価した。 ACED-QUALは、エージェントがこのインターフェイスを使って証拠から結論を引き出すことができるかどうかをチェックし、ACED-COREは、どの証拠を収集するか、いつ回答をコミットするかを判断する。 エビデンス・レジャー分析(Evidence-Leger analysis)は、調査内の障害をローカライズする: エージェントは間違った介入をテストし、関連する証拠を失うか、十分な証拠が現れた後に継続する。 これらの結果は、信頼できるAIの共同研究者は、実験設計、エビデンス保持、回答のコミットメント、停止を明確に支援する必要があることを示唆している。

関連論文リスト

• DISCERN: Can AI Agents Work Like Scientists and Guide Discovery? [54.755189648365565]
  私たちは、自動研究ワークフローの3つの重要なレベルを評価するために、実際に利用可能なデータセットのベンチマークであるdisCERNを紹介します。 エージェントはレベル1の60.8%、レベル2の34.2%、レベル3の評価の0.6%で完璧なスコアを得る。 これらのプロファイルは、科学的な援助を監督する機会を特定するが、現在のエージェントは信頼できる自律的な分析や発見をまだ示していない。
  論文  参考訳（メタデータ） (2026-09-27T08:29:32Z)
• TRACE: Training Reasoning Agents for Causal Exploration with Synthesized Rewards [15.908097225313968]
  検証可能な報酬付き強化学習(RLVR)は、数学やコードなどの分野において高度な言語モデル推論を持つ。 この検証の非対称性を設計できるかどうかを問う。 本手法は,12の根本原因と細粒度セグメント属性を有するデジタル広告診断環境であるTRACEで実現した。
  論文  参考訳（メタデータ） (2026-09-09T15:21:47Z)
• EarthVerse: Benchmarking Scientific Agents Across Dynamic Earth Systems and Natural Hazards [73.12811119273206]
  我々は,包括的調査を通じて科学的エージェントを評価するベンチマークであるEarthVerseを紹介する。 エージェントは異種イベントパッケージを検査し、互換性のあるエビデンスを選択し、透過的な計算を実行し、ソース差を調整し、最終回答で証明を保存する。 システム全体では、平均回答ユニットの精度は84.65%であり、最も高いStrict@95は34.81%である。
  論文  参考訳（メタデータ） (2026-08-24T17:29:16Z)
• TRACES: A Benchmark for Epistemic Reliability in Scientific Reasoning by LLMs [0.0]
  下流検証が存在しない領域では、科学的なエージェントとして大きな言語モデルが提案されている。 筆者らは,42枚の抽出,不正,疑似科学的論文からなるプローブコーパスを,各論文のフレーミングと単発モデルエンゲージメントを抽出・評価する手法と組み合わせて導入した。 プローブは、5つのクレームタイプ、製造された観測、擬似物理機構、魔法の前提、合法化橋、貨物カルト実験である。
  論文  参考訳（メタデータ） (2026-08-11T20:30:32Z)
• CausalGame: Benchmarking Causal Thinking of LLM Agents in Games [55.189910630332065]
  CausalGameは、AI Scientistsの因果思考能力を評価するためのベンチマークである。 選択バイアス、測定エラー、隠れた共同設立者を含む14のシナリオを設計します。 最高のモデルは78-85%の分析最適値に対して68.0%しか生存できず、セッションの5-7%は因果推論するルーリックのクレジットを受け取っている。
  論文  参考訳（メタデータ） (2026-07-05T13:08:51Z)
• Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
  本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。 REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。 私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
  論文  参考訳（メタデータ） (2026-05-18T23:55:08Z)
• FIRE-Bench: Evaluating Agents on the Rediscovery of Scientific Insights [63.32178443510396]
  FIRE-Bench (Full-cycle Insight Rediscovery Evaluation) は、確立された発見の再検討を通じてエージェントを評価するベンチマークである。 最強のエージェントでさえ、限られた再発見成功(50 F1)を達成し、実行中に高いばらつきを示し、実験的な設計、実行、エビデンスに基づく推論において繰り返し失敗モードを表示する。
  論文  参考訳（メタデータ） (2026-02-02T23:21:13Z)
• Learning to Seek Evidence: A Verifiable Reasoning Agent with Causal Faithfulness Analysis [10.749786847079163]
  医学のような高度な領域におけるAIモデルの説明は、しばしば信頼性を欠いているため、信頼を妨げる可能性がある。 本稿では,対話型エージェントを提案する。 このポリシーは強化学習を用いて最適化され、効率的かつ一般化可能なモデルとなる。
  論文  参考訳（メタデータ） (2025-11-03T10:21:35Z)
• Retrieve to Explain: Evidence-driven Predictions for Explainable Drug Target Identification [0.791663505497707]
  Retrieve to Explain (R2E) は検索に基づくモデルで、可能なすべての回答をスコア付けし、ランク付けする。 R2Eはそれぞれの答えを、その裏付けとしてのみ表現し、答え自体が隠蔽されている。 薬物標的同定の挑戦的科学的発見課題としてR2Eを開発した。
  論文  参考訳（メタデータ） (2024-02-06T15:13:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。