論文の概要: CausalGame: Benchmarking Causal Thinking of LLM Agents in Games
- arxiv url: http://arxiv.org/abs/2607.04293v1
- Date: Sun, 05 Jul 2026 13:08:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:29.885053
- Title: CausalGame: Benchmarking Causal Thinking of LLM Agents in Games
- Title（参考訳）: CausalGame: ゲームにおけるLLMエージェントの因果思考のベンチマーク
- Abstract要約: CausalGameは、AI Scientistsの因果思考能力を評価するためのベンチマークである。
選択バイアス、測定エラー、隠れた共同設立者を含む14のシナリオを設計します。
最高のモデルは78-85%の分析最適値に対して68.0%しか生存できず、セッションの5-7%は因果推論するルーリックのクレジットを受け取っている。
- 参考スコア（独自算出の注目度）: 55.189910630332065
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Building AI Scientist agents with Large Language Models (LLMs) has recently attracted growing attention. Since scientific discovery fundamentally relies on uncovering causal relationships from observations, the capability of causal thinking, i.e., distinguishing causation from correlation and recognizing hidden biases, is essential to LLM agents. Although a number of benchmarks exist for AI Scientists, none explicitly incorporate challenges from selection bias, measurement error, and hidden confounders that widely exist in real-world scientific discovery. To this end, we present CausalGame, a benchmark that evaluates the causal thinking capabilities of LLM agents through interactive games. CausalGame asks LLM agents to actively design experimental protocols, collect observation data, and derive a final solution with an explanation report. To emulate realistic scientific discovery challenges, we design 14 scenarios that incorporate selection bias, measurement error, and hidden confounders. Across 30 LLM agents, none demonstrates reliable causal thinking: the best model reaches only 68.0% survival against analytical optima of 78-85%, and merely 5-7% of sessions receive credits on the causal-reasoning rubrics. CausalGame provides a scalable and controlled testbed for evaluating the causal thinking of AI Scientist agents.
- Abstract（参考訳）: 大規模言語モデル(LLM)を用いたAIサイエンティストエージェントの構築は、最近注目を集めている。
科学的発見は、観察から因果関係を明らかにすることに基本的に依存しているため、因果的思考(因果的思考)の能力、すなわち因果関係を相関から区別し、隠れバイアスを認識することは、LLMエージェントにとって不可欠である。
AIサイエンティストには多くのベンチマークが存在するが、選択バイアス、測定誤差、そして現実世界の科学的発見に広く存在する隠れた共同設立者からの課題を明示的に含んでいるものはない。
この目的のために,対話型ゲームによるLLMエージェントの因果思考能力を評価するベンチマークCausalGameを提案する。
CausalGameはLLMエージェントに対して、実験的なプロトコルを積極的に設計し、観測データを収集し、説明レポートで最終的な解決策を導出するように求めている。
現実的な科学的発見の課題をエミュレートするために、選択バイアス、測定誤差、隠れた共同設立者を含む14のシナリオを設計する。
最高のモデルは78～85%の分析最適値に対して68.0%しか生存せず、セッションの5～7%は因果関係のルーブリックのクレジットを受け取っている。
CausalGameは、AIScientistエージェントの因果的思考を評価するために、スケーラブルで制御されたテストベッドを提供する。
関連論文リスト
- (Human) Attention Is (Still) All You Need: Human oversight makes AI-assisted social science reliable [15.442870614597451]
我々は、AI支援研究の信頼性は、モデル能力だけでなく、人間と機械の間で認知労働がどのように構成されているかにもかかっていると論じる。
我々は,この問題を,事前コミット,意思決定シーケンシング,説明責任,注意配分に基づく意思決定アーキテクチャであるHLER(Human-in-the-Loop Economic Research)を通じて研究する。
論文 参考訳（メタデータ） (2026-06-11T03:22:24Z) - Causal Ensemble Agent: Hierarchical Causal Discovery with LLM-guided Expert Reweighting [95.24017293537025]
Causal Ensemble Agent (CEA) は、さまざまなグラフレベルにわたる統計発見の専門家による構造的洞察を集約する新しいフレームワークである。
CEAは、幅広い因果発見手法において、最も優れた総合的なパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-06-09T09:09:07Z) - CausaLab: A Scalable Environment for Interactive Causal Discovery Toward AI Scientists [28.253879252786632]
LLMエージェントによる対話的因果発見を評価するスケーラブルな環境であるCausaLabを紹介する。
以前の評価とは異なり、CausaLabは、エージェントが因果的証拠を用いて問題を解くことができるかどうか、そしてその答えが忠実に回復された因果的メカニズムに根ざされているかどうかを評価している。
論文 参考訳（メタデータ） (2026-05-25T16:57:06Z) - FIRE-Bench: Evaluating Agents on the Rediscovery of Scientific Insights [63.32178443510396]
FIRE-Bench (Full-cycle Insight Rediscovery Evaluation) は、確立された発見の再検討を通じてエージェントを評価するベンチマークである。
最強のエージェントでさえ、限られた再発見成功(50 F1)を達成し、実行中に高いばらつきを示し、実験的な設計、実行、エビデンスに基づく推論において繰り返し失敗モードを表示する。
論文 参考訳（メタデータ） (2026-02-02T23:21:13Z) - ResearchBench: Benchmarking LLMs in Scientific Discovery via Inspiration-Based Task Decomposition [67.26124739345332]
大規模言語モデル(LLM)は科学的研究を支援する可能性を示しているが、高品質な研究仮説を発見する能力はいまだ検討されていない。
我々は,LLMを科学的発見のサブタスクのほぼ十分セットで評価するための,最初の大規模ベンチマークを紹介する。
学術論文から重要コンポーネント(研究質問、背景調査、インスピレーション、仮説)を抽出する自動フレームワークを開発する。
論文 参考訳（メタデータ） (2025-03-27T08:09:15Z) - Can Large Language Models Help Experimental Design for Causal Discovery? [94.66802142727883]
Large Language Model Guided Intervention Targeting (LeGIT) は、LLMを効果的に組み込んだ堅牢なフレームワークであり、因果発見のための介入のための既存の数値的アプローチを強化する。
LeGITは、既存の方法よりも大幅な改善と堅牢性を示し、人間を超越している。
論文 参考訳（メタデータ） (2025-03-03T03:43:05Z) - Auto-Bench: An Automated Benchmark for Scientific Discovery in LLMs [23.608962459019278]
自然科学と社会科学の両方において科学的発見のための大規模言語モデル(LLM)を評価するための新しいベンチマークを導入する。
我々のベンチマークは因果グラフ発見の原理に基づいており、隠れ構造を発見し、有効な正当性を生成することを含む最適な決定を行うためのモデルに挑戦する。
我々は,GPT-4,Gemini,Qwen,Claude,Llamaを含む最先端のLCMを評価し,問題を複雑化するにつれて性能低下を観測した。
論文 参考訳（メタデータ） (2025-02-21T05:35:20Z) - COLD: Causal reasOning in cLosed Daily activities [7.782872276680731]
我々はCOLD(Causal reasOning in cLosed Daily activities)フレームワークを提案する。
出来事の因果性を理解するために、日々の現実的な活動に対する人間の理解に基づいて構築されている。
提案手法は,膨大な因果クエリ作成を容易にする。
論文 参考訳（メタデータ） (2024-11-29T06:37:13Z) - Context-Aware Reasoning On Parametric Knowledge for Inferring Causal Variables [49.31233968546582]
本稿では,部分因果グラフの完成を目的とした新しいベンチマークを提案する。
原因と効果の間のバックドア変数を仮説化するLLMの強い能力を示す。
固定された関連性の単純な記憶とは異なり、我々のタスクはグラフ全体のコンテキストに応じてLCMを推論する必要がある。
論文 参考訳（メタデータ） (2024-09-04T10:37:44Z) - On the Reliability of Large Language Models for Causal Discovery [55.94868919310357]
本研究では,因果発見におけるLarge Language Models(LLMs)の有効性について検討した。
我々は,新たに利用可能なオープンソースLLM,OLMo,BLOOMを用いて,事前学習コーパスへのアクセスを行う。
i) 正確な因果関係予測のための暗記の影響, (ii) 事前学習データにおける誤った因果関係の影響, (iii) LLMの因果関係に対する理解に影響を与える文脈的ニュアンスについて検討した。
論文 参考訳（メタデータ） (2024-07-29T01:45:05Z) - Discovering and Reasoning of Causality in the Hidden World with Large Language Models [109.62442253177376]
我々はCausal representatiOn AssistanT(COAT)と呼ばれる新しいフレームワークを開発し、因果発見に有用な測定変数を提案する。
大規模言語モデル (LLM) と因果関係を直接推論する代わりに、COAT は中間因果発見結果から LLM へのフィードバックを構築し、提案した変数を洗練させる。
論文 参考訳（メタデータ） (2024-02-06T12:18:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。