論文の概要: The Agentic Garden of Forking Paths
- arxiv url: http://arxiv.org/abs/2607.01507v1
- Date: Wed, 01 Jul 2026 22:15:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-03 19:45:08.605905
- Title: The Agentic Garden of Forking Paths
- Title(参考訳): フォーク・パスのエージェント・ガーデン
- Abstract要約: 我々は、AIエージェントが人間の研究者の多くの分析的変化を捉えながら、これらの経路を明確にすることを示した。
4つの高い領域にまたがって、異なるペルソナを割り当てることは、AIエージェントが異質な、しばしば反対する結論を報告するのに十分である。
反対の結論に達したとしても、最終的なAIレポートに基づいて、各分析における明確な問題を特定することは困難である。
- 参考スコア(独自算出の注目度): 27.003267976848225
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Empirical research rarely admits a unique analysis. Different analytical choices can lead to different conclusions from the same data, yet these hidden forking paths are difficult to observe. We show that AI agents capture much of the analytical variation among human researchers while making these paths explicit. Across four high-stakes domains, assigning different personas is sufficient for AI agents to report divergent, often opposing, conclusions from the same data and question, with findings systematically aligned with those beliefs. In a study in which 42 human research teams analyzed the same immigration dataset, AI agents reproduced 72% of the human ideological gap in reported effect estimates. Despite reaching opposing conclusions, it is difficult to identify clear issues in each analysis based on the final AI reports: 86% passed independent AI review and 78% passed majority human expert review. These findings suggest that the central challenge is often not flawed analyses, but selective exploration and reporting from a large space of methodologically defensible analyses. AI agents may amplify this longstanding problem by making such exploration inexpensive and scalable. To address this, we introduce the m-value (multiverse value), the probability that an analysis path would produce a claim at least as extreme as the reported one. We further introduce Agentic Bootstrap, which estimates the m-value by using AI agents to sample plausible analysis paths. Applied to the human immigration study, 13.5% of reported human analyses fell in the most extreme 5% of the analysis space (m<0.05). Scientific evidence should therefore be evaluated not only by a single reported analysis but also by its position within the distribution of analyses that could reasonably have been reported. Agentic Bootstrap makes this distribution observable and turns it into a criterion for scientific credibility.
- Abstract(参考訳): 経験的研究は、珍しい分析をほとんど認めない。
異なる分析的な選択は、同じデータから異なる結論をもたらす可能性があるが、これらの隠れたフォークパスは観察が困難である。
我々は、AIエージェントが人間の研究者の多くの分析的変化を捉えながら、これらの経路を明確にすることを示した。
4つの高い領域にまたがって、異なるペルソナを割り当てることで、AIエージェントは、同じデータと疑問からの結論を、それらの信念に体系的に整合して報告するのに十分な、さまざまなペルソナを割り当てる。
42人の人間研究チームが同じ移民データセットを分析した研究では、AIエージェントが報告された効果推定において、人間のイデオロギー的ギャップの72%を再現した。
反対の結論に達したにも拘わらず、最終的なAIレポートに基づいて各分析で明らかな問題を特定することは困難である。
これらの結果は、中央の課題は、しばしば欠陥のある分析ではなく、方法論的に保護可能な分析の広い領域からの選択的探索と報告であることを示している。
AIエージェントは、そのような探索を安価でスケーラブルにすることで、この長年の問題を増幅することができる。
この問題に対処するために、解析経路が報告された値と少なくとも極端にクレームを生成する確率であるm値(複数値)を導入する。
さらにエージェントブートストラップを導入し,AIエージェントを用いて評価可能な解析経路をサンプリングすることでm値を推定する。
ヒトの移民調査では、報告された人間の分析の13.5%が最も極端な5%(m<0.05)に落ちている。
したがって、科学的証拠は、単一の報告された分析だけでなく、合理的に報告された可能性のある分析の分布における位置によって評価されるべきである。
Agentic Bootstrapは、この分布を観測可能とし、科学的信頼性の基準にします。
関連論文リスト
- Mr.LHDR: A Benchmark for Multimodal Real-World Long-Horizon Deep Research Agents [72.19038675107662]
ミスターL(Mr. L)は、検証可能な証拠の長い、既約の連鎖について、現実世界の深い研究を評価するためのベンチマークである。
各質問は隠されたノード関係グラフから構築され、平均12.1の中間結論を必要とする。
論文 参考訳(メタデータ) (2026-09-10T09:47:44Z) - EarthVerse: Benchmarking Scientific Agents Across Dynamic Earth Systems and Natural Hazards [73.12811119273206]
我々は,包括的調査を通じて科学的エージェントを評価するベンチマークであるEarthVerseを紹介する。
エージェントは異種イベントパッケージを検査し、互換性のあるエビデンスを選択し、透過的な計算を実行し、ソース差を調整し、最終回答で証明を保存する。
システム全体では、平均回答ユニットの精度は84.65%であり、最も高いStrict@95は34.81%である。
論文 参考訳(メタデータ) (2026-08-24T17:29:16Z) - Bringing analytic rigor to agentic AI for science: The Brain Researcher platform for neuroimaging data analysis [59.44063760362954]
本稿では、神経イメージング研究者の計算環境で動作するエージェントリサーチハーネスであるBrain Researcherを紹介する。
ベンチマークでは、Brain Researcherは7つのモデルで第1選択ツールの選択精度を70.2ポイント向上させた。
共同研究と自己進化研究において、多元的分析によって分析選択感度が明らかにされ、科学的レビューでは、承認された、認定された、修正された、ブロックされた、拒否された、または延期された。
論文 参考訳(メタデータ) (2026-08-20T11:13:27Z) - Before the Action: Benchmarking LLMs on Prospective Hypothesis Discovery [95.44432473367836]
大規模言語モデル(LLM)は、事前に特定された質問に答える能力に優れるが、未解決の未解決段階をナビゲートする能力はほとんど測定されていない。
仮説探索(PHD)を導入し,不確定な証拠から,仮説空間を自律的に構築することをモデルに求める。
本稿では,6つの科学的・分析的領域にわたる988ケースのベンチマークであるHypoArenaと,オープンエンド仮説セットの評価フレームワークであるHypoEvalを紹介する。
論文 参考訳(メタデータ) (2026-07-17T08:56:43Z) - One Reflection Is Not Enough: Self-Correcting Autonomous Research via Multi-Hypothesis Failure Attribution [85.65263343588026]
我々は,自己修正型,自律型,接地型実験機であるSAGEを提案する。
その中核的なメカニズムであるMHFA(Multi-Hypothesis Failure Attribution)は、回復を構造的因果診断として扱う。
12のトピック、5ドメインのベンチマークでは、SAGEは基準リフレクションでメトリクスを含むアウトプットを42%から92%に増やしている。
論文 参考訳(メタデータ) (2026-06-30T10:54:16Z) - Skill-Augmented AI Agents for Medical Research Analysis: An Exploratory Multi-Model Human Evaluation in an NSCLC Transcriptomic Biomarker Task [20.392151164052404]
医療研究用スキルパッケージへの自律的アクセスが、高品質なAI生成型トランスクリプトーム研究分析出力と結びついているかどうかを評価した。
スキル強化されたアウトプットは、ネイティブAIアウトプットよりも専門家全体の品質が順に高かった。
論文 参考訳(メタデータ) (2026-06-10T09:13:10Z) - On the limits and opportunities of AI reviewers: Reviewing the reviews of Nature-family papers with 45 expert scientists [113.03797263688519]
多くの科学者は、AIレビュアーを研究を評価する専門知識のない確率的システムと見なしている。
既存のAIレビュアーの評価では、評決が人間の評決に合致するかどうかに焦点が当てられている。
論文 参考訳(メタデータ) (2026-05-20T03:33:55Z) - Nonstandard Errors in AI Agents [6.890249567932368]
我々は、現在最先端のAIコーディングエージェントが、同じデータと研究質問を与えられた場合、同じ経験的結果をもたらすかどうかを調査する。
我々は,AIエージェントが,分析選択におけるエージェント対エージェントのばらつきから不確実な,大きさのテクスチノンスタンダードエラー(NSE)を示すことを発見した。
これらの発見は、自動政策評価と実証研究におけるAIの利用の増加に影響を及ぼす。
論文 参考訳(メタデータ) (2026-03-17T16:21:22Z) - Many AI Analysts, One Dataset: Navigating the Agentic Data Science Multiverse [22.927943525772857]
大規模言語モデル(LLM)上に構築された完全自律型AIアナリストは、同様の構造化された分析的多様性を安価かつ大規模に再現可能であることを示す。
アナリストペルソナやLSMの再割り当ては, 方法論的に不十分なランニングを除いた後でも, 結果の分布をシフトさせる。
論文 参考訳(メタデータ) (2026-02-21T04:10:21Z) - Exploring the Garden of Forking Paths in Empirical Software Engineering Research: A Multiverse Analysis [3.6324565773746147]
本論文は,いわゆる多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元
9つの重要な分析的決定を、少なくとも1つの等しく防御可能な代替手段で特定する。
圧倒的多数は質的に異なる結果をもたらし、時には反対の結果ももたらした。
論文 参考訳(メタデータ) (2025-12-09T18:47:00Z) - Language Agents Mirror Human Causal Reasoning Biases. How Can We Help Them Think Like Scientists? [42.29911505696807]
言語モデル(LM)エージェントは、自律的な意思決定者としてますます使われている。
LMの因果関係を探索・推測する能力について検討する。
LMは共通で直感的な因果関係を確実に推測するが、体系的には特異だが等しく、共役関係を証明している。
論文 参考訳(メタデータ) (2025-05-14T17:59:35Z) - On the Possibilities of AI-Generated Text Detection [76.55825911221434]
機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。
GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
論文 参考訳(メタデータ) (2023-04-10T17:47:39Z) - Empirical Estimates on Hand Manipulation are Recoverable: A Step Towards
Individualized and Explainable Robotic Support in Everyday Activities [80.37857025201036]
ロボットシステムの鍵となる課題は、他のエージェントの振る舞いを理解することである。
正しい推論の処理は、(衝突)因子が実験的に制御されない場合、特に困難である。
人に関する観察研究を行うために必要なツールをロボットに装備することを提案する。
論文 参考訳(メタデータ) (2022-01-27T22:15:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。