論文の概要: Nonstandard Errors in AI Agents
- arxiv url: http://arxiv.org/abs/2603.16744v1
- Date: Tue, 17 Mar 2026 16:21:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-18 17:42:07.413319
- Title: Nonstandard Errors in AI Agents
- Title（参考訳）: AIエージェントにおける非標準エラー
- Abstract要約: 我々は、現在最先端のAIコーディングエージェントが、同じデータと研究質問を与えられた場合、同じ経験的結果をもたらすかどうかを調査する。
我々は,AIエージェントが,分析選択におけるエージェント対エージェントのばらつきから不確実な,大きさのテクスチノンスタンダードエラー(NSE)を示すことを発見した。
これらの発見は、自動政策評価と実証研究におけるAIの利用の増加に影響を及ぼす。
- 参考スコア（独自算出の注目度）: 6.890249567932368
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We study whether state-of-the-art AI coding agents, given the same data and research question, produce the same empirical results. Deploying 150 autonomous Claude Code agents to independently test six hypotheses about market quality trends in NYSE TAQ data for SPY (2015--2024), we find that AI agents exhibit sizable \textit{nonstandard errors} (NSEs), that is, uncertainty from agent-to-agent variation in analytical choices, analogous to those documented among human researchers. AI agents diverge substantially on measure choice (e.g., autocorrelation vs.\ variance ratio, dollar vs.\ share volume). Different model families (Sonnet 4.6 vs.\ Opus 4.6) exhibit stable ``empirical styles,'' reflecting systematic differences in methodological preferences. In a three-stage feedback protocol, AI peer review (written critiques) has minimal effect on dispersion, whereas exposure to top-rated exemplar papers reduces the interquartile range of estimates by 80--99\% within \textit{converging} measure families. Convergence occurs both through within-family estimation tightening and through agents switching measure families entirely, but convergence reflects imitation rather than understanding. These findings have implications for the growing use of AI in automated policy evaluation and empirical research.
- Abstract（参考訳）: 我々は、現在最先端のAIコーディングエージェントが、同じデータと研究質問を与えられた場合、同じ経験的結果をもたらすかどうかを調査する。
150個の自律クロードコードエージェントを配置して、NYSE TAQデータにおけるSPY(2015-2024)の市場品質トレンドに関する6つの仮説を独立に検証し、AIエージェントがサイズ可能な \textit{nonstandard error} (NSEs) を示すことを発見した。
AIエージェントは、測定選択(例えば、自己相関対)に大きく依存する。
\ variance ratio, dollar vs。
シェアボリューム)。
異なるモデルファミリー(Sonnet 4.6 vs.)。
\ Opus 4.6)は、系統的な方法論的嗜好の違いを反映した安定な「経験的スタイル」を示す。
3段階のフィードバックプロトコルでは、AIピアレビュー(批判書)は分散に最小限の影響しか与えないのに対し、上位級の論文への露出は、家族を測る「textit{converging}測度」において、中間的な推定範囲を80-99\%削減する。
収束は、家族内推定の締め付けと、測定された家族を完全に切り替えるエージェントを通して起こるが、収束は理解するよりも模倣を反映する。
これらの発見は、自動政策評価と実証研究におけるAIの利用の増加に影響を及ぼす。
関連論文リスト
- Beyond AI Literacy: A Structured Review and Exploratory Meta-Analysis of Measures for Competent Generative-AI Use [0.0]
職場における有能な生成AIの使用を評価する研究者は、自己報告、客観的テスト、および監視と信頼の尺度を選択する必要がある。
筆者らは24の焦点実験論文の構造化, 種別レビューを行った。
エージェントスコープ,パーミッション,リカバリ,状態分離,独立レビュー,エビデンスに基づくクロージャの完全な組み合わせを検査する,個別レベルの検証機器は検出されなかった。
論文 参考訳（メタデータ） (2026-09-14T14:16:18Z) - The Agentic Garden of Forking Paths [27.003267976848225]
我々は、AIエージェントが人間の研究者の多くの分析的変化を捉えながら、これらの経路を明確にすることを示した。
4つの高い領域にまたがって、異なるペルソナを割り当てることは、AIエージェントが異質な、しばしば反対する結論を報告するのに十分である。
反対の結論に達したとしても、最終的なAIレポートに基づいて、各分析における明確な問題を特定することは困難である。
論文 参考訳（メタデータ） (2026-07-01T22:15:37Z) - AgentBeats: Agentifying Agent Assessment for Openness, Standardization, and Reproducibility [104.46861849039357]
エージェントシステムはドメイン間で急速に進歩しているが、その評価は断片化されている。
根本的問題は、オープンでエージェントに依存しないアセスメントインタフェースがないことである。
我々は、審査員が評価を行い、すべての参加者が標準化されたプロトコルを介して対話するエージェントエージェントアセスメント(AAA)を提唱する。
論文 参考訳（メタデータ） (2026-06-11T17:23:54Z) - Benchmarking AI Agents for Addressing Scientific Challenges Across Scales [118.2204632627895]
SciAgentArenaは、現実世界の科学研究シナリオでAIエージェントを評価するための体系的なベンチマークである。
ステップワイズ検証を備えた約200のタスクと、多様なAIエージェントを評価するためのインタラクティブでエージェントに依存しない環境で構成される。
タスク構造や評価基準が明確である場合, 現状のエージェントはデータ分析に効果的に貢献できることがわかった。
論文 参考訳（メタデータ） (2026-06-10T22:55:30Z) - Skill-Augmented AI Agents for Medical Research Analysis: An Exploratory Multi-Model Human Evaluation in an NSCLC Transcriptomic Biomarker Task [20.392151164052404]
医療研究用スキルパッケージへの自律的アクセスが、高品質なAI生成型トランスクリプトーム研究分析出力と結びついているかどうかを評価した。
スキル強化されたアウトプットは、ネイティブAIアウトプットよりも専門家全体の品質が順に高かった。
論文 参考訳（メタデータ） (2026-06-10T09:13:10Z) - Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment [59.536125286960186]
セルフリフレクションと相互監査を可能にするために、専門的な役割を割り当てるマルチエージェントフレームワークがますます採用されている。
アクター・オブザーバ非対称性(Actor-Observer Asymmetric)と呼ばれる認知バイアスを同時に誘発する。
ReTASは、対立する視点を客観的なコンセンサスに合成するためにエージェントを誘導する。
論文 参考訳（メタデータ） (2026-04-21T15:05:58Z) - ResearchGym: Evaluating Language Model Agents on Real-World AI Research [48.46915933681714]
我々は、エンドツーエンドの研究においてAIエージェントを評価するためのベンチマークおよび実行環境であるResearchGymを紹介する。
これを実現するために,ICML,ICLR,ACLの5つの口頭およびスポットライト論文を再利用した。
GPT-5を動力とするエージェントの制御評価において、我々は鋭い能力-信頼性ギャップを観察する。
論文 参考訳（メタデータ） (2026-02-16T19:00:03Z) - Toward Quantitative Modeling of Cybersecurity Risks Due to AI Misuse [50.87630846876635]
我々は9つの詳細なサイバーリスクモデルを開発する。
各モデルはMITRE ATT&CKフレームワークを使用して攻撃をステップに分解する。
個々の見積もりはモンテカルロシミュレーションによって集約される。
論文 参考訳（メタデータ） (2025-12-09T17:54:17Z) - Impatient Users Confuse AI Agents: High-fidelity Simulations of Human Traits for Testing Agents [58.00130492861884]
TraitBasisは、AIエージェントを体系的にストレステストするための軽量でモデルに依存しない方法である。
TraitBasisは、ステアブルなユーザ特性に対応するアクティベーション空間で方向を学習する。
We observed on average a 2%-30% performance degradation on $tau$-Trait across frontier model。
論文 参考訳（メタデータ） (2025-10-06T05:03:57Z) - Scalable, Symbiotic, AI and Non-AI Agent Based Parallel Discrete Event Simulations [0.0]
本稿では,複数のAIエージェントと非AIエージェントを組み合わせた並列離散イベントシミュレーション(PDES)手法を提案する。
我々は、4つの異なるドメインから4つの問題を解き、その結果をAIモデルだけで比較することで、我々のアプローチを評価する。
その結果,バニラモデルの精度が23%未満であるため,アプローチ全体の精度は68%であった。
論文 参考訳（メタデータ） (2025-05-28T17:50:01Z) - Collaborative Value Function Estimation Under Model Mismatch: A Federated Temporal Difference Analysis [55.13545823385091]
フェデレーション強化学習(FedRL)は、エージェント間のデータ交換を防止し、データのプライバシを維持しながら協調学習を可能にする。
現実世界のアプリケーションでは、各エージェントは若干異なる遷移ダイナミクスを経験し、固有のモデルミスマッチを引き起こす。
情報共有の適度なレベルでさえ、環境固有のエラーを著しく軽減することを示す。
論文 参考訳（メタデータ） (2025-03-21T18:06:28Z) - Designing AI-Agents with Personalities: A Psychometric Approach [2.854338743097065]
本稿では,定量的かつ心理学的に検証された個人性をAIエージェントに割り当てる手法を提案する。
3つの研究で実現可能性と限界を評価した。
論文 参考訳（メタデータ） (2024-10-25T01:05:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。