論文の概要: Preregistration for Experiments with AI Agents

• arxiv url: http://arxiv.org/abs/2606.11217v1
• Date: Sun, 03 May 2026 19:57:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 07:09:36.844176
• Title: Preregistration for Experiments with AI Agents
• Title（参考訳）: AIエージェントを用いた実験のための事前登録
• Authors: Michelle Vaccaro,
• Abstract要約: サイリコ」の行動実験では、AIエージェントを被験者のプロキシとして使用する。 本稿は,AIエージェントによる実験に事前登録のプラクティスを拡張すべきである,と論じる。 本稿では,AIエージェントによる実験に適した事前登録テンプレートを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The proliferation of large language models (LLMs) and autonomous AI agents has given rise to a rapidly growing methodological paradigm: "in silico" behavioral experiments. Originally conceived as a way to use AI agents as proxies for human participants in studies of cognition, decision-making, and social dynamics, this approach has taken on new significance -- as AI agents increasingly negotiate, transact, and make consequential decisions on behalf of people and organizations, understanding their behavior has become a research priority in its own right. While these experiments with AI agents offer unprecedented advantages in terms of scalability, cost efficiency, and experimental control, they also inherit, and in some cases amplify, methodological vulnerabilities that have long plagued human subjects research. To address these issues, this paper argues that preregistration practices -- central to improving the credibility of human subjects experiments -- should now be extended to experiments with AI agents. We systematically catalog the researcher degrees of freedom that experiments with AI agents introduce -- model selection, prompt wording, settings, and outcome-contingent redesign, for example -- and show how the low cost of iteration and lack of reporting norms make these choices both easy to exploit and difficult to detect. We propose a preregistration template tailored to experiments with AI agents and call on conferences, journals, and funding agencies to make preregistration standard practice for this emerging research paradigm.
• Abstract（参考訳）: 大規模言語モデル(LLM)と自律型AIエージェントの拡散は、急速に成長する方法論パラダイムである「シリコで」行動実験を生み出している。 もともと、認知、意思決定、社会的ダイナミクスの研究において、AIエージェントを人間の参加者のプロキシとして使う方法として考えられたこの手法は、新たな重要性を生かしている。AIエージェントは、ますます交渉し、トランザクショナルになり、人々や組織のために連続的に決定するようになり、彼らの行動は、それ自体が研究の優先事項になっている。これらのAIエージェントによる実験は、スケーラビリティ、コスト効率、実験的制御において、前例のないアドバンテージを提供する一方で、人間の被験者の研究を長く悩ませてきた方法論的脆弱性を増幅する。これらの問題に対処するために、事前登録のプラクティスは、AIエージェントによる実験に拡張されるべきである、と論じる。我々は、AIエージェントが選択モデルを導入すること、単語の設定、再設計、そして再設計を行うこと、そして、この2つの手法をいかにして、いかにして、コストの低下を検出するかを示す。 我々は、AIエージェントによる実験に適した事前登録テンプレートを提案し、この新たな研究パラダイムの事前登録標準を実践するために会議、ジャーナル、資金提供機関に呼びかける。

関連論文リスト

• Benchmarking AI Agents for Addressing Scientific Challenges Across Scales [118.2204632627895]
  SciAgentArenaは、現実世界の科学研究シナリオでAIエージェントを評価するための体系的なベンチマークである。 ステップワイズ検証を備えた約200のタスクと、多様なAIエージェントを評価するためのインタラクティブでエージェントに依存しない環境で構成される。 タスク構造や評価基準が明確である場合, 現状のエージェントはデータ分析に効果的に貢献できることがわかった。
  論文  参考訳（メタデータ） (2026-06-10T22:55:30Z)
• Conformity and Social Impact on AI Agents [42.04722694386303]
  本研究では,AIエージェントとして機能する大規模マルチモーダル言語モデルにおいて,社会圧力下での集団意見の一致傾向について検討した。 実験の結果,AIエージェントは社会影響理論と整合性バイアスを示し,グループサイズ,一様性,タスクの難易度,ソース特性に敏感であることがわかった。 これらの発見は、悪意のある操作、誤報キャンペーン、マルチエージェントシステムにおけるバイアス伝搬を可能にするAIエージェント決定における基本的なセキュリティ脆弱性を明らかにしている。
  論文  参考訳（メタデータ） (2026-01-08T21:16:28Z)
• Enabling Ethical AI: A case study in using Ontological Context for Justified Agentic AI Decisions [0.0]
  著者らは、このプロセスがどのように制度的な知識を捉え、応答品質と効率を改善し、制度的な記憶を緩和するかを示している。 決定は明確で検査可能な証拠と専門家と非専門家の両方への推論に基礎を置いている。
  論文  参考訳（メタデータ） (2025-12-04T14:06:35Z)
• SelfAI: Building a Self-Training AI System with LLM Agents [79.10991818561907]
  SelfAIは、高レベルの研究目的を標準化された実験構成に変換するためのUser Agentを組み合わせた、一般的なマルチエージェントプラットフォームである。 実験マネージャは、連続的なフィードバックのための構造化知識ベースを維持しながら、異種ハードウェアをまたいだ並列かつフォールトトレラントなトレーニングを編成する。 回帰、コンピュータビジョン、科学計算、医用画像、薬物発見ベンチマークなどを通じて、SelfAIは一貫して高いパフォーマンスを達成し、冗長な試行を減らしている。
  論文  参考訳（メタデータ） (2025-11-29T09:18:39Z)
• AstaBench: Rigorous Benchmarking of AI Agents with a Scientific Research Suite [75.58737079136942]
  本稿では,AstaBenchについて紹介する。AstaBenchは,科学的研究を行うためのエージェント能力の総合的な測定を行うスイートである。 私たちのスイートには、プロダクショングレードの検索ツールを備えた、最初の科学研究環境が付属しています。 22のエージェントクラスで57のエージェントを評価したところ,いくつかの興味深い結果が得られた。
  論文  参考訳（メタデータ） (2025-10-24T17:10:26Z)
• The AI Imperative: Scaling High-Quality Peer Review in Machine Learning [49.87236114682497]
  AIによるピアレビューは、緊急の研究とインフラの優先事項になるべきだ、と私たちは主張する。 我々は、事実検証の強化、レビュアーのパフォーマンスの指導、品質改善における著者の支援、意思決定におけるAC支援におけるAIの具体的な役割を提案する。
  論文  参考訳（メタデータ） (2025-06-09T18:37:14Z)
• Will Agents Replace Us? Perceptions of Autonomous Multi-Agent AI [0.0]
  本研究は、AIエージェントの能力、影響、およびガバナンスに関する調査に対する130人の参加者からの回答を分析する。 我々は、AIがプログラマを置き換える予定のタイムラインを調べ、デプロイの障壁を認識し、エージェントが決定を下すときの責任に関する信念を調べます。
  論文  参考訳（メタデータ） (2025-06-01T11:02:52Z)
• Can AI Agents Design and Implement Drug Discovery Pipelines? [1.5848629658789695]
  現在のAIエージェントベースのシステムは、プログラミングの課題を解決し、研究を行う能力を示している。 本稿では,AIエージェントの意思決定能力を評価するためのベンチマークであるDO Challengeを紹介する。 ベンチマークで強い性能を示したDeep Thoughtのマルチエージェントシステムについて述べる。
  論文  参考訳（メタデータ） (2025-04-28T15:41:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。