論文の概要: AI Coding Agents in Social Science: Methodologically Diverse, Empirically Consistent, Interpretively Vulnerable
- arxiv url: http://arxiv.org/abs/2606.11456v1
- Date: Tue, 09 Jun 2026 21:16:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-11 16:42:38.184121
- Title: AI Coding Agents in Social Science: Methodologically Diverse, Empirically Consistent, Interpretively Vulnerable
- Title（参考訳）: 社会科学におけるAIコーディングエージェント:方法論的多様性、実証的一貫性、解釈的脆弱性
- Authors: Meysam Alizadeh, Fabrizio Gilardi, Mohsen Mosleh, Enkelejda Kasneci,
- Abstract要約: 我々は、方法論的な選択の設計層と、決定ルールが実体的クレームに見積もる検証層という、経験的に分離可能な2つの層を目標としている。
我々は、クロード・コードとコーデックスの20件の独立した実行を、多くのアナリストのベースラインに対して顕著な移民と社会政治で実行することによって、両方をテストする。
急進的な反移民研究者は、各エージェントの方法論的決定を事前に再編成するが、同一データにおける偏見のある人間アナリストとは異なり、集計の見積もりや最終的な判断をシフトしない。
- 参考スコア（独自算出の注目度）: 15.2726566480101
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The deployment of LLM-based agents in scientific analysis raises opposing concerns: that agents may reduce methodological diversity, or that they may amplify the analytic flexibility through which researchers reach motivated conclusions. We argue these worries target two empirically separable layers: a design layer of methodological choices, and a verdict layer in which a decision rule maps estimates to a substantive claim. We test both by running 20 independent executions of Claude Code and Codex on a prominent immigration and social-policy against a many-analysts human baseline. At the design layer, Codex matches human methodological diversity and Claude Code produces nearly three times as many specifications; both agents' effect estimates remain broadly aligned with the human consensus, and no agent model exactly matches any human model. A prompt-induced anti-immigration researcher prior reorganizes each agent's methodological decisions but, unlike for biased human analysts in the same data, does not shift aggregate estimates or final verdicts; nor do agents reroute along the methodological axes humans use to bias their estimates. At the verdict layer, an explicit confirmatory prompt flips Claude Code's verdicts from 10% to 90% support while leaving its coefficient distribution essentially unchanged, operating through rule omission rather than rule softening. AI agents can rival or exceed human methodological diversity at the design layer while remaining vulnerable at the verdict layer. In our setting, the locus of AI bias is not estimation but interpretation.
- Abstract（参考訳）: 科学的分析におけるLSMベースのエージェントの展開は、エージェントが方法論的な多様性を減らしたり、研究者が動機付けされた結論に達する解析的柔軟性を増幅するといった、反対の懸念を提起する。
これらの懸念は、方法論的選択の設計層と、決定ルールが実体的クレームに推定する検証層という、経験的に分離可能な2つの層をターゲットにしている、と我々は主張する。
我々は、クロード・コードとコーデックスの20件の独立した実行を、多くのアナリストのベースラインに対して顕著な移民と社会政治で実行することによって、両方をテストする。
設計層では、コーデックスは人間の方法論的多様性と一致し、クロード・コード(Claude Code)は仕様の約3倍の仕様を生成する。
急進的な反移民研究者は、各エージェントの方法論的決定を前もって再編成するが、同一データにおける偏見のある人間アナリストとは異なり、集計された見積もりや最終的な評定をシフトすることはない。
判定層では、明示的な確認プロンプトにより、Claude Codeの判断は10%から90%まで支持され、係数分布は基本的に変化せず、規則の軟化よりもルールの省略によって操作される。
AIエージェントは、検証層で脆弱なまま、設計層で人間の方法論的多様性に対抗または超えることができる。
私たちの設定では、AIバイアスの軌跡は推定ではなく解釈である。
関連論文リスト
- Human-AI Teaming Through the Lens of Calibration [29.992478443263547]
統計的キャリブレーションのレンズによる人間とAIのコラボレーションのモデルについて検討する。
私たちは、チームはAIモデルと人間で構成されていると仮定します。
論文 参考訳（メタデータ） (2026-06-09T14:14:54Z) - Validated Hypotheses as a Lens for Human-Likeness Evaluation in AI Agents [9.035161362850369]
我々は、このレンズをHumanStudy-Benchというオープンなプラットフォームを通じて操作し、公開されている人物体の研究を再利用可能なシミュレーション環境に変える。
独立複製により仮説をしっかりと確立した12種類の研究の初期のスイートをキュレートし, エージェント設計を4つのモデルで評価した。
エージェント設計はモデルスケールよりもアライメントに影響を及ぼすが,その効果はモノトニックではない。
論文 参考訳（メタデータ） (2026-05-14T23:25:02Z) - How to Interpret Agent Behavior [56.59836196946289]
本稿では,エージェントの動作を実行時に記述・解析するための分類法であるACT*ONOMYを紹介する。
共用語彙を提供することで、ACT*ONOMYは研究者、エージェントデザイナー、エンドユーザーがエージェントの振る舞いをより一貫して解釈するのに役立つ。
論文 参考訳（メタデータ） (2026-05-13T14:52:40Z) - Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment [59.536125286960186]
セルフリフレクションと相互監査を可能にするために、専門的な役割を割り当てるマルチエージェントフレームワークがますます採用されている。
アクター・オブザーバ非対称性(Actor-Observer Asymmetric)と呼ばれる認知バイアスを同時に誘発する。
ReTASは、対立する視点を客観的なコンセンサスに合成するためにエージェントを誘導する。
論文 参考訳（メタデータ） (2026-04-21T15:05:58Z) - AI scientists produce results without reasoning scientifically [3.100302590436282]
大規模言語モデル(LLM)ベースのシステムは、科学的研究を自律的に行うためにますます多くデプロイされている。
そこで本研究では,8つの領域にまたがるLSMに基づく科学的エージェントの評価を行い,その実行と仮説に基づく調査を行った。
論文 参考訳（メタデータ） (2026-04-20T20:23:42Z) - Language Models Exhibit Inconsistent Biases Towards Algorithmic Agents and Human Experts [12.32714011634175]
大規模な言語モデルは、様々なソースからの情報を処理しなければならない意思決定タスクにますます使われています。
本稿では,人間の意思決定者がアルゴリズムの予測に偏りを示すアルゴリズム回避現象について考察する。
我々は,8つの異なるLCMが人的専門家あるいはアルゴリズムエージェントとしてフレーム化される際の意思決定タスクをどのように委譲するかを評価する。
論文 参考訳（メタデータ） (2026-02-25T16:18:28Z) - Cascaded Language Models for Cost-effective Human-AI Decision-Making [52.81324217423194]
複数の専門分野にまたがってタスクを適応的に委譲するLLM決定フレームワークを提案する。
まず、deferral Policyは、ベースモデルの回答を受け入れるか、あるいは大きなモデルでそれを再生するかを決定する。
第2に、禁忌ポリシーは、カスケードモデル応答が十分に確実であるか、または人間の介入を必要とするかを判定する。
論文 参考訳（メタデータ） (2025-06-13T15:36:22Z) - Sentiment Simulation using Generative AI Agents [0.0]
本稿では、心理的に豊かなプロファイルを組み込んだ生成AIエージェントを用いた感情シミュレーションの枠組みを提案する。
エージェントは2,485人のフィリピン人回答者の全国代表による調査からインスタンス化されている。
我々の研究は、心理分析を基礎としたAIエージェントによる感情モデリングのためのスケーラブルなフレームワークを確立した。
論文 参考訳（メタデータ） (2025-05-28T08:50:56Z) - Online Decision Mediation [72.80902932543474]
意思決定支援アシスタントを学習し、(好奇心)専門家の行動と(不完全)人間の行動の仲介役として機能することを検討する。
臨床診断では、完全に自律的な機械行動は倫理的余裕を超えることが多い。
論文 参考訳（メタデータ） (2023-10-28T05:59:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。