論文の概要: Automating Computational Reproducibility in Social Science: Comparing Prompt-Based and Agent-Based Approaches

• arxiv url: http://arxiv.org/abs/2602.08561v1
• Date: Mon, 09 Feb 2026 11:59:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-10 20:26:25.209409
• Title: Automating Computational Reproducibility in Social Science: Comparing Prompt-Based and Agent-Based Approaches
• Title（参考訳）: 社会科学における計算再現性の自動化--プロンプトとエージェントによるアプローチの比較
• Authors: Syed Mehtab Hussain Shah, Frank Hopfgartner, Arnim Bleier,
• Abstract要約: 計算研究の再現は、提供されたデータで元のコードを再実行するのと同じくらい単純であるとしばしば考えられている。 本研究では,大規模な言語モデルとAIエージェントが,そのような障害の診断と修復を自動化できるかどうかを検討する。
• 参考スコア（独自算出の注目度）: 0.3637090866781549
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reproducing computational research is often assumed to be as simple as rerunning the original code with provided data. In practice, missing packages, fragile file paths, version conflicts, or incomplete logic frequently cause analyses to fail, even when materials are shared. This study investigates whether large language models and AI agents can automate the diagnosis and repair of such failures, making computational results easier to reproduce and verify. We evaluate this using a controlled reproducibility testbed built from five fully reproducible R-based social science studies. Realistic failures were injected, ranging from simple issues to complex missing logic, and two automated repair workflows were tested in clean Docker environments. The first workflow is prompt-based, repeatedly querying language models with structured prompts of varying context, while the second uses agent-based systems that inspect files, modify code, and rerun analyses autonomously. Across prompt-based runs, reproduction success ranged from 31-79 percent, with performance strongly influenced by prompt context and error complexity. Complex cases benefited most from additional context. Agent-based workflows performed substantially better, with success rates of 69-96 percent across all complexity levels. These results suggest that automated workflows, especially agent-based systems, can significantly reduce manual effort and improve reproduction success across diverse error types. Unlike prior benchmarks, our testbed isolates post-publication repair under controlled failure modes, allowing direct comparison of prompt-based and agent-based approaches.
• Abstract（参考訳）: 計算研究の再現は、提供されたデータで元のコードを再実行するのと同じくらい単純であるとしばしば考えられている。 実際には、パッケージの欠如、脆弱なファイルパス、バージョンコンフリクト、あるいは不完全なロジックは、たとえ材料が共有されても、しばしば分析に失敗する。 本研究では,大規模言語モデルとAIエージェントがこのような障害の診断と修復を自動化し,計算結果の再現と検証を容易にするかを検討する。 完全に再現可能な5つのR型社会科学研究から構築した再現性テストベッドを用いて,これを評価した。 単純な問題から複雑なロジックまで、現実的な障害が注入され、クリーンなDocker環境で2つの自動修復ワークフローがテストされた。 最初のワークフローはプロンプトベースで、さまざまなコンテキストで構造化されたプロンプトで言語モデルを何度もクエリする。 プロンプトベースの実行では、再生成功率は31～79パーセントまで変化し、パフォーマンスはプロンプトコンテキストとエラーの複雑さの影響を強く受けていた。 複雑なケースは、追加のコンテキストから最も恩恵を受けました。 エージェントベースのワークフローは、すべての複雑性レベルにおいて69～96パーセントの成功率で大幅に向上した。 これらの結果は、自動化されたワークフロー、特にエージェントベースのシステムは、手作業を大幅に削減し、多様なエラータイプ間での再現成功を改善することを示唆している。 従来のベンチマークとは異なり、テストベッドは制御された障害モード下での公開後の修復を分離し、プロンプトベースのアプローチとエージェントベースのアプローチを直接比較できる。

関連論文リスト

• TraceCoder: A Trace-Driven Multi-Agent Framework for Automated Debugging of LLM-Generated Code [11.207330722400764]
  人間の観察・分析・修復過程をエミュレートするフレームワークであるTraceCoderを提案する。 このフレームワークはまずコードを診断プローブで測定し、粒度の細かいランタイムトレースをキャプチャする。 その後、これらのトレースについて因果解析を行い、失敗の根本原因を正確に特定する。
  論文  参考訳（メタデータ） (2026-02-06T16:59:48Z)
• DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
  DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。 ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。 DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
  論文  参考訳（メタデータ） (2025-12-07T09:23:48Z)
• Multi-Agent Systems for Dataset Adaptation in Software Engineering: Capabilities, Limitations, and Future Directions [8.97512410819274]
  本稿では,データセット適応タスクにおいて,最先端のマルチエージェントシステムがどのように機能するかについて,最初の実証的研究を行う。 我々は、GitHub Copilotを評価し、ROCODEやLogHub2.0といったベンチマークリポジトリからSE研究成果物を適用する。 その結果、現在のシステムはキーファイルを識別し、部分的な適応を生成することができるが、正しい実装を生成することは滅多にない。
  論文  参考訳（メタデータ） (2025-11-26T13:26:11Z)
• Metacognitive Self-Correction for Multi-Agent System via Prototype-Guided Next-Execution Reconstruction [58.51530390018909]
  大規模言語モデルに基づくマルチエージェントシステムは、協調的な問題解決において優れているが、エラーのカスケードには脆弱である。 我々は,MASにリアルタイム,教師なし,ステップレベルの誤り検出と自己補正を付与するメタ認知フレームワークMASCを提案する。
  論文  参考訳（メタデータ） (2025-10-16T05:35:37Z)
• CoDA: Agentic Systems for Collaborative Data Visualization [57.270599188947294]
  深層研究はデータ分析に革命をもたらしたが、データサイエンティストは依然として手作業による視覚化にかなりの時間を費やしている。 単純なシングルエージェントシステムやマルチエージェントシステムを含む既存のアプローチは、しばしばタスクを単純化する。 本稿では,メタデータ分析,タスク計画,コード生成,自己回帰に特殊なLLMエージェントを利用するマルチエージェントシステムであるCoDAを紹介する。
  論文  参考訳（メタデータ） (2025-10-03T17:30:16Z)
• Automatic Failure Attribution and Critical Step Prediction Method for Multi-Agent Systems Based on Causal Inference [8.823529310904162]
  マルチエージェントシステム(MAS)は複雑なタスクの自動化に不可欠であるが、その実践的展開は障害帰属の課題によって妨げられている。 マルチグラニュラリティ因果推論に基づくMASのための最初の失敗帰属フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-10T15:22:00Z)
• CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
  評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。 数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。 我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
  論文  参考訳（メタデータ） (2025-08-05T17:55:24Z)
• RARE: Retrieval-Aware Robustness Evaluation for Retrieval-Augmented Generation Systems [33.389969814185214]
  Retrieval-Augmented Generation (RAG)は、回答の正確性と事実性を高める。 既存の評価では、RAGシステムが現実世界のノイズ、内部と外部の取得したコンテキストの衝突、あるいは急速に変化する事実にどれくらいうまく対処しているかを検査することはめったにない。 本稿では,動的で時間に敏感なコーパス上でのストレステストクエリと文書摂動を共同で行う,統一されたフレームワークと大規模ベンチマークであるRetrieval-Aware Robustness Evaluation (RARE)を紹介する。
  論文  参考訳（メタデータ） (2025-06-01T02:42:36Z)
• Automated Refactoring of Non-Idiomatic Python Code: A Differentiated Replication with LLMs [54.309127753635366]
  本研究は, GPT-4の有効性について検討し, 慣用行動の推奨と示唆について検討した。 この結果から,従来は複雑なコード解析に基づくレコメンデータの実装が求められていた,LCMの課題達成の可能性が浮き彫りになった。
  論文  参考訳（メタデータ） (2025-01-28T15:41:54Z)
• An Empirical Study on LLM-based Agents for Automated Bug Fixing [8.660251517380779]
  大規模な言語モデル (LLM) と LLM ベースのエージェントが自動的にバグを修正するために適用されている。 自動バグ修正のためのSWE-bench Verifiedベンチマークにおいて,6つの修復システムについて検討した。
  論文  参考訳（メタデータ） (2024-11-15T14:19:15Z)
• Factual Error Correction for Abstractive Summaries Using Entity Retrieval [57.01193722520597]
  本稿では,エンティティ検索後処理に基づく効率的な事実誤り訂正システムRFECを提案する。 RFECは、原文と対象要約とを比較して、原文から証拠文を検索する。 次に、RFECは、エビデンス文を考慮し、要約中のエンティティレベルのエラーを検出し、エビデンス文から正確なエンティティに置換する。
  論文  参考訳（メタデータ） (2022-04-18T11:35:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。