論文の概要: LLM-Assisted Replication for Quantitative Social Science

• arxiv url: http://arxiv.org/abs/2602.18453v1
• Date: Wed, 04 Feb 2026 15:17:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-02 07:21:25.574929
• Title: LLM-Assisted Replication for Quantitative Social Science
• Title（参考訳）: LLMによる社会科学の定量化
• Authors: So Kubota, Hiromu Yakura, Samuel Coavoux, Sho Yamada, Yuki Nakamura,
• Abstract要約: 大規模言語モデル(LLM)は、執筆、コーディング、レビューの合理化によって科学的生産を加速している。 本稿では,社会科学論文の統計分析を再現し,潜在的な問題にフラグを立てるLLMシステムを提案する。
• 参考スコア（独自算出の注目度）: 11.948334549403583
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The replication crisis, the failure of scientific claims to be validated by further research, is one of the most pressing issues for empirical research. This is partly an incentive problem: replication is costly and less well rewarded than original research. Large language models (LLMs) have accelerated scientific production by streamlining writing, coding, and reviewing, yet this acceleration risks outpacing verification. To address this, we present an LLM-based system that replicates statistical analyses from social science papers and flags potential problems. Quantitative social science is particularly well-suited to automation because it relies on standard statistical models, shared public datasets, and uniform reporting formats such as regression tables and summary statistics. We present a prototype that iterates LLM-based text interpretation, code generation, execution, and discrepancy analysis, demonstrating its capabilities by reproducing key results from a seminal sociology paper. We also outline application scenarios including pre-submission checks, peer-review support, and meta-scientific audits, positioning AI verification as assistive infrastructure that strengthens research integrity.
• Abstract（参考訳）: さらなる研究によって検証されるという科学的主張の失敗である複製危機は、経験的研究にとって最も差し迫った問題の一つである。 これは部分的にはインセンティブの問題であり、複製は原研究よりも高価で報われていない。 大規模言語モデル(LLM)は、記述、コーディング、レビューの合理化によって科学的生産を加速しているが、この加速は検証を上回るリスクを負っている。 そこで本稿では,社会科学論文の統計分析を再現し,潜在的な問題をフラグ付けするLLMシステムを提案する。 定量的社会科学は、標準的な統計モデル、共有された公開データセット、回帰表や要約統計のような統一的な報告形式に依存するため、自動化には特に適している。 本稿では, LLMに基づくテキスト解釈, コード生成, 実行, および不一致解析を繰り返し, 基礎社会学論文から重要な結果を再現してその能力を実証するプロトタイプを提案する。 また、サブミッションチェック、ピアレビューサポート、メタ科学監査などのアプリケーションシナリオを概説し、AI検証を研究の完全性を強化する補助的なインフラストラクチャとして位置付ける。

関連論文リスト

• CiteAudit: You Cited It, But Did You Read It? A Benchmark for Verifying Scientific References in the LLM Era [51.63024682584688]
  大規模言語モデル (LLM) は新たなリスクを導入している。 本稿では,科学文献における幻覚的引用のための総合的なベンチマークおよび検出フレームワークについて紹介する。 我々のフレームワークは、精度と解釈可能性の両方において、先行手法を著しく上回っている。
  論文  参考訳（メタデータ） (2026-02-26T19:17:39Z)
• ReplicatorBench: Benchmarking LLM Agents for Replicability in Social and Behavioral Sciences [19.81372090301296]
  ReplicatorBenchは、3段階にわたる研究レプリケーションにおけるAIエージェントの評価のためのエンドツーエンドのベンチマークである。 ReplicatorAgentは,Web検索やサンドボックス環境との反復的なインタラクションなど,必要なツールを備えたエージェントフレームワークである。 ReplicatorAgentは、4つの基礎となる大規模言語モデル(LLM)にまたがって評価する。
  論文  参考訳（メタデータ） (2026-02-11T20:42:10Z)
• The Story is Not the Science: Execution-Grounded Evaluation of Mechanistic Interpretability Research [56.80927148740585]
  我々は、動的に進化し、研究評価者としてAIエージェントを開発することで、スケーラビリティと厳密さの課題に対処する。 我々は,機械的解釈可能性の研究をテストベッドとして使用し,標準化された研究成果を構築し,MechEvalAgentを開発した。 我々の研究は、AIエージェントが研究評価を変革し、厳格な科学的実践の道を開く可能性を実証している。
  論文  参考訳（メタデータ） (2026-02-05T19:00:02Z)
• Large Language Models for Unit Test Generation: Achievements, Challenges, and the Road Ahead [15.43943391801509]
  単体テストは、ソフトウェアの検証には不可欠だが、面倒なテクニックである。 大規模言語モデル(LLM)は、コードセマンティクスとプログラミングパターンに関するデータ駆動の知識を活用することで、この制限に対処する。 このフレームワークは、コアジェネレーティブ戦略と一連の拡張テクニックに関する文献を分析します。
  論文  参考訳（メタデータ） (2025-11-26T13:30:11Z)
• BadScientist: Can a Research Agent Write Convincing but Unsound Papers that Fool LLM Reviewers? [21.78901120638025]
  製造指向の紙生成エージェントがマルチモデルLCMレビューシステムを欺くことができるかどうかを考察する。 我々のジェネレータは、実際の実験を必要としないプレゼンテーション操作戦略を採用している。 健全な集約数学にもかかわらず、整合性検査は体系的に失敗する。
  論文  参考訳（メタデータ） (2025-10-20T18:37:11Z)
• Does GenAI Rewrite How We Write? An Empirical Study on Two-Million Preprints [15.070885964897734]
  生成型大規模言語モデル(LLM)は、原稿の書き方を変えることによって、さらなる破壊をもたらす可能性がある。 本稿は、2016年から2025年(115ヶ月)にかけての2100万件以上のプレプリントを4つの主要なリポジトリで大規模に分析することで、このギャップを解消する。 以上の結果から,LSMは提出サイクルと修正サイクルを加速し,言語的複雑性が緩やかに増加し,AI関連トピックが不均等に拡大したことが明らかとなった。
  論文  参考訳（メタデータ） (2025-10-18T01:37:40Z)
• How Do LLM-Generated Texts Impact Term-Based Retrieval Models? [76.92519309816008]
  本稿では,大規模言語モデル(LLM)が項ベース検索モデルに与える影響について検討する。 言語学的解析により,LLM生成テキストはよりスムーズで低周波なZipf勾配を示すことが明らかとなった。 本研究は,項分布がクエリと密接に一致した文書を優先して,項ベース検索モデルがソースバイアスを示すかどうかを考察する。
  論文  参考訳（メタデータ） (2025-08-25T06:43:27Z)
• Do Large Language Models (Really) Need Statistical Foundations? [1.7741566627076264]
  大規模言語モデル(LLM)は、構造化されていないデータを処理するための新しいパラダイムである。 本稿では, LLM の開発と応用が, 統計学的な貢献から真に恩恵を受けるかどうかを論じる。
  論文  参考訳（メタデータ） (2025-05-25T13:44:47Z)
• ResearchBench: Benchmarking LLMs in Scientific Discovery via Inspiration-Based Task Decomposition [67.26124739345332]
  大規模言語モデル(LLM)は科学的研究を支援する可能性を示しているが、高品質な研究仮説を発見する能力はいまだ検討されていない。 我々は,LLMを科学的発見のサブタスクのほぼ十分セットで評価するための,最初の大規模ベンチマークを紹介する。 学術論文から重要コンポーネント(研究質問、背景調査、インスピレーション、仮説)を抽出する自動フレームワークを開発する。
  論文  参考訳（メタデータ） (2025-03-27T08:09:15Z)
• ResearchAgent: Iterative Research Idea Generation over Scientific Literature with Large Language Models [56.08917291606421]
  ResearchAgentは、新しい作品のアイデアと運用のためのAIベースのシステムである。 ResearchAgentは、新しい問題を自動で定義し、手法と設計実験を提案し、繰り返し修正する。 我々は、複数の分野にわたる科学論文に関するResearchAgentを実験的に検証した。
  論文  参考訳（メタデータ） (2024-04-11T13:36:29Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。