論文の概要: Can Generative AI Automate Data Extraction for Meta-Analysis? A Case Study on Intercropping Research

• arxiv url: http://arxiv.org/abs/2609.35089v1
• Date: Mon, 28 Sep 2026 13:04:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 17:06:22.900223
• Title: Can Generative AI Automate Data Extraction for Meta-Analysis? A Case Study on Intercropping Research
• Title（参考訳）: メタ分析のためのAI自動データ抽出は可能か? : インタークロッピング研究を事例として
• Abstract要約: 農業研究におけるメタアナリシス(メタアナリシス)は、既知のものを合成し、網羅的なパターンを分析するために大きな必要性がある。 刊行された文献からデータを抽出することは、労働集約的で、時間がかかり、退屈である。 最近の試みでは、データ収集を自動化するシステムやツールの構築に重点を置いているが、人間のラベルによる真実に対する厳密な評価は、しばしば欠落している。
• 参考スコア（独自算出の注目度）: 3.4117490081172774
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Meta-analysis is the synthesis of information from multiple sources to arrive at an overarching conclusion. There is a large need for meta-analysis in agricultural research to synthesize what is known and analyze overarching patterns. Extracting data from published literature is, however, labor-intensive, time-consuming, and tedious, and is impeded by a lack of standardization in research design, units of measurement, and terminology. These challenges are particularly evident in the domain of crop species mixtures, also called intercropping. With the growing capabilities of LLMs, many recent attempts have focused on building systems and tools to automate data collection, yet rigorous assessment against human-labeled ground truth is often missing. In this research, we evaluate three LLM-based approaches---direct zero-shot prompting, a staged workflow, and a multi-agent system---with six open-weight models to extract data from the intercropping literature. The results are evaluated against the manually curated ground truth and through a downstream statistical analysis. Overall, direct zero-shot prompting is the strongest and most consistent approach, achieving the highest mean similarity-adjusted F1 of 0.577, although none of the approaches is close to fully accurate. In the downstream analysis, most model--approach combinations recover the direction of the relationship between the predictor and outcome variables, but do not estimate its magnitude accurately.
• Abstract（参考訳）: メタ分析(メタアナリシス)とは、複数の情報源からの情報を総合的な結論に導くための合成である。 農業研究におけるメタアナリシス(メタアナリシス)は、既知のものを合成し、網羅的なパターンを分析するために大きな必要性がある。 しかし、刊行された文献からデータを抽出することは、労働集約的で、時間がかかり、退屈であり、研究設計や測定単位、用語の標準化の欠如によって妨げられている。 これらの課題は、インタークロッピング(Intercropping)とも呼ばれる作物種の混合領域において特に顕著である。 LLMの能力の増大に伴い、最近の多くの試みは、データ収集を自動化するシステムやツールの構築に重点を置いているが、人間ラベルの真実に対する厳密な評価は、しばしば欠落している。 本研究では,6つのオープンウェイトモデルを用いて,直接ゼロショットプロンプト,ステージドワークフロー,マルチエージェントシステムの3つのLCMベースのアプローチを評価し,インタクロッピングの文献からデータを抽出する。 結果は,手作業による地下の真実や下流の統計分析によって評価される。 全体としては、直接ゼロショットプロンプトは最強かつ最も一貫したアプローチであり、どのアプローチも完全には正確ではないものの、0.577の最小平均類似度調整F1を達成する。 下流分析では、ほとんどのモデルアプローチの組み合わせは予測変数と結果変数の関係の方向を復元するが、その大きさを正確に見積もることはできない。

関連論文リスト

• AutoMalDesc: Large-Scale Script Analysis for Cyber Threat Research [81.04845910798387]
  脅威検出のための自然言語の説明を生成することは、サイバーセキュリティ研究において未解決の問題である。 本稿では,大規模に独立して動作する自動静的解析要約フレームワークAutoMalDescを紹介する。 アノテーション付きシード(0.9K)データセットや方法論,評価フレームワークなど,100万以上のスクリプトサンプルの完全なデータセットを公開しています。
  論文  参考訳（メタデータ） (2025-11-17T13:05:25Z)
• Large Language Models for Full-Text Methods Assessment: A Case Study on Mediation Analysis [15.98124151893659]
  大規模言語モデル(LLM)は方法論的評価の自動化の可能性を秘めている。 我々は180のフルテキストの科学論文に対して、最先端のLLMを専門家の人間レビュアーに対してベンチマークした。
  論文  参考訳（メタデータ） (2025-10-12T19:04:22Z)
• Beyond Memorization: Reasoning-Driven Synthesis as a Mitigation Strategy Against Benchmark Contamination [77.69093448529455]
  本稿では,arXiv論文から直接研究レベルのQAを合成するために,無限にスケーラブルなフレームワークを用いて実証的研究を行う。 各種サイズ,開発者,リリース日といったモデルについて,知識カットオフ日に近い性能劣化の欠如を評価した。 合成パイプラインで要求される多段階の推論は、浅い記憶よりも深い複雑さをもたらしたと仮定する。
  論文  参考訳（メタデータ） (2025-08-26T16:41:37Z)
• Manalyzer: End-to-end Automated Meta-analysis with Multi-agent System [48.093356587573666]
  メタアナリシス(Meta-analysis)は、複数の既存の研究からデータを合成し、包括的な結論を導き出す体系的な研究手法である。 伝統的なメタ分析は、文献検索、紙のスクリーニング、データ抽出を含む複雑な多段階パイプラインを含む。 本稿では,ツールコールによるエンドツーエンドの自動メタ分析を実現するマルチエージェントシステムManalyzerを提案する。
  論文  参考訳（メタデータ） (2025-05-22T07:25:31Z)
• Empowering Meta-Analysis: Leveraging Large Language Models for Scientific Synthesis [7.059964549363294]
  本研究では,大規模言語モデル(LLM)を用いた科学文献におけるメタアナリシスの自動化について検討する。 ビッグデータ処理と構造化データ抽出の課題に対処するため,LLMを広範囲の科学的データセットに微調整する新たなアプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-16T20:18:57Z)
• Automatically Extracting Numerical Results from Randomized Controlled Trials with Large Language Models [19.72316842477808]
  我々は,現代の大規模言語モデル (LLM) がこのタスクを確実に実行できるかを評価する。 長い入力を許容できる大規模なLSMは、完全に自動メタ分析を実現するために、微妙に近い。
  論文  参考訳（メタデータ） (2024-05-02T19:20:11Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。