論文の概要: Manalyzer: End-to-end Automated Meta-analysis with Multi-agent System

• arxiv url: http://arxiv.org/abs/2505.20310v1
• Date: Thu, 22 May 2025 07:25:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.158327
• Title: Manalyzer: End-to-end Automated Meta-analysis with Multi-agent System
• Title（参考訳）: Manalyzer:マルチエージェントシステムによるエンドツーエンドの自動メタ分析
• Authors: Wanghan Xu, Wenlong Zhang, Fenghua Ling, Ben Fei, Yusong Hu, Fangxuan Ren, Jintai Lin, Wanli Ouyang, Lei Bai,
• Abstract要約: メタアナリシス(Meta-analysis)は、複数の既存の研究からデータを合成し、包括的な結論を導き出す体系的な研究手法である。 伝統的なメタ分析は、文献検索、紙のスクリーニング、データ抽出を含む複雑な多段階パイプラインを含む。 本稿では,ツールコールによるエンドツーエンドの自動メタ分析を実現するマルチエージェントシステムManalyzerを提案する。
• 参考スコア（独自算出の注目度）: 48.093356587573666
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Meta-analysis is a systematic research methodology that synthesizes data from multiple existing studies to derive comprehensive conclusions. This approach not only mitigates limitations inherent in individual studies but also facilitates novel discoveries through integrated data analysis. Traditional meta-analysis involves a complex multi-stage pipeline including literature retrieval, paper screening, and data extraction, which demands substantial human effort and time. However, while LLM-based methods can accelerate certain stages, they still face significant challenges, such as hallucinations in paper screening and data extraction. In this paper, we propose a multi-agent system, Manalyzer, which achieves end-to-end automated meta-analysis through tool calls. The hybrid review, hierarchical extraction, self-proving, and feedback checking strategies implemented in Manalyzer significantly alleviate these two hallucinations. To comprehensively evaluate the performance of meta-analysis, we construct a new benchmark comprising 729 papers across 3 domains, encompassing text, image, and table modalities, with over 10,000 data points. Extensive experiments demonstrate that Manalyzer achieves significant performance improvements over the LLM baseline in multi meta-analysis tasks. Project page: https://black-yt.github.io/meta-analysis-page/ .
• Abstract（参考訳）: メタアナリシス(Meta-analysis)は、複数の既存の研究からデータを合成し、包括的な結論を導き出す体系的な研究手法である。 このアプローチは、個々の研究に固有の制限を緩和するだけでなく、統合データ分析を通じて新たな発見を促進する。 従来のメタ分析には、文学検索、紙のスクリーニング、データ抽出を含む複雑な多段階パイプラインが含まれており、かなりの努力と時間を要する。 しかし、LCMベースの手法は特定の段階を加速することができるが、紙のスクリーニングやデータ抽出などの幻覚のような大きな課題に直面している。 本稿では,ツールコールによるエンドツーエンドの自動メタ分析を実現するマルチエージェントシステムManalyzerを提案する。 マナライザーで実施されたハイブリッドレビュー、階層抽出、自己証明、フィードバックチェック戦略は、これらの2つの幻覚を著しく緩和する。 メタ分析の性能を総合的に評価するために,テキスト,画像,テーブルのモダリティを含む3つの領域にわたる729の論文からなる新しいベンチマークを構築した。 大規模な実験により,マルチメタ分析タスクにおいて,ManalyzerはLLMベースライン上での大幅な性能向上を実現している。 プロジェクトページ:https://black-yt.github.io/meta-analysis-page/。

関連論文リスト

• MOLE: Metadata Extraction and Validation in Scientific Papers Using LLMs [54.5729817345543]
  MOLEは、アラビア語以外の言語のデータセットをカバーする科学論文からメタデータ属性を自動的に抽出するフレームワークである。 本手法では,複数の入力形式にまたがって文書全体を処理し,一貫した出力に対する堅牢な検証機構を組み込む。
  論文  参考訳（メタデータ） (2025-05-26T10:31:26Z)
• IDA-Bench: Evaluating LLMs on Interactive Guided Data Analysis [60.32962597618861]
  IDA-Benchは、多ラウンドの対話シナリオで大規模言語モデルを評価する新しいベンチマークである。 エージェント性能は、最終的な数値出力と人間由来のベースラインを比較して判断する。 最先端のコーディングエージェント(Claude-3.7-thinkingなど)でさえ50%のタスクを成功させ、シングルターンテストでは明らかでない制限を強調している。
  論文  参考訳（メタデータ） (2025-05-23T09:37:52Z)
• Can LLMs Help Uncover Insights about LLMs? A Large-Scale, Evolving Literature Analysis of Frontier LLMs [32.48924329288906]
  本研究では,LLMを用いたデータ抽出を高速化する文献解析のための半自動手法を提案する。 関連するarXiv論文を自動的に識別し、実験結果と関連する属性を抽出し、構造化データセットLLMEvalDBに編成する。 次に、フロンティアLCMの自動文献解析を行い、手動によるアプローチと比較して、紙調査とデータ抽出の労力を93%以上削減する。
  論文  参考訳（メタデータ） (2025-02-26T03:56:34Z)
• MIMDE: Exploring the Use of Synthetic vs Human Data for Evaluating Multi-Insight Multi-Document Extraction Tasks [0.0]
  我々は,Multi-Insight Multi-Document extract (MIMDE)タスクのセットを定義する。 この課題は、調査回答の分析から医療記録の処理に至るまで、多くの実践的応用に欠かせないものである。 そこで本研究では, 合成データの可能性を検討するために, 補完的な人間と合成データセットを新たに導入する。
  論文  参考訳（メタデータ） (2024-11-29T13:24:10Z)
• Empowering Meta-Analysis: Leveraging Large Language Models for Scientific Synthesis [7.059964549363294]
  本研究では,大規模言語モデル(LLM)を用いた科学文献におけるメタアナリシスの自動化について検討する。 ビッグデータ処理と構造化データ抽出の課題に対処するため,LLMを広範囲の科学的データセットに微調整する新たなアプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-16T20:18:57Z)
• Embrace Divergence for Richer Insights: A Multi-document Summarization Benchmark and a Case Study on Summarizing Diverse Information from News Articles [136.84278943588652]
  同一イベントを含む複数のニュース記事において遭遇する多様な情報を要約する新しい課題を提案する。 この作業を容易にするために、多様な情報を特定するためのデータ収集スキーマの概要と、DiverseSummというデータセットをキュレートした。 データセットには245のニュース記事が含まれており、各ストーリーは10のニュース記事からなり、人間公認の参照と組み合わせられる。
  論文  参考訳（メタデータ） (2023-09-17T20:28:17Z)
• Alchemy: A structured task distribution for meta-reinforcement learning [52.75769317355963]
  本稿では,構造的リッチネスと構造的透明性を組み合わせたメタRL研究のための新しいベンチマークを提案する。 Alchemyは3Dビデオゲームで、エピソードからエピソードまで手続き的に再サンプリングされる潜伏した因果構造を含んでいる。 本稿では,アルケミーの強力なRL剤について検討し,その1つについて詳細な分析を行った。
  論文  参考訳（メタデータ） (2021-02-04T23:40:44Z)
• Transformer-based Multi-Aspect Modeling for Multi-Aspect Multi-Sentiment Analysis [56.893393134328996]
  本稿では,複数の側面間の潜在的な関係を抽出し,文中のすべての側面の感情を同時に検出できるトランスフォーマーベースのマルチアスペクトモデリング手法を提案する。 本手法はBERTやRoBERTaといった強力なベースラインと比較して顕著な改善を実現している。
  論文  参考訳（メタデータ） (2020-11-01T11:06:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。