論文の概要: MIMDE: Exploring the Use of Synthetic vs Human Data for Evaluating Multi-Insight Multi-Document Extraction Tasks

• arxiv url: http://arxiv.org/abs/2411.19689v1
• Date: Fri, 29 Nov 2024 13:24:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 20:28:08.020358
• Title: MIMDE: Exploring the Use of Synthetic vs Human Data for Evaluating Multi-Insight Multi-Document Extraction Tasks
• Title（参考訳）: MIMDE:多視点マルチドキュメント抽出タスクの評価における合成と人的データの利用を探る
• Authors: John Francis, Saba Esnaashari, Anton Poletaev, Sukankana Chakraborty, Youmna Hashem, Jonathan Bright,
• Abstract要約: 我々は,Multi-Insight Multi-Document extract (MIMDE)タスクのセットを定義する。 この課題は、調査回答の分析から医療記録の処理に至るまで、多くの実践的応用に欠かせないものである。 そこで本研究では, 合成データの可能性を検討するために, 補完的な人間と合成データセットを新たに導入する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have demonstrated remarkable capabilities in text analysis tasks, yet their evaluation on complex, real-world applications remains challenging. We define a set of tasks, Multi-Insight Multi-Document Extraction (MIMDE) tasks, which involves extracting an optimal set of insights from a document corpus and mapping these insights back to their source documents. This task is fundamental to many practical applications, from analyzing survey responses to processing medical records, where identifying and tracing key insights across documents is crucial. We develop an evaluation framework for MIMDE and introduce a novel set of complementary human and synthetic datasets to examine the potential of synthetic data for LLM evaluation. After establishing optimal metrics for comparing extracted insights, we benchmark 20 state-of-the-art LLMs on both datasets. Our analysis reveals a strong correlation (0.71) between the ability of LLMs to extracts insights on our two datasets but synthetic data fails to capture the complexity of document-level analysis. These findings offer crucial guidance for the use of synthetic data in evaluating text analysis systems, highlighting both its potential and limitations.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、テキスト解析タスクにおいて顕著な能力を示してきたが、複雑な実世界のアプリケーションに対する評価は依然として困難である。 我々は、文書コーパスから最適なインサイトを抽出し、これらのインサイトを元のドキュメントにマッピングすることを含む、MIMDE(Multi-Insight Multi-Document extract)タスクのセットを定義する。 このタスクは、調査回答の分析から医療記録の処理まで、文書を横断する重要な洞察の特定と追跡まで、多くの実践的応用に不可欠である。 我々はMIMDEの評価フレームワークを開発し、LLM評価のための合成データの可能性を検討するために、補完的な人間と合成データセットを新たに導入する。 抽出した知見を比較するための最適な指標を確立した後、両データセットで20の最先端LCMをベンチマークする。 解析の結果,LLMが2つのデータセットの洞察を抽出する能力との間には強い相関関係(0.71)がみられたが,合成データは文書レベルの解析の複雑さを捉えるには至らなかった。 これらの知見は、テキスト分析システム評価における合成データの利用に関する重要なガイダンスを提供し、その可能性と限界の両方を強調している。

関連論文リスト

• Can LLMs Generate Tabular Summaries of Science Papers? Rethinking the Evaluation Protocol [83.90769864167301]
  文献レビュー表は、科学論文の集合を要約し比較するために欠かせないものである。 学術論文の収集にあたり,ユーザの情報ニーズを最大限に満たす表を作成するタスクについて検討する。 我々の貢献は、現実世界で遭遇する3つの重要な課題に焦点を当てている: (i)ユーザープロンプトは、しばしば未特定である; (ii)検索された候補論文は、しばしば無関係な内容を含む; (iii)タスク評価は、浅いテキスト類似性技術を超えて進むべきである。
  論文  参考訳（メタデータ） (2025-04-14T14:52:28Z)
• Can LLMs Help Uncover Insights about LLMs? A Large-Scale, Evolving Literature Analysis of Frontier LLMs [32.48924329288906]
  本研究では,LLMを用いたデータ抽出を高速化する文献解析のための半自動手法を提案する。 関連するarXiv論文を自動的に識別し、実験結果と関連する属性を抽出し、構造化データセットLLMEvalDBに編成する。 次に、フロンティアLCMの自動文献解析を行い、手動によるアプローチと比較して、紙調査とデータ抽出の労力を93%以上削減する。
  論文  参考訳（メタデータ） (2025-02-26T03:56:34Z)
• Empowering Meta-Analysis: Leveraging Large Language Models for Scientific Synthesis [7.059964549363294]
  本研究では,大規模言語モデル(LLM)を用いた科学文献におけるメタアナリシスの自動化について検討する。 ビッグデータ処理と構造化データ抽出の課題に対処するため,LLMを広範囲の科学的データセットに微調整する新たなアプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-16T20:18:57Z)
• PUB: Plot Understanding Benchmark and Dataset for Evaluating Large Language Models on Synthetic Visual Data Interpretation [2.1184929769291294]
  本稿では,データ視覚化における大規模言語モデルの習熟度を評価するために設計された,新しい合成データセットを提案する。 我々のデータセットは、制御されたパラメータを使って生成され、潜在的な現実世界シナリオの包括的カバレッジが保証されます。 我々は、画像中の視覚データに関連する質問を多モーダルテキストプロンプトを用いて、いくつかの最先端モデルをベンチマークする。
  論文  参考訳（メタデータ） (2024-09-04T11:19:17Z)
• Integrating Large Language Models and Knowledge Graphs for Extraction and Validation of Textual Test Data [3.114910206366326]
  タレス・アレニア・スペース (Thales Alenia Space) のような航空宇宙製造会社は、製品の設計、開発、統合、検証、検証を行っている。 本稿では,Large Language Models (LLMs) と協調して知識グラフ(KGs)を活用してデータの抽出と検証を行うハイブリッド手法を提案する。
  論文  参考訳（メタデータ） (2024-08-03T07:42:53Z)
• InsightBench: Evaluating Business Analytics Agents Through Multi-Step Insight Generation [79.09622602860703]
  3つの重要な特徴を持つベンチマークデータセットであるInsightBenchを紹介します。 財務やインシデント管理といったさまざまなビジネスユースケースを表す100のデータセットで構成されている。 単一のクエリに回答することに焦点を当てた既存のベンチマークとは異なり、InsightBenchは、エンドツーエンドのデータ分析を実行する能力に基づいてエージェントを評価する。
  論文  参考訳（メタデータ） (2024-07-08T22:06:09Z)
• MMSci: A Dataset for Graduate-Level Multi-Discipline Multimodal Scientific Understanding [59.41495657570397]
  本稿では,72の科学分野をカバーするNature Communicationsの記事からまとめられた包括的データセットについて述べる。 2つのベンチマークタスク(図のキャプションと複数選択)で19のプロプライエタリモデルとオープンソースモデルを評価し,人手による注釈を行った。 タスク固有データを用いた細調整Qwen2-VL-7Bは、GPT-4oや人間の専門家でさえも、マルチチョイス評価において優れた性能を示した。
  論文  参考訳（メタデータ） (2024-07-06T00:40:53Z)
• DiscoveryBench: Towards Data-Driven Discovery with Large Language Models [50.36636396660163]
  我々は、データ駆動探索の多段階プロセスを形式化する最初の包括的なベンチマークであるDiscoveryBenchを紹介する。 我々のベンチマークには、社会学や工学などの6つの分野にまたがる264のタスクが含まれている。 私たちのベンチマークでは、自律的なデータ駆動型発見の課題を説明し、コミュニティが前進するための貴重なリソースとして役立ちます。
  論文  参考訳（メタデータ） (2024-07-01T18:58:22Z)
• Exploring the Capabilities of Large Multimodal Models on Dense Text [58.82262549456294]
  我々は170万の質問応答対を持つDT-VQAデータセットを提案する。 本稿では,GPT4V,Gemini,および各種オープンソースLMMの総合評価を行う。 自動的にラベル付けされたトレーニングデータセットであっても、モデルパフォーマンスの大幅な改善が達成できる。
  論文  参考訳（メタデータ） (2024-05-09T07:47:25Z)
• Can Large Language Models Serve as Data Analysts? A Multi-Agent Assisted Approach for Qualitative Data Analysis [6.592797748561459]
  大規模言語モデル(LLM)は、ソフトウェア工学(SE)における協調的な人間とロボットの相互作用を可能にした 定性的な研究において,新たな拡張性と精度の次元を導入し,SEにおけるデータ解釈手法を変革する可能性がある。
  論文  参考訳（メタデータ） (2024-02-02T13:10:46Z)
• KAXAI: An Integrated Environment for Knowledge Analysis and Explainable AI [0.0]
  本稿では,AutoML,XAI,合成データ生成を統合したシステムの設計について述べる。 このシステムは、複雑度を抽象化し、高いユーザビリティを提供しながら、機械学習のパワーをナビゲートし活用することができる。
  論文  参考訳（メタデータ） (2023-12-30T10:20:47Z)
• Embrace Divergence for Richer Insights: A Multi-document Summarization Benchmark and a Case Study on Summarizing Diverse Information from News Articles [136.84278943588652]
  同一イベントを含む複数のニュース記事において遭遇する多様な情報を要約する新しい課題を提案する。 この作業を容易にするために、多様な情報を特定するためのデータ収集スキーマの概要と、DiverseSummというデータセットをキュレートした。 データセットには245のニュース記事が含まれており、各ストーリーは10のニュース記事からなり、人間公認の参照と組み合わせられる。
  論文  参考訳（メタデータ） (2023-09-17T20:28:17Z)
• Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
  本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。 26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
  論文  参考訳（メタデータ） (2023-05-24T10:45:25Z)
• Data Augmentation for Abstractive Query-Focused Multi-Document Summarization [129.96147867496205]
  2つのQMDSトレーニングデータセットを提示し,2つのデータ拡張手法を用いて構築する。 これらの2つのデータセットは相補的な性質を持ち、すなわちQMDSCNNは実際のサマリを持つが、クエリはシミュレートされる。 組み合わせたデータセット上にエンドツーエンドのニューラルネットワークモデルを構築し、DUCデータセットに最新の転送結果をもたらします。
  論文  参考訳（メタデータ） (2021-03-02T16:57:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。