論文の概要: From Single- to Cross-Document: Benchmarking Multi-Granularity Event Analysis of Large Language Models

• arxiv url: http://arxiv.org/abs/2607.27654v1
• Date: Thu, 30 Jul 2026 04:06:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-31 21:37:00.391594
• Title: From Single- to Cross-Document: Benchmarking Multi-Granularity Event Analysis of Large Language Models
• Title（参考訳）: 単一文書からクロスドキュメントへ:大規模言語モデルの多粒度事象解析のベンチマーク
• Abstract要約: イベント解析タスクにおける大規模言語モデル(LLM)の性能を評価するための体系的ベンチマークであるMiGUE-Benchを紹介する。 まず,LLM による自己修正アノテーションフレームワーク MiGUE-Pipeline を開発した。 そこで我々は,4つのコアタスク,すなわちイベント検出,関係推論,構造誘導,将来予測を設計し,異なるレベルでのモデル能力の探索を行う。
• 参考スコア（独自算出の注目度）: 27.87668856281766
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Event analysis is an essential and fundamental direction of information extraction, involving various event-centric tasks at different granularity of documents. While large language models (LLMs) have preliminarily achieved promising performance in part of these tasks individually, their capability in event analysis still lacks comprehensive understanding due to restricted document granularity, task designs, and data source of existing benchmarks. To address these limitations, we introduce MiGUE-Bench, a systematic benchmark for assessing the performance of LLMs in multi-granularity event analysis. To support large-scale evaluation, we first develop an LLM-driven self-correcting annotation framework called MiGUE-Pipeline, enabling scalable acquisition of high-quality source data of events with automatic labels. Then, we design four core tasks in our benchmark, i.e., event detection, relation reasoning, structure induction, and future prediction, to probe model competence at different levels, from atomic event details to complex cross-document narratives. Extensive experiments on state-of-the-art LLMs and retrieval-augmented generation (RAG) methods delineate the current capability boundary and identify critical deficiencies, providing insights into the future improvement of LLMs in challenging event analysis tasks.
• Abstract（参考訳）: イベント分析は、文書の粒度の異なる様々なイベント中心のタスクを含む、情報抽出の必須かつ基本的な方向である。 大規模言語モデル(LLM)は、個々のタスクで有望なパフォーマンスを達成したが、イベント分析におけるそれらの能力は、ドキュメントの粒度やタスク設計、既存のベンチマークのデータソースが制限されているため、包括的理解に欠けていた。 これらの制約に対処するために,マルチグラニュラリティイベント解析におけるLLMの性能評価のための系統的ベンチマークであるMiGUE-Benchを紹介する。 大規模評価を支援するために,我々はまず,MIGUE-Pipelineと呼ばれるLPM駆動の自己修正アノテーションフレームワークを開発した。 そして、我々は、原子イベントの詳細から複雑なクロスドキュメント物語まで、さまざまなレベルでモデルの能力を調べるために、イベント検出、関係推論、構造誘導、将来の予測という4つのコアタスクをベンチマークで設計する。 最先端のLLMとRAG(Research-augmented Generation)手法の広範な実験は、現在の能力境界を規定し、重要な欠陥を特定し、イベント分析タスクに挑戦する上でのLCMの将来的な改善に関する洞察を提供する。

関連論文リスト

• Text Analytics Evaluation Framework: A Case Study on LLMs and Social Media [4.065252374657746]
  質問に基づく評価フレームワークを導入する。 さまざまなNLPをカバーするさまざまなTwitterデータセットにベンチマークを適用した。 感情分析、ヘイトスピーチ検出、感情認識などのタスク。 この結果から,入力スケールとデータソースの複雑さに大きく依存していることが判明した。
  論文  参考訳（メタデータ） (2026-05-20T16:05:05Z)
• TSAQA: Time Series Analysis Question And Answering Benchmark [85.35545785252309]
  時系列データは、金融、医療、交通、環境科学といった分野における重要な応用に不可欠である。 TSAQAはタスクカバレッジを拡大し、多様な時間的分析能力を評価するために設計された新しい統合ベンチマークである。
  論文  参考訳（メタデータ） (2026-01-30T17:28:56Z)
• LongDA: Benchmarking LLM Agents for Long-Document Data Analysis [55.32211515932351]
  LongDAは、長いドキュメントと複雑なデータをナビゲートする実際の設定をターゲットとしています。 LongTAは、ドキュメントアクセス、検索、コード実行を可能にするツール拡張されたエージェントフレームワークである。 実験の結果, 最先端モデルにおいても, かなりの性能差が認められた。
  論文  参考訳（メタデータ） (2026-01-05T23:23:16Z)
• Scaling Beyond Context: A Survey of Multimodal Retrieval-Augmented Generation for Document Understanding [61.36285696607487]
  文書理解は、財務分析から科学的発見への応用に不可欠である。 現在のアプローチでは、OCRベースのパイプラインがLarge Language Models(LLM)やネイティブのMultimodal LLMs(MLLM)に制限されている。 Retrieval-Augmented Generation (RAG)は、外部データの基底モデルを支援するが、文書のマルチモーダルな性質は、テキスト、テーブル、チャート、レイアウトを組み合わせることで、より高度なパラダイムを必要とする。
  論文  参考訳（メタデータ） (2025-10-17T02:33:16Z)
• IDA-Bench: Evaluating LLMs on Interactive Guided Data Analysis [60.32962597618861]
  IDA-Benchは、多ラウンドの対話シナリオで大規模言語モデルを評価する新しいベンチマークである。 エージェント性能は、最終的な数値出力と人間由来のベースラインを比較して判断する。 最先端のコーディングエージェント(Claude-3.7-thinkingなど)でさえ50%のタスクを成功させ、シングルターンテストでは明らかでない制限を強調している。
  論文  参考訳（メタデータ） (2025-05-23T09:37:52Z)
• Harnessing Generative LLMs for Enhanced Financial Event Entity Extraction Performance [0.0]
  金融イベントエンティティ抽出は、財務知識グラフを構築する上で重要なタスクである。 従来のアプローチでは、しばしばシーケンスラベリングモデルに依存しており、長距離依存に苦しむことがある。 本稿では,財務イベントエンティティ抽出をテキストから構造化した生成タスクとして再編成する手法を提案する。
  論文  参考訳（メタデータ） (2025-04-20T14:23:31Z)
• How do Large Language Models Understand Relevance? A Mechanistic Interpretability Perspective [64.00022624183781]
  大規模言語モデル(LLM)は、関連性を評価し、情報検索(IR)タスクをサポートする。 メカニスティック・インタプリタビリティのレンズを用いて,異なるLLMモジュールが関係判断にどのように寄与するかを検討する。
  論文  参考訳（メタデータ） (2025-04-10T16:14:55Z)
• Multi2: Multi-Agent Test-Time Scalable Framework for Multi-Document Processing [43.75154489681047]
  MDS(Multi-Document Summarization)のためのテスト時間スケーリングを利用した新しいフレームワークを提案する。 提案手法では,様々なプロンプトを用いて複数の候補サマリーを生成し,アグリゲータと組み合わせて洗練されたサマリーを生成する。 また,本手法を効果的に評価するために,LCM-ACU(Consistency-Aware Preference)スコアとLLM-Content-Unit(LLM-ACU)スコアという2つの新しいLCMベースの指標を導入する。
  論文  参考訳（メタデータ） (2025-02-27T23:34:47Z)
• P-MMEval: A Parallel Multilingual Multitask Benchmark for Consistent Evaluation of LLMs [84.24644520272835]
  本稿では,P-MMEvalを提案する。P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P -M P-MMEvalは、さまざまなデータセットにわたって一貫した言語カバレッジを提供し、並列サンプルを提供する。 我々は、モデルとタスク間の性能を比較するために、代表的多言語モデル系列に関する広範な実験を行う。
  論文  参考訳（メタデータ） (2024-11-14T01:29:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。