論文の概要: DeepJSONEval: Benchmarking Complex Nested JSON Data Mining for Large Language Models

• arxiv url: http://arxiv.org/abs/2509.25922v1
• Date: Tue, 30 Sep 2025 08:18:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 17:09:04.474619
• Title: DeepJSONEval: Benchmarking Complex Nested JSON Data Mining for Large Language Models
• Title（参考訳）: DeepJSONEval: 大規模言語モデルのための複雑なNested JSONデータマイニングのベンチマーク
• Authors: Zhicheng Zhou, Jing Li, Suming Qiu, Junjie Huang, Linyuan Qiu, Zhijie Sun,
• Abstract要約: 多層ネスト構造は、データをキーと値のペア、配列、ネストオブジェクトに整理する。 例えば、ニュース集約では、オブジェクトは記事のメタデータ(タイトル、著者、日付)、コンテンツ(テキスト、マルチメディア)、マルチメディア情報(マルチダイアログ、キャプション)を階層的にネストすることができる。 DeepJSONEvalは、2100のマルチドメインインスタンスと深いネスト構造を特徴とする新しいベンチマークで、難易度によって分類される。
• 参考スコア（独自算出の注目度）: 6.653834890554154
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The internet is saturated with low-density, high-redundancy information, such as social media comments, repetitive news, and lengthy discussions, making it difficult to extract valuable insights efficiently. Multi-layer nested JSON structures provide an effective solution by compressing such information into semantically rich, hierarchical representations, which organize data into key-value pairs, arrays, and nested objects, preserving contextual relationships and enabling efficient storage, retrieval, and semantic querying. For instance, in news aggregation, a JSON object can nest an article's metadata (title, author, date), content (text, multimedia), and multimedia information (multimedia type, caption) hierarchically. Large Language Models (LLMs) play a transformative role in web data mining by parsing unstructured text and outputting structured results directly into complex JSON schemas. However, current benchmarks for evaluating LLMs' JSON output capabilities overemphasize pure JSON generation rather than assessing data comprehension and extraction abilities, a limitation that lacks relevance to practical web data mining tasks. To address this, we introduce DeepJSONEval, a novel benchmark featuring 2100 multi-domain instances with deep nested structures, categorized by difficulty. Experiments show significant performance gaps among LLMs in handling such complexity. Our benchmark and datasets are open-sourced to advance research in structured JSON generation.(https://github.com/GTS-AI-Infra-Lab-SotaS/DeepJSONEval).
• Abstract（参考訳）: インターネットは、ソーシャルメディアのコメント、繰り返しニュース、長い議論など、密度の低い高冗長な情報で飽和しており、価値ある洞察を効率的に抽出することは困難である。 多層ネストされたJSON構造は、これらの情報をセマンティックにリッチで階層的な表現に圧縮し、データをキーと値のペア、配列、ネストされたオブジェクトに整理し、コンテキスト関係を保存し、効率的なストレージ、検索、セマンティッククエリを可能にする、効果的なソリューションを提供する。 例えば、ニュースアグリゲーションでは、JSONオブジェクトが記事のメタデータ(タイトル、著者、日付)、コンテンツ(テキスト、マルチメディア)、マルチメディア情報(マルチダイア型、キャプション)を階層的にネストすることができる。 大規模言語モデル(LLM)は、構造化されていないテキストを解析し、構造化された結果を複雑なJSONスキーマに直接出力することで、Webデータマイニングにおいて変革的な役割を果たす。 しかし、LLMのJSON出力能力を評価するための現在のベンチマークは、データ理解と抽出能力を評価するのではなく、純粋なJSON生成を過度に強調している。 この問題に対処するため、我々はDeepJSONEvalという、2100のマルチドメインインスタンスと深いネスト構造を特徴とする新しいベンチマークを紹介した。 実験では、そのような複雑さを扱う上で、LLM間で大きなパフォーマンスギャップが示される。 当社のベンチマークとデータセットは、構造化JSON生成の研究を進めるためにオープンソース化されています。 https://github.com/GTS-AI-Infra-Lab-SotaS/DeepJSONEval)。

関連論文リスト

• MOLE: Metadata Extraction and Validation in Scientific Papers Using LLMs [48.73595915402094]
  MOLEは、アラビア語以外の言語のデータセットをカバーする科学論文からメタデータ属性を自動的に抽出するフレームワークである。 本手法では,複数の入力形式にまたがって文書全体を処理し,一貫した出力に対する堅牢な検証機構を組み込む。
  論文  参考訳（メタデータ） (2025-05-26T10:31:26Z)
• NEXT-EVAL: Next Evaluation of Traditional and LLM Web Data Record Extraction [6.09502686736443]
  本稿では,Webデータ抽出のための具体的な評価フレームワークを提案する。 本フレームワークは,評価スナップショットを生成し,監視ラベルを注釈付けし,一貫したスコア付けに構造対応メトリクスを用いる。 また、LLM(Large Language Model)ベースのアプローチの入力を最適化する前処理も組み込まれている。
  論文  参考訳（メタデータ） (2025-05-21T21:03:37Z)
• New Dataset and Methods for Fine-Grained Compositional Referring Expression Comprehension via Specialist-MLLM Collaboration [49.180693704510006]
  Referring Expression (REC) は、言語理解、画像理解、言語と画像の接点の相互作用を評価するためのクロスモーダルなタスクである。 MLLM(Multimodal Large Language Models)の試験場として機能する。
  論文  参考訳（メタデータ） (2025-02-27T13:58:44Z)
• Learning to Generate Structured Output with Schema Reinforcement Learning [83.09230124049667]
  本研究では,大規模言語モデル(LLM)の構造的生成能力について検討する。 最新のLLMはまだ有効な文字列を生成するのに苦労している。 我々のモデルでは、出力と下流の両方のタスクが大幅に改善されている。
  論文  参考訳（メタデータ） (2025-02-26T06:45:29Z)
• Web-Scale Visual Entity Recognition: An LLM-Driven Data Approach [56.55633052479446]
  Webスケールのビジュアルエンティティ認識は、クリーンで大規模なトレーニングデータがないため、重大な課題を呈している。 本稿では,ラベル検証,メタデータ生成,合理性説明に多モーダル大言語モデル(LLM)を活用することによって,そのようなデータセットをキュレートする新しい手法を提案する。 実験により、この自動キュレートされたデータに基づいてトレーニングされたモデルは、Webスケールの視覚的エンティティ認識タスクで最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-10-31T06:55:24Z)
• MatViX: Multimodal Information Extraction from Visually Rich Articles [6.349779979863784]
  材料科学では、研究論文から構造化情報を抽出することで、新しい素材の発見を加速することができる。 textscMatViXは、324ドルのフル長の調査記事と1688ドルの複雑な構造化ファイルからなるベンチマークです。 これらのファイルは、テキスト、テーブル、フィギュアからフル長の文書から抽出され、MIEにとって包括的な課題となる。
  論文  参考訳（メタデータ） (2024-10-27T16:13:58Z)
• AutoScraper: A Progressive Understanding Web Agent for Web Scraper Generation [54.17246674188208]
  Webスクレイピングは、Webサイトからデータを抽出し、自動データ収集を可能にし、データ分析機能を強化し、手動のデータ入力作業を最小化する強力なテクニックである。 既存の手法では、ラッパーベースの手法は、新しいウェブサイトで直面する場合、適応性とスケーラビリティの制限に悩まされる。 本稿では,大規模言語モデル(LLM)を用いたWebスクレイパー生成のパラダイムを紹介し,多様なWeb環境をより効率的に処理できる2段階フレームワークであるAutoScraperを提案する。
  論文  参考訳（メタデータ） (2024-04-19T09:59:44Z)
• A Framework for End-to-End Learning on Semantic Tree-Structured Data [4.241801379755808]
  構造化データの一般的な形態は、私たちが「セマンティックツリー構造」と呼ぶものである。 汎用意味木構造データに基づくエンドツーエンド学習のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-13T18:49:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。