論文の概要: Beyond Isolated Dots: Benchmarking Structured Table Construction as Deep Knowledge Extraction

• arxiv url: http://arxiv.org/abs/2507.16271v1
• Date: Tue, 22 Jul 2025 06:37:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-23 21:34:13.992298
• Title: Beyond Isolated Dots: Benchmarking Structured Table Construction as Deep Knowledge Extraction
• Title（参考訳）: 分離ドットを超えて: 深い知識抽出のための構造化テーブル構築のベンチマーク
• Authors: Tianyun Zhong, Guozhao Mo, Yanjiang Liu, Yihan Chen, Lingdi Kong, Xuanang Chen, Yaojie Lu, Hongyu Lin, Ben He, Le Sun,
• Abstract要約: Arranged and Organized extract Benchmarkは、断片化された文書を理解するための大規模言語モデルの能力を評価するために設計された。 AOEには3つの異なるドメインにまたがる11のタスクが含まれており、さまざまな入力クエリに適したコンテキスト固有のスキーマを生成するモデルが必要である。 結果は、最も先進的なモデルでさえ、かなり苦労したことを示している。
• 参考スコア（独自算出の注目度）: 28.47810405584841
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the emergence of large language models (LLMs), there is an expectation that LLMs can effectively extract explicit information from complex real-world documents (e.g., papers, reports). However, most LLMs generate paragraph-style answers that are chaotic, disorganized, and untraceable. To bridge this gap, we introduce the Arranged and Organized Extraction Benchmark (AOE), a new bilingual benchmark with data and documents of varying lengths designed to systematically evaluate the ability of LLMs to comprehend fragmented documents and reconstruct isolated information into one organized table. Unlike conventional text-to-table tasks, which rely on fixed schema and narrow task domains, AOE includes 11 carefully crafted tasks across three diverse domains, requiring models to generate context-specific schema tailored to varied input queries. In the experiment, we evaluated both open-source and closed-source state-of-the-art LLMs. The results show that even the most advanced models struggled significantly. The benchmark is available at https://huggingface.co/datasets/tianyumyum/AOE.
• Abstract（参考訳）: 大規模言語モデル(LLM)の出現に伴い、LLMは複雑な現実世界の文書(例:論文、レポート)から、効果的に明示的な情報を抽出できると期待されている。 しかし、ほとんどのLCMは、カオス的で、非組織的で、追跡不能な段落形式の答えを生成する。 このギャップを埋めるために、我々はArranged and Organized extract Benchmark (AOE)を導入しました。これは、断片化された文書を体系的に評価し、孤立した情報を一つのテーブルに再構築する、様々な長さのデータと文書を備えた新しいバイリンガルベンチマークです。 固定スキーマと狭いタスクドメインに依存する従来のテキスト・ツー・テーブルタスクとは異なり、AOEは3つの異なるドメインにまたがる11のタスクを慎重に作成する。 実験では,オープンソースとクローズドソースの両方のLCMを評価した。 その結果、最も先進的なモデルでさえ、かなり苦労していたことが判明した。 ベンチマークはhttps://huggingface.co/datasets/tianyumyum/AOEで公開されている。

関連論文リスト

• TalentMine: LLM-Based Extraction and Question-Answering from Multimodal Talent Tables [5.365164774382722]
  本稿では,抽出したテーブルを意味豊かな表現に変換する新しいフレームワークであるTalentMineを紹介する。 TalentMineは、標準のAWS Textract抽出の0%に対して、クエリ応答タスクの100%の精度を実現している。 比較分析の結果,Claude v3 Haikuモデルが人材管理アプリケーションに最適なパフォーマンスを実現することが明らかとなった。
  論文  参考訳（メタデータ） (2025-06-22T22:17:42Z)
• Large Language Models are Good Relational Learners [55.40941576497973]
  本稿では,グラフニューラルネットワーク(GNN)に基づくエンコーダを用いて,大規模言語モデル(LLM)のための構造化リレーショナルプロンプトを生成する新しいアーキテクチャであるRel-LLMを紹介する。 従来のテキストベースのシリアライズ手法とは異なり,本手法はデータベース固有の関係構造を保ちながら,LLMが複雑なエンティティ関係を処理・推論することを可能にする。
  論文  参考訳（メタデータ） (2025-06-06T04:07:55Z)
• IDA-Bench: Evaluating LLMs on Interactive Guided Data Analysis [60.32962597618861]
  IDA-Benchは、多ラウンドの対話シナリオで大規模言語モデルを評価する新しいベンチマークである。 エージェント性能は、最終的な数値出力と人間由来のベースラインを比較して判断する。 最先端のコーディングエージェント(Claude-3.7-thinkingなど)でさえ50%のタスクを成功させ、シングルターンテストでは明らかでない制限を強調している。
  論文  参考訳（メタデータ） (2025-05-23T09:37:52Z)
• SRAG: Structured Retrieval-Augmented Generation for Multi-Entity Question Answering over Wikipedia Graph [10.297615455470133]
  MEQA(Multi-entity Question answering)は、大規模言語モデルにおいて重要な課題である。 本稿では、抽出されたエンティティをリレーショナルテーブルに整理する構造化RAGフレームワークを提案する。 ウィキペディアベースのマルチエンタリティQAタスクの実験では、SRAGが最先端の長文LLMを著しく上回っていることが示されている。
  論文  参考訳（メタデータ） (2025-03-03T09:37:33Z)
• Latent Factor Models Meets Instructions: Goal-conditioned Latent Factor Discovery without Task Supervision [50.45597801390757]
  Instruct-LFはゴール指向の潜在因子発見システムである。 命令フォロー機能と統計モデルを統合して、ノイズの多いデータセットを処理する。
  論文  参考訳（メタデータ） (2025-02-21T02:03:08Z)
• Unstructured Evidence Attribution for Long Context Query Focused Summarization [46.713307974729844]
  大規模言語モデル(LLM)は、ユーザクエリが与えられた場合、非常に長いコンテキストからコヒーレントな要約を生成することができる。 既存のシステムがどのようにして、そのコンテキストから構造化されていない証拠を生成し、適切に引用するのに苦労しているかを示す。
  論文  参考訳（メタデータ） (2025-02-20T09:57:42Z)
• Extract Information from Hybrid Long Documents Leveraging LLMs: A Framework and Dataset [52.286323454512996]
  大規模言語モデル(LLM)は、テキストと表のデータを含むハイブリッドテキストを理解し解析することができる。 本研究では,LLMがHLD(Hybrid Long Document)を処理できるようにするための自動情報抽出フレームワーク(AIE)を提案し,HLDからの情報抽出の4つの重要な側面を分析する実験を行った。 HLDにおけるデータセット不足の問題に対処し、今後の作業を支援するために、金融レポート数値抽出(FINE)データセットを提案する。
  論文  参考訳（メタデータ） (2024-12-28T07:54:14Z)
• Graph-DPEP: Decomposed Plug and Ensemble Play for Few-Shot Document Relation Extraction with Graph-of-Thoughts Reasoning [34.85741925091139]
  Graph-DPEPフレームワークは、自然言語で提示された三重項の説明思想の背景にある。 我々は,サブグラフに埋め込まれた推論的思考を活用することで,型リスト全体の「アンサンブルプレイ」生成を開発する。
  論文  参考訳（メタデータ） (2024-11-05T07:12:36Z)
• Benchmarking LLMs on the Semantic Overlap Summarization Task [9.656095701778975]
  本稿では,セマンティック・オーバーラップ・サマリゼーション(SOS)タスクにおいて,Large Language Models (LLM) を包括的に評価する。 本稿では, ROUGE, BERTscore, SEM-F1$などの定評ある指標を, 2種類の代替物語のデータセット上で報告する。
  論文  参考訳（メタデータ） (2024-02-26T20:33:50Z)
• Recurrent Alignment with Hard Attention for Hierarchical Text Rating [6.858867989434858]
  大規模言語モデル(LLM)を利用した階層型テキスト評価のための新しいフレームワークを提案する。 我々のフレームワークは、RAHA(Recurrent Alignment with Hard Attention)を取り入れています。 実験の結果,RAHAは3つの階層的テキスト評価データセットにおいて,既存の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-02-14T00:40:51Z)
• INTERS: Unlocking the Power of Large Language Models in Search with Instruction Tuning [59.07490387145391]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて印象的な機能を示している。 情報検索(IR)タスクへのそれらの適用は、自然言語における多くのIR固有の概念の頻繁な発生のため、いまだに困難である。 我々は,3つの基本IRカテゴリにまたがる20のタスクを含む新しいインストラクションチューニングデータセット InterS を導入する。
  論文  参考訳（メタデータ） (2024-01-12T12:10:28Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)
• Language Models Enable Simple Systems for Generating Structured Views of Heterogeneous Data Lakes [54.13559879916708]
  EVAPORATEは大規模言語モデル(LLM)を利用したプロトタイプシステムである。 コード合成は安価だが、各文書をLSMで直接処理するよりもはるかに正確ではない。 直接抽出よりも優れた品質を実現する拡張コード実装EVAPORATE-CODE+を提案する。
  論文  参考訳（メタデータ） (2023-04-19T06:00:26Z)
• Self-Prompting Large Language Models for Zero-Shot Open-Domain QA [67.08732962244301]
  Open-Domain Question Answering (ODQA)は、背景文書を明示的に提供せずに質問に答えることを目的としている。 このタスクは、調整済みの検索リーダーモデルをトレーニングするデータがないゼロショット設定で顕著に困難になる。 本稿では,大規模言語モデルのパラメータに符号化された膨大な知識を明示的に活用するセルフプロンプトフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-16T18:23:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。