論文の概要: PAGED: A Benchmark for Procedural Graphs Extraction from Documents

• arxiv url: http://arxiv.org/abs/2408.03630v1
• Date: Wed, 7 Aug 2024 08:43:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-08 13:24:06.999501
• Title: PAGED: A Benchmark for Procedural Graphs Extraction from Documents
• Title（参考訳）: PAGED: ドキュメントから手続きグラフを抽出するためのベンチマーク
• Authors: Weihong Du, Wenrui Liao, Hongru Liang, Wenqiang Lei,
• Abstract要約: 高品質なデータセットと標準評価を備えた新しいベンチマークPAGEDを提案する。 5つの最先端のベースラインを調査し、手書きのルールと限られた利用可能なデータに依存するため、最適な手続きグラフをうまく抽出できないことを明らかにした。 その結果,文章要素の同定におけるLLMの利点と論理構造構築におけるそのギャップが指摘された。
• 参考スコア（独自算出の注目度）: 14.769780429159912
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic extraction of procedural graphs from documents creates a low-cost way for users to easily understand a complex procedure by skimming visual graphs. Despite the progress in recent studies, it remains unanswered: whether the existing studies have well solved this task (Q1) and whether the emerging large language models (LLMs) can bring new opportunities to this task (Q2). To this end, we propose a new benchmark PAGED, equipped with a large high-quality dataset and standard evaluations. It investigates five state-of-the-art baselines, revealing that they fail to extract optimal procedural graphs well because of their heavy reliance on hand-written rules and limited available data. We further involve three advanced LLMs in PAGED and enhance them with a novel self-refine strategy. The results point out the advantages of LLMs in identifying textual elements and their gaps in building logical structures. We hope PAGED can serve as a major landmark for automatic procedural graph extraction and the investigations in PAGED can offer insights into the research on logic reasoning among non-sequential elements.
• Abstract（参考訳）: 文書からの手続きグラフの自動抽出は,視覚グラフをスキップすることで複雑な手順を簡単に理解するための低コストな方法である。 最近の研究の進展にもかかわらず、既存の研究がこの課題をうまく解決したかどうか(Q1)と、新たな大規模言語モデル(LLM)がこの課題に新たな機会をもたらすかどうか(Q2)は未解決である。 そこで本研究では,高品質なデータセットと標準評価を備えた新しいベンチマークPAGEDを提案する。 5つの最先端のベースラインを調査し、手書きのルールと限られた利用可能なデータに依存するため、最適な手続きグラフをうまく抽出できないことを明らかにした。 さらに,PAGEDの3つの先進LLMを包含し,新たな自己定義戦略により強化する。 その結果,文章要素の同定におけるLLMの利点と論理構造構築におけるそのギャップが指摘された。 我々は、PAGEDが自動手続きグラフ抽出の主要なランドマークとなり、PAGEDの調査によって、非順序要素間の論理的推論の研究に関する洞察が得られることを願っている。

関連論文リスト

• How Do Large Language Models Understand Graph Patterns? A Benchmark for Graph Pattern Comprehension [53.6373473053431]
  この研究は、グラフパターンタスクにおける大規模言語モデルの能力を評価するためのベンチマークを導入する。 我々は,LLMが用語的記述と位相的記述の両方に基づいて,グラフパターンを理解できるかどうかを評価するベンチマークを開発した。 私たちのベンチマークでは、合成データセットと実際のデータセットの両方と、11のタスクと7のモデルで構成されています。
  論文  参考訳（メタデータ） (2024-10-04T04:48:33Z)
• Can Large Language Models Analyze Graphs like Professionals? A Benchmark, Datasets and Models [90.98855064914379]
  グラフを処理するために,大規模言語モデル(LLM)のベンチマークであるProGraphを導入する。 その結果,現在のLCMの性能は不満足であり,最高のモデルでは36%の精度しか達成できないことがわかった。 本研究では,6つの広く使用されているグラフライブラリに基づいて,クローリングされたドキュメントと自動生成コードを含むLLM4Graphデータセットを提案する。
  論文  参考訳（メタデータ） (2024-09-29T11:38:45Z)
• Synthesize Step-by-Step: Tools, Templates and LLMs as Data Generators for Reasoning-Based Chart VQA [9.659820850719413]
  我々は,推論能力の強い大規模言語モデル(LLM)を自動データアノテータとして活用する。 私たちの方法における重要な革新は、Synthesize Step-by-Step戦略にあります。 我々は、チャートVQAモデルを大幅に強化し、ChartQAおよびPlotQAデータセットの最先端の精度を達成する。
  論文  参考訳（メタデータ） (2024-03-25T03:02:27Z)
• AQA-Bench: An Interactive Benchmark for Evaluating LLMs' Sequential Reasoning Ability [29.1826948551409]
  AQA-Benchは、大規模言語モデルの逐次推論能力を評価するための新しいベンチマークである。 AQA-Benchは,2進探索,深さ優先探索,幅優先探索という3つのアルゴリズムで構築されている。 我々の調査では興味深い発見がいくつか示されている。
  論文  参考訳（メタデータ） (2024-02-14T18:59:33Z)
• A Survey of Graph Meets Large Language Model: Progress and Future Directions [38.63080573825683]
  大規模言語モデル(LLM)は、様々な領域で大きな成功を収めています。 LLMはグラフ関連タスクに活用され、従来のグラフニューラルネットワーク(GNN)ベースの手法を超越している。
  論文  参考訳（メタデータ） (2023-11-21T07:22:48Z)
• Integrating Graphs with Large Language Models: Methods and Prospects [68.37584693537555]
  大規模言語モデル (LLMs) が最前線として登場し、様々なアプリケーションにおいて非並列の長所を示している。 LLMとグラフ構造化データを組み合わせることは、非常に興味深いトピックです。 本稿では、そのような統合を2つの主要なカテゴリに分岐する。
  論文  参考訳（メタデータ） (2023-10-09T07:59:34Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)
• Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
  自動回帰言語モデルは、回答を生成するデファクト標準として現れています。 これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。 本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
  論文  参考訳（メタデータ） (2022-04-22T10:45:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。