論文の概要: DocETL: Agentic Query Rewriting and Evaluation for Complex Document Processing

• arxiv url: http://arxiv.org/abs/2410.12189v1
• Date: Wed, 16 Oct 2024 03:22:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:41:25.176175
• Title: DocETL: Agentic Query Rewriting and Evaluation for Complex Document Processing
• Title（参考訳）: DocETL:複雑な文書処理のためのエージェントクエリ書き換えと評価
• Authors: Shreya Shankar, Aditya G. Parameswaran, Eugene Wu,
• Abstract要約: 本稿では,複雑な文書処理パイプラインを最適化するDocETLを提案する。 DocETLは、ユーザーがそのようなパイプラインを定義するための宣言的インターフェースを提供し、エージェントベースのフレームワークを使用して自動的に最適化する。 DocETLは出力が1.34$から4.6times$のプランを見つける。
• 参考スコア（独自算出の注目度）: 12.555427275787174
• License:
• Abstract: Analyzing unstructured data, such as complex documents, has been a persistent challenge in data processing. Large Language Models (LLMs) have shown promise in this regard, leading to recent proposals for declarative frameworks for LLM-powered unstructured data processing. However, these frameworks focus on reducing cost when executing user-specified operations using LLMs, rather than improving accuracy, executing most operations as-is. This is problematic for complex tasks and data, where LLM outputs for user-defined operations are often inaccurate, even with optimized prompts. We present DocETL, a system that optimizes complex document processing pipelines, while accounting for LLM shortcomings. DocETL offers a declarative interface for users to define such pipelines and uses an agent-based framework to automatically optimize them, leveraging novel agent-based rewrites (that we call {\em rewrite directives}) and an optimization and evaluation framework that we introduce. We introduce {\em (i)} logical rewriting of pipelines, tailored for LLM-based tasks, {\em (ii)} an agent-guided plan evaluation mechanism that synthesizes and orchestrates task-specific validation prompts, and {\em (iii)} an optimization algorithm that efficiently finds promising plans, considering the time constraints of LLM-based plan generation and evaluation. Our evaluation on three different unstructured document analysis tasks demonstrates that DocETL finds plans with outputs that are $1.34$ to $4.6\times$ higher quality (e.g., more accurate, comprehensive) than well-engineered baselines, addressing a critical gap in existing declarative frameworks for unstructured data analysis. DocETL is open-source at \ttt{docetl.org}, and as of October 2024, has amassed over 800 GitHub Stars, with users spanning a variety of domains.
• Abstract（参考訳）: 複雑なドキュメントのような構造化されていないデータを分析することは、データ処理において永続的な課題である。 大規模言語モデル(LLM)は、この点において有望であり、最近のLLMによる非構造化データ処理のための宣言型フレームワークの提案につながっている。 しかし、これらのフレームワークは、精度を改善し、ほとんどの操作をそのまま実行するのではなく、LCMを使用してユーザ指定の操作を実行する場合のコスト削減に重点を置いている。 複雑なタスクやデータには問題があり、ユーザ定義操作のLCM出力は最適化されたプロンプトであっても不正確な場合が多い。 LLMの欠点を考慮した複雑な文書処理パイプラインを最適化するDocETLを提案する。 DocETLは、ユーザーがそのようなパイプラインを定義するための宣言型インターフェースを提供し、エージェントベースのフレームワークを使用して自動的にそれらを最適化します。 紹介する i) LLMベースのタスクに適したパイプラインの論理的書き換え (ii)タスク固有の検証プロンプトを合成・オーケストレーションするエージェント誘導型計画評価機構 (iii) LLMに基づく計画生成と評価の時間的制約を考慮した予測計画の効率的な探索アルゴリズム。 3つの異なる非構造化文書分析タスクに対する評価は、DocETLが、未構造化データ分析のための既存の宣言的フレームワークにおいて重要なギャップに対処するため、高品質(例えば、より正確で包括的)で1.34$から4.6\times$高品質(例えば、より正確で包括的)のアウトプットでプランを見つけることを実証している。 DocETLは \tt{docetl.org} でオープンソースとして公開されている。2024年10月時点で,さまざまなドメインにまたがるユーザがいる,800以上の GitHub Stars を蓄積している。

関連論文リスト

• SAGEval: The frontiers of Satisfactory Agent based NLG Evaluation for reference-free open-ended text [0.848663031844483]
  本稿では,参照/グラウンドラベルが存在しない,あるいは十分に利用できない,自然言語生成のためのロバストな評価手法を開発する必要性を明らかにする。 本研究では,LCM評価器のスコアを補正し,複雑なNLG評価シナリオにおいてもラベル付きデータの必要性を低減できることを示す。
  論文  参考訳（メタデータ） (2024-11-25T04:07:16Z)
• LLM$\times$MapReduce: Simplified Long-Sequence Processing using Large Language Models [73.13933847198395]
  本稿では,文書理解を包括的に行うための分割・対数戦略を利用して,長文処理のための学習自由フレームワークを提案する。 提案された LLM$times$MapReduce フレームワークは、ドキュメント全体を LLM が読み取るためにいくつかのチャンクに分割し、中間回答を集約して最終的な出力を生成する。
  論文  参考訳（メタデータ） (2024-10-12T03:13:44Z)
• AutoML-Agent: A Multi-Agent LLM Framework for Full-Pipeline AutoML [56.565200973244146]
  自動機械学習(Automated Machine Learning, ML)は、開発パイプライン内のタスクを自動化することによって、AI開発を加速する。 近年の作業では,そのような負担を軽減するために,大規模言語モデル(LLM)の利用が始まっている。 本稿では,フルパイプのAutoMLに適した新しいマルチエージェントフレームワークであるAutoML-Agentを提案する。
  論文  参考訳（メタデータ） (2024-10-03T20:01:09Z)
• ProcessTBench: An LLM Plan Generation Dataset for Process Mining [0.0]
  大規模言語モデル(LLM)は、計画生成において大きな可能性を示しています。 既存のデータセットは、高度なツール使用シナリオに必要な複雑さを欠いていることが多い。 本稿では,TaskBench データセットの拡張である ProcessTBench 合成データセットを提案する。
  論文  参考訳（メタデータ） (2024-09-13T20:56:21Z)
• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)
• Automating Pharmacovigilance Evidence Generation: Using Large Language Models to Produce Context-Aware SQL [0.0]
  検索拡張世代(RAG)フレームワークでOpenAIのGPT-4モデルを利用する。 ビジネスコンテキストドキュメントはビジネスコンテキストドキュメントでリッチ化され、NLQを構造化クエリ言語クエリに変換する。 複雑性の高いクエリが除外された場合、パフォーマンスは最大85%向上した。
  論文  参考訳（メタデータ） (2024-06-15T17:07:31Z)
• Q-PEFT: Query-dependent Parameter Efficient Fine-tuning for Text Reranking with Large Language Models [28.105271954633682]
  本稿では,Large Language Models (LLMs) へのリーク情報の再ランク付けのための,Q-PEFT (Q-PEFT) アプローチを提案する。 クエリを使用して、入力ドキュメントから上位$kのトークンを抽出し、コンテキストのヒントとして機能します。 検索機構をマルチヘッドアテンション層に置き換えて、エンドツーエンドのトレーニングを実現し、文書中のすべてのトークンをカバーすることにより、Q-PEFTをさらに強化する。
  論文  参考訳（メタデータ） (2024-04-06T06:44:41Z)
• TableLLM: Enabling Tabular Data Manipulation by LLMs in Real Office Usage Scenarios [52.73289223176475]
  TableLLMは、13億のパラメータを持つ堅牢な大規模言語モデル(LLM)である。 TableLLMはデータ操作タスクを巧みに扱うために構築されている。 我々は、ユーザインタラクションのためのモデルチェックポイント、ソースコード、ベンチマーク、Webアプリケーションをリリースした。
  論文  参考訳（メタデータ） (2024-03-28T11:21:12Z)
• Optimizing LLM Queries in Relational Workloads [58.254894049950366]
  本稿では,LLMをリレーショナルクエリ内で実行する解析処理に対して,LLM(Large Language Models)推論を最適化する方法を示す。 私たちはこれらの最適化をApache Sparkで実装し、vLLMをバックエンドとして提供しています。 実データセット上の多様なLLMベースのクエリのベンチマークで、エンドツーエンドのレイテンシを最大4.4倍改善する。
  論文  参考訳（メタデータ） (2024-03-09T07:01:44Z)
• ADaPT: As-Needed Decomposition and Planning with Language Models [131.063805299796]
  As-Needed Decomposition and Planning for Complex Tasks (ADaPT)について紹介する。 ADaPTは、Large Language Modelsがそれらを実行できない場合、複雑なサブタスクを明示的に計画し、分解する。 以上の結果から,ADaPTは強いベースラインを確立した。
  論文  参考訳（メタデータ） (2023-11-08T17:59:15Z)
• SEED: Domain-Specific Data Curation With Large Language Models [22.54280367957015]
  LLM-as-compilerアプローチであるSEEDは,Large Language Models(LLM)を介して,ドメイン固有のデータキュレーションソリューションを自動的に生成する。 SEEDは、4つのLCMアシストモジュールから自動的に選択し、そのタスクに最も適したハイブリッド実行パイプラインを形成する。
  論文  参考訳（メタデータ） (2023-10-01T17:59:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。