論文の概要: The Design of an LLM-powered Unstructured Analytics System

• arxiv url: http://arxiv.org/abs/2409.00847v3
• Date: Sat, 28 Dec 2024 05:14:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:01:37.136272
• Title: The Design of an LLM-powered Unstructured Analytics System
• Title（参考訳）: LLMを用いた非構造解析システムの設計
• Authors: Eric Anderson, Jonathan Fritz, Austin Lee, Bohou Li, Mark Lindblad, Henry Lindeman, Alex Meyer, Parth Parmar, Tanvi Ranade, Mehul A. Shah, Benjamin Sowell, Dan Tecuci, Vinayak Thapliyal, Matt Welsh,
• Abstract要約: 本稿では,非構造化分析システムであるArynの設計と,その設計を動機づけるテネットとユースケースについて述べる。 Arynには、自然言語クエリをSycamoreスクリプトに変換するクエリプランナのLunaと、生のPDFとドキュメントイメージを取得するDocParseが含まれている。 NTSB(National Transportation Safety Board)のリアルタイムレポートに照らして、RAGよりも精度の高い分析クエリを実現するために、これらの部品が組み合わさった方法を示す。
• 参考スコア（独自算出の注目度）: 0.3622961597765815
• License:
• Abstract: LLMs demonstrate an uncanny ability to process unstructured data, and as such, have the potential to go beyond search and run complex, semantic analyses at scale. We describe the design of an unstructured analytics system, Aryn, and the tenets and use cases that motivate its design. With Aryn, users specify queries in natural language and the system automatically determines a semantic plan and executes it to compute an answer from a large collection of unstructured documents. At the core of Aryn is Sycamore, a declarative document processing engine, that provides a reliable distributed abstraction called DocSets. Sycamore allows users to analyze, enrich, and transform complex documents at scale. Aryn includes Luna, a query planner that translates natural language queries to Sycamore scripts, and DocParse, which takes raw PDFs and document images, and converts them to DocSets for downstream processing. We show how these pieces come together to achieve better accuracy than RAG on analytics queries over real world reports from the National Transportation Safety Board (NTSB). Also, given current limitations of LLMs, we argue that an analytics system must provide explainability to be practical, and show how Aryn's user interface does this to help build trust.
• Abstract（参考訳）: LLMは、構造化されていないデータを処理し、複雑なセマンティック分析を大規模に検索・実行する可能性を実証している。 本稿では,非構造化分析システムであるArynの設計と,その設計を動機づけるテネットとユースケースについて述べる。 Arynでは、ユーザは自然言語でクエリを指定し、システムはセマンティックプランを自動的に決定し、非構造化ドキュメントの集合から回答を計算します。 Arynのコアとなるのは宣言型ドキュメント処理エンジンのSycamoreで、DocSetsと呼ばれる信頼性の高い分散抽象化を提供している。 Sycamoreでは、複雑なドキュメントを大規模に分析、拡張、変換することができる。 Arynには、自然言語クエリをSycamoreスクリプトに変換するクエリプランナのLunaと、生のPDFとドキュメントイメージを取得して、下流処理のためにDocSetsに変換するDocParseが含まれている。 NTSB(National Transportation Safety Board)のリアルタイムレポートに対して、RAGよりも精度の高い分析クエリを実現するために、これらの部品が組み合わさった方法を示す。 また、LLMの現在の制限を考えると、分析システムは実用的な説明可能性を提供しなければならないと論じ、Arynのユーザインターフェースがこれをどのようにして信頼構築に役立てるかを示します。

関連論文リスト

• SAGEval: The frontiers of Satisfactory Agent based NLG Evaluation for reference-free open-ended text [0.848663031844483]
  本稿では,参照/グラウンドラベルが存在しない,あるいは十分に利用できない,自然言語生成のためのロバストな評価手法を開発する必要性を明らかにする。 本研究では,LCM評価器のスコアを補正し,複雑なNLG評価シナリオにおいてもラベル付きデータの必要性を低減できることを示す。
  論文  参考訳（メタデータ） (2024-11-25T04:07:16Z)
• DocETL: Agentic Query Rewriting and Evaluation for Complex Document Processing [12.555427275787174]
  本稿では,複雑な文書処理パイプラインを最適化するDocETLを提案する。 DocETLは、ユーザーがそのようなパイプラインを定義するための宣言的インターフェースを提供し、エージェントベースのフレームワークを使用して自動的に最適化する。 DocETLは出力が1.34$から4.6times$のプランを見つける。
  論文  参考訳（メタデータ） (2024-10-16T03:22:35Z)
• UQE: A Query Engine for Unstructured Databases [71.49289088592842]
  構造化されていないデータ分析を可能にするために,大規模言語モデルの可能性を検討する。 本稿では,非構造化データ収集からの洞察を直接問合せ,抽出するUniversal Query Engine (UQE)を提案する。
  論文  参考訳（メタデータ） (2024-06-23T06:58:55Z)
• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)
• KnowledgeHub: An end-to-end Tool for Assisted Scientific Discovery [1.6080795642111267]
  本稿では、知識Hubツール、科学文献情報抽出(IE)および質問回答(QA)パイプラインについて述べる。 これはPDF文書がテキストや構造化表現に変換されるのをサポートすることで達成される。 ブラウザベースのアノテーションツールは、オントロジーに従ってPDF文書の内容に注釈を付けることができる。 これらのエンティティと関係トリプルから知識グラフを構築し、データから洞察を得るためにクエリすることができる。
  論文  参考訳（メタデータ） (2024-05-16T13:17:14Z)
• LLM Based Multi-Agent Generation of Semi-structured Documents from Semantic Templates in the Public Administration Domain [2.3999111269325266]
  大きな言語モデル(LLM)により、ユーザ要求を満たすカスタマイズされたテキスト出力が作成できるようになった。 所望の構造に適合した新しい文書を生成するために,LLMと迅速なエンジニアリングシステム,マルチエージェントシステムを組み合わせた新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T13:54:53Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• Instruct and Extract: Instruction Tuning for On-Demand Information Extraction [86.29491354355356]
  On-Demand Information extractは、現実世界のユーザのパーソナライズされた要求を満たすことを目的としている。 InstructIEというベンチマークを、自動生成したトレーニングデータと、人手による注釈付きテストセットの両方を含む形で提示する。 InstructIE 上に構築した On-Demand Information Extractor, ODIE をさらに発展させる。
  論文  参考訳（メタデータ） (2023-10-24T17:54:25Z)
• PDFTriage: Question Answering over Long, Structured Documents [60.96667912964659]
  構造化文書をプレーンテキストとして表現することは、これらの文書をリッチな構造でユーザ精神モデルと矛盾する。 本稿では,構造や内容に基づいて,モデルがコンテキストを検索できるPDFTriageを提案する。 ベンチマークデータセットは,80以上の構造化文書に900以上の人間が生成した質問からなる。
  論文  参考訳（メタデータ） (2023-09-16T04:29:05Z)
• Text Summarization with Latent Queries [60.468323530248945]
  本稿では,LaQSumについて紹介する。LaQSumは,既存の問合せ形式と抽象的な要約のための文書から遅延クエリを学習する,最初の統一テキスト要約システムである。 本システムでは, 潜伏クエリモデルと条件付き言語モデルとを協調的に最適化し, ユーザがテスト時に任意のタイプのクエリをプラグイン・アンド・プレイできるようにする。 本システムでは,クエリタイプ,文書設定,ターゲットドメインの異なる要約ベンチマークにおいて,強力な比較システムの性能を強く向上させる。
  論文  参考訳（メタデータ） (2021-05-31T21:14:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。