論文の概要: The Design of an LLM-powered Unstructured Analytics System

• arxiv url: http://arxiv.org/abs/2409.00847v2
• Date: Wed, 4 Sep 2024 16:39:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 08:51:29.880315
• Title: The Design of an LLM-powered Unstructured Analytics System
• Title（参考訳）: LLMを用いた非構造解析システムの設計
• Authors: Eric Anderson, Jonathan Fritz, Austin Lee, Bohou Li, Mark Lindblad, Henry Lindeman, Alex Meyer, Parth Parmar, Tanvi Ranade, Mehul A. Shah, Benjamin Sowell, Dan Tecuci, Vinayak Thapliyal, Matt Welsh,
• Abstract要約: 本稿では,非構造化分析システムであるArynの設計と,その設計を動機づけるテネットとユースケースについて述べる。 Arynは、自然言語クエリをSycamoreスクリプトに変換するクエリプランナーのLunaと、生のPDFとドキュメントイメージを取り込み、それらを下流処理のためにDocSetsに変換するAryn Partitionerで構成されている。
• 参考スコア（独自算出の注目度）: 0.3622961597765815
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLMs demonstrate an uncanny ability to process unstructured data, and as such, have the potential to go beyond search and run complex, semantic analyses at scale. We describe the design of an unstructured analytics system, Aryn, and the tenets and use cases that motivate its design. With Aryn, users can specify queries in natural language and the system automatically determines a semantic plan and executes it to compute an answer from a large collection of unstructured documents using LLMs. At the core of Aryn is Sycamore, a declarative document processing engine, built using Ray, that provides a reliable distributed abstraction called DocSets. Sycamore allows users to analyze, enrich, and transform complex documents at scale. Aryn also comprises Luna, a query planner that translates natural language queries to Sycamore scripts, and the Aryn Partitioner, which takes raw PDFs and document images, and converts them to DocSets for downstream processing. Using Aryn, we demonstrate a real world use case for analyzing accident reports from the National Transportation Safety Board (NTSB), and discuss some of the major challenges we encountered in deploying Aryn in the wild.
• Abstract（参考訳）: LLMは、構造化されていないデータを処理し、複雑なセマンティック分析を大規模に検索・実行する可能性を実証している。 本稿では,非構造化分析システムであるArynの設計と,その設計を動機づけるテネットとユースケースについて述べる。 Arynを使えば、ユーザは自然言語でクエリを指定でき、システムはセマンティックプランを自動的に決定し、LLMを使って構造化されていないドキュメントの集合から回答を計算します。 Arynの中核であるSycamoreは、Rayを使って構築された宣言型ドキュメント処理エンジンで、DocSetsと呼ばれる信頼できる分散抽象化を提供する。 Sycamoreでは、複雑なドキュメントを大規模に分析、拡張、変換することができる。 また、自然言語クエリをSycamoreスクリプトに変換するクエリプランナーのLunaと、生のPDFとドキュメントイメージを取り込み、それらを下流処理のためにDocSetsに変換するAryn Partitionerが含まれている。 Arynを用いて、国家運輸安全委員会(NTSB)の事故報告を分析するための実世界のユースケースを実演し、Arynを野生に展開する際の大きな課題について論じる。

関連論文リスト

• UQE: A Query Engine for Unstructured Databases [71.49289088592842]
  構造化されていないデータ分析を可能にするために,大規模言語モデルの可能性を検討する。 本稿では,非構造化データ収集からの洞察を直接問合せ,抽出するUniversal Query Engine (UQE)を提案する。
  論文  参考訳（メタデータ） (2024-06-23T06:58:55Z)
• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)
• KnowledgeHub: An end-to-end Tool for Assisted Scientific Discovery [1.6080795642111267]
  本稿では、知識Hubツール、科学文献情報抽出(IE)および質問回答(QA)パイプラインについて述べる。 これはPDF文書がテキストや構造化表現に変換されるのをサポートすることで達成される。 ブラウザベースのアノテーションツールは、オントロジーに従ってPDF文書の内容に注釈を付けることができる。 これらのエンティティと関係トリプルから知識グラフを構築し、データから洞察を得るためにクエリすることができる。
  論文  参考訳（メタデータ） (2024-05-16T13:17:14Z)
• IQLS: Framework for leveraging Metadata to enable Large Language Model based queries to complex, versatile Data [0.20482269513546458]
  Intelligent Query and Learning System (IQLS)は、自然言語を使ってデータ検索を単純化することで、プロセスを単純化する。 利用可能なメタデータと利用可能なデータモデルに基づいて、構造化されたデータをフレームワークにマッピングする。 IQLSは、インターフェイスを通じてユーザクエリによって与えられるタスクをエージェントが実行可能にする。
  論文  参考訳（メタデータ） (2024-05-04T13:44:05Z)
• Self-Retrieval: Building an Information Retrieval System with One Large Language Model [102.78988790457004]
  Self-Retrievalは、エンドツーエンドのLLM駆動の情報検索アーキテクチャである。 本稿では,自己検索が従来の検索手法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-23T18:45:35Z)
• LLM Based Multi-Agent Generation of Semi-structured Documents from Semantic Templates in the Public Administration Domain [2.3999111269325266]
  大きな言語モデル(LLM)により、ユーザ要求を満たすカスタマイズされたテキスト出力が作成できるようになった。 所望の構造に適合した新しい文書を生成するために,LLMと迅速なエンジニアリングシステム,マルチエージェントシステムを組み合わせた新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T13:54:53Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• PDFTriage: Question Answering over Long, Structured Documents [60.96667912964659]
  構造化文書をプレーンテキストとして表現することは、これらの文書をリッチな構造でユーザ精神モデルと矛盾する。 本稿では,構造や内容に基づいて,モデルがコンテキストを検索できるPDFTriageを提案する。 ベンチマークデータセットは,80以上の構造化文書に900以上の人間が生成した質問からなる。
  論文  参考訳（メタデータ） (2023-09-16T04:29:05Z)
• Text Summarization with Latent Queries [60.468323530248945]
  本稿では,LaQSumについて紹介する。LaQSumは,既存の問合せ形式と抽象的な要約のための文書から遅延クエリを学習する,最初の統一テキスト要約システムである。 本システムでは, 潜伏クエリモデルと条件付き言語モデルとを協調的に最適化し, ユーザがテスト時に任意のタイプのクエリをプラグイン・アンド・プレイできるようにする。 本システムでは,クエリタイプ,文書設定,ターゲットドメインの異なる要約ベンチマークにおいて,強力な比較システムの性能を強く向上させる。
  論文  参考訳（メタデータ） (2021-05-31T21:14:58Z)
• Natural language processing for word sense disambiguation and information extraction [0.0]
  Thesaurus を用いた Word Sense Disambiguation の新しいアプローチを提案する。 ファジィ論理に基づく文書検索手法について解説し,その応用例を示した。 この戦略は、明らかな推論のデンプスター・シェーファー理論に基づく新しい戦略の提示で締めくくられる。
  論文  参考訳（メタデータ） (2020-04-05T17:13:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。