論文の概要: LEDD: Large Language Model-Empowered Data Discovery in Data Lakes

• arxiv url: http://arxiv.org/abs/2502.15182v1
• Date: Fri, 21 Feb 2025 03:30:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 19:42:09.850864
• Title: LEDD: Large Language Model-Empowered Data Discovery in Data Lakes
• Title（参考訳）: LEDD:データレイクにおける大規模言語モデルを利用したデータディスカバリ
• Authors: Qi An, Chihua Ying, Yuqing Zhu, Yihao Xu, Manwei Zhang, Jianmin Wang,
• Abstract要約: LEDDは階層的なグローバルカタログを提供し、セマンティックな意味とセマンティックなテーブルでデータレイクを検索する。 LEDDは自然言語仕様に基づいて意味的に関連するテーブルを返すことができる。
• 参考スコア（独自算出の注目度）: 23.80636402438353
• License:
• Abstract: Data discovery in data lakes with ever increasing datasets has long been recognized as a big challenge in the realm of data management, especially for semantic search of and hierarchical global catalog generation of tables. While large language models (LLMs) facilitate the processing of data semantics, challenges remain in architecting an end-to-end system that comprehensively exploits LLMs for the two semantics-related tasks. In this demo, we propose LEDD, an end-to-end system with an extensible architecture that leverages LLMs to provide hierarchical global catalogs with semantic meanings and semantic table search for data lakes. Specifically, LEDD can return semantically related tables based on natural-language specification. These features make LEDD an ideal foundation for downstream tasks such as model training and schema linking for text-to-SQL tasks. LEDD also provides a simple Python interface to facilitate the extension and the replacement of data discovery algorithms.
• Abstract（参考訳）: データレイクにおけるデータ発見は、データ管理の領域において、特にテーブルのセマンティック検索と階層的なグローバルカタログ生成において、長年にわたって大きな課題として認識されてきた。 大規模言語モデル(LLM)はデータセマンティクスの処理を促進するが、2つのセマンティクスに関連するタスクに対してLLMを包括的に活用するエンドツーエンドシステムの構築には課題が残る。 このデモでは,LLMを活用して意味的意味を持つ階層的グローバルカタログとデータレイクのセマンティックテーブル検索を提供する,拡張可能なアーキテクチャを備えたエンドツーエンドシステムであるLEDDを提案する。 具体的には、LEDDは自然言語仕様に基づいて意味論的に関連付けられたテーブルを返すことができる。 これらの機能により、LEDDは、モデルトレーニングやテキストからSQLタスクのスキーマリンクといった下流タスクのための理想的な基盤となります。 LEDDはまた、データ発見アルゴリズムの拡張と置換を容易にする単純なPythonインターフェースも提供する。

関連論文リスト

• Extract Information from Hybrid Long Documents Leveraging LLMs: A Framework and Dataset [52.286323454512996]
  大規模言語モデル(LLM)は、テキストと表のデータを含むハイブリッドテキストを理解し解析することができる。 本研究では,LLMがHLD(Hybrid Long Document)を処理できるようにするための自動情報抽出フレームワーク(AIE)を提案し,HLDからの情報抽出の4つの重要な側面を分析する実験を行った。 HLDにおけるデータセット不足の問題に対処し、今後の作業を支援するために、金融レポート数値抽出(FINE)データセットを提案する。
  論文  参考訳（メタデータ） (2024-12-28T07:54:14Z)
• Explainable Multi-Modal Data Exploration in Natural Language via LLM Agent [6.147666891384964]
  XMODEは自然言語で説明可能なマルチモーダルデータ探索を可能にするシステムである。 XMODEは、マルチモーダル情報システムの探索を可能にする現実世界のユースケースにインスパイアされている。
  論文  参考訳（メタデータ） (2024-12-24T13:42:44Z)
• Towards Agentic Schema Refinement [3.7173623393215287]
  本稿では,データベースとユーザ間のセマンティックレイヤを,小さくて分かりやすいデータベースビューの集合として提案する。 弊社のアプローチは、LLMによる不安定なデータベースの探索の道を開くものだ。
  論文  参考訳（メタデータ） (2024-11-25T19:57:16Z)
• Relational Database Augmented Large Language Model [59.38841050766026]
  大規模言語モデル(LLM)は多くの自然言語処理(NLP)タスクに優れる。 彼らは、トレーニングや教師付き微調整プロセスを通じてのみ、新しい知識を取り入れることができる。 この正確で最新のプライベート情報は、通常リレーショナルデータベースに格納される。
  論文  参考訳（メタデータ） (2024-07-21T06:19:10Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• UniDM: A Unified Framework for Data Manipulation with Large Language Models [66.61466011795798]
  大規模言語モデル(LLM)は複数のデータ操作タスクを解決する。 LLMはパフォーマンス面では明るい利点を示すが、それぞれのタスクに合うようにカスタマイズされた設計が必要である。 データ操作タスクを処理するための新しいパラダイムを確立する統一フレームワークUniDMを提案する。
  論文  参考訳（メタデータ） (2024-05-10T14:44:04Z)
• IQLS: Framework for leveraging Metadata to enable Large Language Model based queries to complex, versatile Data [0.20482269513546458]
  Intelligent Query and Learning System (IQLS)は、自然言語を使ってデータ検索を単純化することで、プロセスを単純化する。 利用可能なメタデータと利用可能なデータモデルに基づいて、構造化されたデータをフレームワークにマッピングする。 IQLSは、インターフェイスを通じてユーザクエリによって与えられるタスクをエージェントが実行可能にする。
  論文  参考訳（メタデータ） (2024-05-04T13:44:05Z)
• INTERS: Unlocking the Power of Large Language Models in Search with Instruction Tuning [59.07490387145391]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて印象的な機能を示している。 情報検索(IR)タスクへのそれらの適用は、自然言語における多くのIR固有の概念の頻繁な発生のため、いまだに困難である。 我々は,3つの基本IRカテゴリにまたがる20のタスクを含む新しいインストラクションチューニングデータセット InterS を導入する。
  論文  参考訳（メタデータ） (2024-01-12T12:10:28Z)
• TAP4LLM: Table Provider on Sampling, Augmenting, and Packing Semi-structured Data for Large Language Model Reasoning [55.33939289989238]
  テーブルベースタスクにおいて,大規模言語モデル(LLM)を効果的に活用するための汎用プリプロセッサスイートとして,TAP4LLMを提案する。 1)大きなテーブルをクエリセマンティクスに基づいて管理可能なサブテーブルに分解するテーブルサンプリング、(2)外部ソースやモデルから追加の知識でテーブルを拡張するテーブル拡張、(3)テーブルパッキングとシリアライゼーションによりテーブルをLLMの理解に適したさまざまなフォーマットに変換する。
  論文  参考訳（メタデータ） (2023-12-14T15:37:04Z)
• Querying Large Language Models with SQL [16.383179496709737]
  多くのユースケースでは、情報はテキストに格納されるが、構造化データでは利用できない。 事前訓練されたLarge Language Models (LLMs) の台頭に伴い、大量のテキストコーパスから抽出された情報を保存および使用するための効果的なソリューションが現在存在する。 本稿では,従来のデータベースアーキテクチャに基づくプロトタイプであるGaloisについて紹介する。
  論文  参考訳（メタデータ） (2023-04-02T06:58:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。