論文の概要: Retrieve, Merge, Predict: Augmenting Tables with Data Lakes

• arxiv url: http://arxiv.org/abs/2402.06282v4
• Date: Mon, 27 May 2024 13:21:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-05-29 07:25:03.182816
• Title: Retrieve, Merge, Predict: Augmenting Tables with Data Lakes
• Title（参考訳）: Retrieve, Merge, Predict: データレイクによるテーブルの拡張
• Authors: Riccardo Cappuzzo, Aimee Coelho, Felix Lefebvre, Paolo Papotti, Gael Varoquaux,
• Abstract要約: 結合可能なテーブルを検索し、情報をマージし、結果のテーブルと予測する。 データレイクとして、論文ではYADL(Yet Another Data Lake)と、よく参照された実際のデータレイクであるOpen Data USを使用している。
• 参考スコア（独自算出の注目度）: 7.449868392714658
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present an in-depth analysis of data discovery in data lakes, focusing on table augmentation for given machine learning tasks. We analyze alternative methods used in the three main steps: retrieving joinable tables, merging information, and predicting with the resultant table. As data lakes, the paper uses YADL (Yet Another Data Lake) -- a novel dataset we developed as a tool for benchmarking this data discovery task -- and Open Data US, a well-referenced real data lake. Through systematic exploration on both lakes, our study outlines the importance of accurately retrieving join candidates and the efficiency of simple merging methods. We report new insights on the benefits of existing solutions and on their limitations, aiming at guiding future research in this space.
• Abstract（参考訳）: データレイクにおけるデータ発見の詳細な分析を行い、与えられた機械学習タスクのテーブル拡張に焦点を当てた。 結合可能なテーブルを検索し、情報をマージし、結果のテーブルと予測する。 データレイクとして、この論文ではYADL(Yet Another Data Lake)という、このデータディスカバリタスクのベンチマークツールとして開発した新しいデータセットと、よく参照された実際のデータレイクであるOpen Data USを使用している。 本研究は,両湖の体系的な調査を通じて,結合候補を正確に検索することの重要性と,単純なマージ手法の効率性について概説する。 我々は,既存のソリューションのメリットと,その限界に関する新たな知見を報告し,この分野における今後の研究を導くことを目的とする。

関連論文リスト

• Pneuma: Leveraging LLMs for Tabular Data Representation and Retrieval in an End-to-End System [8.096082871461311]
  Pneumaは、表形式のデータを効率的かつ効果的に発見するために設計された検索拡張世代(RAG)システムである。 テーブル表現のために、Pneumaはスキーマと行レベルの情報を保存し、包括的なデータ理解を保証する。 テーブル検索では、PneumaはLLMをフルテキストやベクトル検索といった従来の情報検索技術で強化する。
  論文  参考訳（メタデータ） (2025-04-12T13:20:50Z)
• TableLoRA: Low-rank Adaptation on Table Structure Understanding for Large Language Models [57.005158277893194]
  TableLoRA は、PEFT における LLM のテーブル構造理解を改善するために設計されたモジュールである。 テーブルを特別なトークンエンコーダでシリアライズするための特別なトークンを組み込み、2D LoRAを使ってセル位置の低ランク情報をエンコードする。
  論文  参考訳（メタデータ） (2025-03-06T12:50:14Z)
• TableRAG: Million-Token Table Understanding with Language Models [53.039560091592215]
  TableRAG(TableRAG)は、LMベースのテーブル理解用に特別に設計された検索拡張生成(RAG)フレームワークである。 TableRAGは、スキーマとセル検索を組み合わせたクエリ拡張を活用して、LMにそれを提供する前に重要な情報をピンポイントする。 以上の結果から,TableRAGは検索精度が向上し,大規模テーブル理解における最先端性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2024-10-07T04:15:02Z)
• DiscoveryBench: Towards Data-Driven Discovery with Large Language Models [50.36636396660163]
  我々は、データ駆動探索の多段階プロセスを形式化する最初の包括的なベンチマークであるDiscoveryBenchを紹介する。 我々のベンチマークには、社会学や工学などの6つの分野にまたがる264のタスクが含まれている。 私たちのベンチマークでは、自律的なデータ駆動型発見の課題を説明し、コミュニティが前進するための貴重なリソースとして役立ちます。
  論文  参考訳（メタデータ） (2024-07-01T18:58:22Z)
• TabSketchFM: Sketch-based Tabular Representation Learning for Data Discovery over Data Lakes [25.169832192255956]
  データレイク上のデータ発見のためのニューラルネットワークタブモデルであるTabFMを提案する。 我々は、結合可能、結合可能、およびサブセットテーブルペアを特定するための事前訓練されたモデルを微調整する。 その結果,最先端技術と比較して,検索におけるF1スコアの大幅な改善が示された。
  論文  参考訳（メタデータ） (2024-06-28T17:28:53Z)
• Data-Centric AI in the Age of Large Language Models [51.20451986068925]
  本稿では,大規模言語モデル(LLM)に着目した,AI研究におけるデータ中心の視点を提案する。 本研究では,LLMの発達段階(事前学習や微調整など)や推論段階(文脈内学習など)において,データが有効であることを示す。 データを中心とした4つのシナリオを特定し、データ中心のベンチマークとデータキュレーション、データ属性、知識伝達、推論コンテキスト化をカバーします。
  論文  参考訳（メタデータ） (2024-06-20T16:34:07Z)
• TACT: Advancing Complex Aggregative Reasoning with Information Extraction Tools [51.576974932743596]
  大規模言語モデル(LLM)は、テキスト間の情報の集約を必要とするクエリではよく機能しないことが多い。 TACTには、1つ以上のテキストに散らばる縫合情報を要求する難しい命令が含まれている。 既存のテキストと関連するテーブルのデータセットを活用することで、このデータセットを構築します。 現代のLLMはいずれも,このデータセットでは性能が悪く,精度が38%以下であることが実証された。
  論文  参考訳（メタデータ） (2024-06-05T20:32:56Z)
• Squeezing Lemons with Hammers: An Evaluation of AutoML and Tabular Deep Learning for Data-Scarce Classification Applications [2.663744975320783]
  L2正規化ロジスティック回帰は、最先端の自動機械学習(AutoML)フレームワークと同様の性能を発揮する。 データスカースアプリケーションの第1選択として、ロジスティック回帰を考慮することをお勧めします。
  論文  参考訳（メタデータ） (2024-05-13T11:43:38Z)
• An Automatic Prompt Generation System for Tabular Data Tasks [3.117741687220381]
  大規模言語モデル(LLM)は、慎重に構築されたプロンプトを通じて、いくつかのタスクでその能力を実証している。 本稿では,複数のLDMに適した革新的オートプロンプト生成システムを提案する。
  論文  参考訳（メタデータ） (2024-05-09T08:32:55Z)
• TableLLM: Enabling Tabular Data Manipulation by LLMs in Real Office Usage Scenarios [51.66718740300016]
  TableLLMは80億のパラメータを持つ堅牢な大規模言語モデル(LLM)である。 TableLLMはデータ操作タスクを巧みに扱うために構築されている。 我々は、ユーザインタラクションのためのモデルチェックポイント、ソースコード、ベンチマーク、Webアプリケーションをリリースした。
  論文  参考訳（メタデータ） (2024-03-28T11:21:12Z)
• Relational Deep Learning: Graph Representation Learning on Relational Databases [69.7008152388055]
  複数のテーブルにまたがって配置されたデータを学ぶために、エンドツーエンドの表現アプローチを導入する。 メッセージパッシンググラフニューラルネットワークは、自動的にグラフを学習して、すべてのデータ入力を活用する表現を抽出する。
  論文  参考訳（メタデータ） (2023-12-07T18:51:41Z)
• Semantic Data Management in Data Lakes [0.0]
  近年では、現代のデータ分析のために大量の異種データを管理するために、データレイクが遠くに現れた。 データレイクが運用不能なデータ湿地になるのを防ぐ方法の1つは、セマンティックデータ管理である。 我々は,そのアプローチを (i) 基本的な意味データ管理, (ii) データレイクにおけるメタデータの充実のためのセマンティックモデリングアプローチ, (iii) オントロジーに基づくデータアクセスのための手法に分類する。
  論文  参考訳（メタデータ） (2023-10-23T21:16:50Z)
• LakeBench: Benchmarks for Data Discovery over Data Lakes [21.32260396393041]
  データレポジトリで関連するテーブルを見つけるためのベンチマークを開発する。 CKAN、ソクラタ、欧州中央銀行の政府データなど、さまざまなデータソースから引き出された表を使用します。 既存のモデルはいずれも、このベンチマークのために開発したデータ発見タスクについてトレーニングされていません。
  論文  参考訳（メタデータ） (2023-07-09T16:16:11Z)
• DataFinder: Scientific Dataset Recommendation from Natural Language Descriptions [100.52917027038369]
  我々は、短い自然言語記述を与えられたデータセットを推奨するタスクを運用する。 この作業を容易にするために、我々は、より大規模な自動構築トレーニングセットと、より少ない専門家によるアノテート評価セットからなるDataFinderデータセットを構築した。 このシステムは、DataFinderデータセットに基づいてトレーニングされ、既存のサードパーティのデータセット検索エンジンよりも関連性の高い検索結果を見つける。
  論文  参考訳（メタデータ） (2023-05-26T05:22:36Z)
• METAM: Goal-Oriented Data Discovery [9.73435089036831]
  METAMは目標指向のフレームワークで、下流タスクを候補データセットでクエリし、フィードバックループを形成して、発見と拡張プロセスを自動的に管理する。 我々はMETAMの理論的保証を示し、それらを幅広いタスクセットで実証的に示す。
  論文  参考訳（メタデータ） (2023-04-18T15:42:25Z)
• Deep Lake: a Lakehouse for Deep Learning [0.0]
  Deep Lakeは、Activeloopで開発されたディープラーニングアプリケーションのためのオープンソースのレイクハウスである。 本稿では,Activeloopで開発されたディープラーニングアプリケーションのためのオープンソースのレイクハウスであるDeep Lakeについて述べる。
  論文  参考訳（メタデータ） (2022-09-22T05:04:09Z)
• LiDAR dataset distillation within bayesian active learning framework: Understanding the effect of data augmentation [63.20765930558542]
  アクティブラーニング(AL)は、アノテーションコストとデータセットサイズの削減に対処するため、最近再び注目されている。 本稿では,大規模なセマンティックKITTIデータセットの1/4分の1でALベースのデータセット蒸留を原理的に評価する。 我々は、選択したデータセット構成からのサンプルの60%のみを使用して、データ拡張が完全なデータセット精度を達成することを観察した。
  論文  参考訳（メタデータ） (2022-02-06T00:04:21Z)
• Benchmarking Multimodal AutoML for Tabular Data with Text Fields [83.43249184357053]
  テキストフィールドを含む18個のマルチモーダルデータテーブルを組み立てる。 このベンチマークにより、研究者は、数値的、分類的、テキスト的特徴を用いて教師あり学習を行うための独自の方法を評価することができる。
  論文  参考訳（メタデータ） (2021-11-04T09:29:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。