論文の概要: PrepBench: How Far Are We from Natural-Language-Driven Data Preparation?

• arxiv url: http://arxiv.org/abs/2605.08687v1
• Date: Sat, 09 May 2026 04:52:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.81465
• Title: PrepBench: How Far Are We from Natural-Language-Driven Data Preparation?
• Title（参考訳）: PrepBench: 自然言語によるデータ準備からどのくらい離れていますか?
• Abstract要約: 大規模言語モデル(LLM)の最近の進歩は、自然言語(NL)によるデータ準備へのパラダイムシフトの可能性を高めている。 既存のコード生成ベンチマークは、データ準備の重要な特徴を捉えていない。 3つのコア機能に沿ってNL駆動型データ準備を評価するために設計されたベンチマークであるPrepBenchを提案する。
• 参考スコア（独自算出の注目度）: 11.21730510420337
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data preparation is a central and time-consuming stage in data analysis workflows. Traditionally, commercial tools have relied on graphical user interfaces (GUIs) to simplify data preparation, allowing users to define transformations through visual operators and workflows. Recent advances in large language models (LLMs) raise the possibility of a paradigm shift toward natural language (NL)-driven data preparation, in which users can specify preparation intents in NL directly. However, it remains unclear how far current LLM-based agents are from this paradigm shift in practice. Existing code generation benchmarks do not capture key characteristics of data preparation, including ambiguous user intents, imperfect real-world data, and the need to translate code into interpretable workflows for validation. To bridge this gap, we present PrepBench, a benchmark designed to evaluate NL-driven data preparation along three core capabilities: interactive disambiguation, prep-code generation, and code-to-workflow translation. We crawl data from the Preppin' Data Challenges, and then extend it into a systematically designed benchmark. The benchmark covers diverse domains, and each task involves 3 to 18 data preparation steps. Nearly half of the tasks require over 100 lines of Python code, and the longest solutions approach 300 lines. Our evaluation shows that, despite recent progress, realizing this paradigm shift remains challenging for state-of-the-art LLMs. PrepBench provides a principled benchmark for measuring this gap and helps identify key challenges toward realizing NL-driven data preparation.
• Abstract（参考訳）: データ準備は、データ分析ワークフローの中心的で時間を要する段階である。 伝統的に、商用ツールはデータ準備を単純化するためにグラフィカルユーザーインターフェイス(GUI)に依存しており、ユーザーはビジュアル演算子やワークフローを通して変換を定義することができる。 大規模言語モデル(LLM)の最近の進歩は、自然言語(NL)によるデータ準備へのパラダイムシフトの可能性を高め、ユーザーはNLで準備意図を直接指定できる。 しかし、現在のLSMベースのエージェントがこのパラダイムシフトからどれくらい離れているのかは、まだ不明である。 既存のコード生成ベンチマークでは、曖昧なユーザ意図、不完全な現実世界のデータ、検証のための解釈可能なワークフローへのコード変換の必要性など、データ準備の重要な特徴を捉えていない。 このギャップを埋めるために,対話的曖昧化,プリプコード生成,コード・トゥ・ワークフロー変換という3つのコア機能とともに,NL駆動型データ準備を評価するために設計されたベンチマークであるPrepBenchを提案する。 Preppin' Data Challengesからデータをクロールして、システマティックに設計されたベンチマークに拡張します。 ベンチマークはさまざまなドメインをカバーし、各タスクは3から18のデータ準備ステップを含む。 タスクのほぼ半分は100行以上のPythonコードを必要とし、最も長いソリューションは300行に近づいている。 我々の評価は、近年の進歩にもかかわらず、このパラダイムシフトを実現することは、最先端のLLMにとって依然として困難であることを示している。 PrepBenchは、このギャップを測定するための原則付きベンチマークを提供し、NL駆動のデータ準備を実現するための重要な課題を特定するのに役立つ。

関連論文リスト

• Agentic coding without the cloud: evaluating open-weight large language models on longitudinal data preparation tasks [0.0]
  大規模言語モデル(LLM)とエージェントは現在、コード開発で広く使われている。 個人データを用いた研究における彼らの採用は、一般的に外部サービスへのデータ転送を禁止しているガバナンス要件によって制限されている。 我々は,オープンウェイトLSMを用いたAIエージェントの有効性を評価するためのオープンソースフレームワークを,長手集団研究における最も永続的なボトルネックの1つとして紹介する。
  論文  参考訳（メタデータ） (2026-07-23T16:23:42Z)
• Can LLMs Clean Up Your Mess? A Survey of Application-Ready Data Preparation with LLMs [66.63911043019294]
  データ準備は、生のデータセットを識別し、データセット間の関係を解明し、それらから貴重な洞察を抽出することを目的としている。 本稿では,様々な下流タスクのためのデータ準備にLLM技術を用いることに焦点を当てる。 データクリーニング、標準化、エラー処理、計算、データ統合、データ豊か化という3つの主要なタスクにフィールドを編成するタスク中心の分類を導入します。
  論文  参考訳（メタデータ） (2026-01-22T12:02:45Z)
• DataFlow: An LLM-Driven Framework for Unified Data Preparation and Workflow Automation in the Era of Data-Centric AI [42.191938707504406]
  DataFlowは、統一的でLLM駆動のデータ準備フレームワークである。 システムレベルの抽象化により、モジュラー、再利用可能な、構成可能なデータ変換が可能になる。 DataFlowは、ダウンストリームのLarge Language Modelsのパフォーマンスを継続的に改善します。
  論文  参考訳（メタデータ） (2025-12-18T15:46:15Z)
• LLM/Agent-as-Data-Analyst: A Survey [54.08761322298559]
  大規模言語モデル(LLM)とエージェント技術は、データ分析タスクの機能と開発パラダイムに根本的な変化をもたらした。 LLMは複雑なデータ理解、自然言語、意味分析機能、自律パイプラインオーケストレーションを可能にする。
  論文  参考訳（メタデータ） (2025-09-28T17:31:38Z)
• LLM-Aided Customizable Profiling of Code Data Based On Programming Language Concepts [1.480144196276276]
  この作業は、大規模言語モデル(コード-LLM)のコードデータセットのコンテキストにおいて、特にプロファイリングに対処する。 プログラミング言語の概念の観点からコードデータセットを特徴づけることで、より良い洞察とターゲットデータキュレーションが可能になる。
  論文  参考訳（メタデータ） (2025-03-19T11:01:00Z)
• Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
  コンテキスト is Key" (CiK) は、数値データを多種多様なテキストコンテキストと組み合わせた予測ベンチマークである。 我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。 提案手法は,提案するベンチマークにおいて,他の試験手法よりも優れる簡易かつ効果的なLCMプロンプト法である。
  論文  参考訳（メタデータ） (2024-10-24T17:56:08Z)
• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Code Needs Comments: Enhancing Code LLMs with Comment Augmentation [91.52444946362547]
  本稿では、既存のコードに対するコメントを生成する新しいデータ拡張手法と、自然言語と相関の低いコードデータをフィルタリングするデータフィルタリング戦略を導入する。 我々は3つのコード中心の大規模言語モデルの実験を行い、2つの広く使われているプログラミングスキルベンチマークで一貫した性能向上を観察した。
  論文  参考訳（メタデータ） (2024-02-20T13:56:38Z)
• From Words to Code: Harnessing Data for Program Synthesis from Natural Language [12.665932954069476]
  大規模言語モデル(LLM)が生成するプログラムをリランクする手法であるセマンティック・リグレードを導入する。 また,LLMが生成する試料を高温と低温の両方で混合する温度混合も導入した。 トップ1の精度は最大45%、トップ3の精度は34%向上した。
  論文  参考訳（メタデータ） (2023-05-02T16:56:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。