論文の概要: CITBench: A Comprehensive Benchmark for Interactive Tabular Data Processing with LLMs

• arxiv url: http://arxiv.org/abs/2608.00018v1
• Date: Mon, 29 Jun 2026 14:15:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 00:28:25.011608
• Title: CITBench: A Comprehensive Benchmark for Interactive Tabular Data Processing with LLMs
• Title（参考訳）: CITBench: LLMを用いた対話型タブラルデータ処理のための総合ベンチマーク
• Abstract要約: 本稿では,対話型データ処理におけるLLM評価のための総合ベンチマークであるCITBenchを紹介する。 CITBenchは、テーブルマッチング、クリーニング、拡張、変換の4つの高いカテゴリにまたがる包括的な分類機能を備えている。 我々は、CITBench上でオープンソースおよびクローズドソースのLCMを幅広く評価し、一貫した傾向を明らかにした。現在のモデルは単純なテーブルやルールでよく機能するが、それらの性能はテーブルの複雑さの増加、より厳密なルール依存、ノイズの多いマルチターン相互作用シミュレーションによって著しく低下する。
• 参考スコア（独自算出の注目度）: 12.821564548052862
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tabular data processing is central to data work, and LLM-based assistants have recently shown promising capabilities in supporting such tasks. However, existing benchmarks primarily focus on table reasoning under single-turn, fully specified instructions, underrepresenting complex table processing that unfolds through multi-turn interactions with evolving user requirements. To bridge this gap, we introduce CITBench, a comprehensive benchmark for evaluating LLMs on interactive tabular data processing. CITBench features a comprehensive taxonomy across four high-level categories--table matching, cleaning, augmentation, and transformation--spanning 18 task types and 1,296 instances curated from datasets across diverse domains. The benchmark supports both offline and online evaluation, where the online setting models multi-turn interactions under constrained operation procedures and structured task scripts, capturing key potential behavioral characteristics of user-in-the-loop tabular data processing. We evaluate a broad suite of open-source and closed-source LLMs on CITBench, revealing a consistent trend: while current models perform well on simple tables and rules, their performance degrades significantly with increasing table complexity, tighter rule dependencies, and noisy multi-turn interaction simulations. These results highlight persistent challenges in understanding, planning, and table-structure awareness for LLMs in extended interactive data processing scenarios.
• Abstract（参考訳）: タブラルデータ処理はデータ処理の中心であり、LLMベースのアシスタントは最近そのようなタスクをサポートする有望な能力を示した。 しかし、既存のベンチマークは主にシングルターンで完全に指定された命令の下でのテーブル推論に焦点を当てており、進化するユーザ要求とマルチターンインタラクションを通じて展開される複雑なテーブル処理を過小評価している。 このギャップを埋めるため,対話型表データ処理におけるLCM評価のための総合ベンチマークであるCITBenchを導入する。 CITBenchは、テーブルマッチング、クリーニング、拡張、変換の4つの高いカテゴリにまたがる包括的な分類機能を備えている。 このベンチマークはオフラインおよびオンライン両方の評価をサポートし、オンライン設定は制約された操作手順と構造化されたタスクスクリプトの下でのマルチターンインタラクションをモデル化し、ユーザ・イン・ザ・ループ・タブ形式のデータ処理の潜在的な振る舞い特性をキャプチャする。 我々は、CITBench上でオープンソースおよびクローズドソースのLCMを幅広く評価し、一貫した傾向を明らかにした。現在のモデルは単純なテーブルやルールでよく機能するが、それらの性能はテーブルの複雑さの増加、より厳密なルール依存、ノイズの多いマルチターン相互作用シミュレーションによって著しく低下する。 これらの結果は、拡張された対話型データ処理シナリオにおけるLLMの理解、計画、テーブル構造認識における永続的な課題を浮き彫りにする。

関連論文リスト

• TReB: A Comprehensive Benchmark for Evaluating Table Reasoning Capabilities of Large Language Models [30.26407735827857]
  表構造データによる推論は、大規模言語モデル(LLM)に重大な課題をもたらす 本稿では,表理解能力と表推論能力の両方を測定する総合的な表推論進化ベンチマークTReBを提案する。 我々は3つの異なる推論モード(TCoT, PoT, ICoT)でテーブル推論能力を頑健に測定する評価フレームワークを構築した。
  論文  参考訳（メタデータ） (2025-06-23T09:02:04Z)
• TQA-Bench: Evaluating LLMs for Multi-Table Question Answering with Scalable Context and Symbolic Extension [8.489816179329832]
  TQA-Benchは,大規模言語モデル(LLM)の複雑なQAタスクをリレーショナルデータ上で処理する能力を評価するために設計された,新しいマルチテーブルQAベンチマークである。 我々のベンチマークでは、現実世界のパブリックデータセットから得られた多様なリレーショナルデータベースインスタンスを組み込んでいます。 我々は、70億から700億のパラメータにまたがる、オープンソースとクローズドソースの両方のLLMを体系的に評価する。
  論文  参考訳（メタデータ） (2024-11-29T06:48:13Z)
• ProcessTBench: An LLM Plan Generation Dataset for Process Mining [0.0]
  大規模言語モデル(LLM)は、計画生成において大きな可能性を示しています。 既存のデータセットは、高度なツール使用シナリオに必要な複雑さを欠いていることが多い。 本稿では,TaskBench データセットの拡張である ProcessTBench 合成データセットを提案する。
  論文  参考訳（メタデータ） (2024-09-13T20:56:21Z)
• TableLLM: Enabling Tabular Data Manipulation by LLMs in Real Office Usage Scenarios [51.66718740300016]
  TableLLMは80億のパラメータを持つ堅牢な大規模言語モデル(LLM)である。 TableLLMはデータ操作タスクを巧みに扱うために構築されている。 我々は、ユーザインタラクションのためのモデルチェックポイント、ソースコード、ベンチマーク、Webアプリケーションをリリースした。
  論文  参考訳（メタデータ） (2024-03-28T11:21:12Z)
• TAP4LLM: Table Provider on Sampling, Augmenting, and Packing Semi-structured Data for Large Language Model Reasoning [55.33939289989238]
  テーブルベースタスクにおいて,大規模言語モデル(LLM)を効果的に活用するための汎用プリプロセッサスイートとして,TAP4LLMを提案する。 1)大きなテーブルをクエリセマンティクスに基づいて管理可能なサブテーブルに分解するテーブルサンプリング、(2)外部ソースやモデルから追加の知識でテーブルを拡張するテーブル拡張、(3)テーブルパッキングとシリアライゼーションによりテーブルをLLMの理解に適したさまざまなフォーマットに変換する。
  論文  参考訳（メタデータ） (2023-12-14T15:37:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。