論文の概要: TabXEval: Why this is a Bad Table? An eXhaustive Rubric for Table Evaluation

• arxiv url: http://arxiv.org/abs/2505.22176v2
• Date: Sun, 01 Jun 2025 15:12:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-03 13:48:30.030926
• Title: TabXEval: Why this is a Bad Table? An eXhaustive Rubric for Table Evaluation
• Title（参考訳）: TabXEval:なぜこれは悪いテーブルなのか? テーブル評価のためのeXhaustive Rubric
• Authors: Vihang Pancholi, Jainit Bafna, Tejas Anvekar, Manish Shrivastava, Vivek Gupta,
• Abstract要約: 本稿では,マルチレベル構造記述子と微粒なコンテキスト信号を統合するルーブリックに基づく評価フレームワークを提案する。 本稿では,eXhaustiveとeXplainableの2相評価フレームワークであるTabXEvalを紹介する。 我々はTabXBench上でTabXEvalを評価する。TabXBenchは現実的なテーブル摂動と人間のアノテーションを特徴とする多種多様なマルチベンチマークである。
• 参考スコア（独自算出の注目度）: 10.212570261759204
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Evaluating tables qualitatively and quantitatively poses a significant challenge, as standard metrics often overlook subtle structural and content-level discrepancies. To address this, we propose a rubric-based evaluation framework that integrates multi-level structural descriptors with fine-grained contextual signals, enabling more precise and consistent table comparison. Building on this, we introduce TabXEval, an eXhaustive and eXplainable two-phase evaluation framework. TabXEval first aligns reference and predicted tables structurally via TabAlign, then performs semantic and syntactic comparison using TabCompare, offering interpretable and granular feedback. We evaluate TabXEval on TabXBench, a diverse, multi-domain benchmark featuring realistic table perturbations and human annotations. A sensitivity-specificity analysis further demonstrates the robustness and explainability of TabXEval across varied table tasks. Code and data are available at https://coral-lab-asu.github.io/tabxeval/
• Abstract（参考訳）: テーブルを質的かつ定量的に評価することは、標準的なメトリクスが微妙な構造的およびコンテンツレベルの相違を見落としているため、大きな課題となる。 そこで本稿では,マルチレベル構造記述子と微粒なコンテキスト信号を統合し,より正確で一貫したテーブル比較を可能にするルーリック評価フレームワークを提案する。 そこで我々は,eXhaustiveとeXplainableの2相評価フレームワークであるTabXEvalを紹介した。 TabXEvalは、まずTabAlignを介して参照テーブルと予測テーブルを構造的に整列し、その後、TabCompareを使用してセマンティックおよび構文比較を行い、解釈可能な粒度のフィードバックを提供する。 我々はTabXBench上でTabXEvalを評価する。TabXBenchは現実的なテーブル摂動と人間のアノテーションを特徴とする多種多様なマルチベンチマークである。 感度特異性分析は、テーブルタスク間でのTabXEvalの堅牢性と説明可能性をさらに示す。 コードとデータはhttps://coral-lab-asu.github.io/tabxeval/で公開されている。

関連論文リスト

• ArxivDIGESTables: Synthesizing Scientific Literature into Tables using Language Models [58.34560740973768]
  本稿では,言語モデル(LM)を利用して文献レビュー表を生成するフレームワークを提案する。 ArXiv論文から抽出された2,228の文献レビューテーブルの新しいデータセットは、合計で7,542の論文を合成する。 我々は、LMが参照テーブルを再構築する能力を評価し、追加のコンテキストからこのタスクの利点を見出す。
  論文  参考訳（メタデータ） (2024-10-25T18:31:50Z)
• Top-K Pairwise Ranking: Bridging the Gap Among Ranking-Based Measures for Multi-Label Classification [120.37051160567277]
  本稿では,Top-K Pairwise Ranking(TKPR)という新しい尺度を提案する。 一連の分析により、TKPRは既存のランキングベースの尺度と互換性があることが示されている。 一方,データ依存縮約法という新しい手法に基づいて,提案手法の急激な一般化を確立する。
  論文  参考訳（メタデータ） (2024-07-09T09:36:37Z)
• Is This a Bad Table? A Closer Look at the Evaluation of Table Generation from Text [21.699434525769586]
  テーブルの品質評価のための既存の尺度は、テーブルの全体的なセマンティクスをキャプチャすることができない。 テーブルのセマンティクスをキャプチャするテーブル評価戦略であるTabEvalを提案する。 提案手法を検証するために,1250種類のウィキペディアテーブルのテキスト記述からなるデータセットをキュレートする。
  論文  参考訳（メタデータ） (2024-06-21T02:18:03Z)
• UniTabE: A Universal Pretraining Protocol for Tabular Foundation Model in Data Science [16.384705926693073]
  本研究は,データサイエンスにおける表上での予測を容易にするために,事前学習方法論の能力を拡張することを目的とする。 テーブルを一様に処理するために設計されたUniTabEは、特定のテーブル構造によって課される制約を無視する。 プレトレーニングフェーズを実装するため,Kaggleプラットフォームから正確に収集した約13Bサンプルからなる拡張データセットをキュレートした。
  論文  参考訳（メタデータ） (2023-07-18T13:28:31Z)
• SEMv2: Table Separation Line Detection Based on Instance Segmentation [96.36188168694781]
  SEMv2(SEM: Split, Embed, Merge)と呼ばれるテーブル構造認識器を提案する。 本稿では,テーブル分離ラインのインスタンスレベルの識別問題に対処し,条件付き畳み込みに基づくテーブル分離ライン検出戦略を提案する。 SEMv2を包括的に評価するために、iFLYTABと呼ばれるテーブル構造認識のためのより困難なデータセットも提示する。
  論文  参考訳（メタデータ） (2023-03-08T05:15:01Z)
• A Training-free and Reference-free Summarization Evaluation Metric via Centrality-weighted Relevance and Self-referenced Redundancy [60.419107377879925]
  トレーニング不要かつ参照不要な要約評価指標を提案する。 我々の測定基準は、集中度重み付き関連度スコアと自己参照冗長度スコアからなる。 提案手法は,複数文書と単一文書の要約評価において,既存の手法よりも大幅に優れる。
  論文  参考訳（メタデータ） (2021-06-26T05:11:27Z)
• Tab.IAIS: Flexible Table Recognition and Semantic Interpretation System [84.39812458417246]
  完全テーブル認識処理を行い、最も頻繁なテーブル形式をサポートする2つのルールベースのアルゴリズムを開発する。 意味情報の抽出をテーブル認識プロセスに組み込むため,グラフに基づくテーブル解釈法を開発した。 我々のテーブル認識アプローチは、最先端のアプローチと競合する結果を得る。
  論文  参考訳（メタデータ） (2021-05-25T12:31:02Z)
• Towards Faithful Neural Table-to-Text Generation with Content-Matching Constraints [63.84063384518667]
  そこで本研究では,トランスフォーマーをベースとした新たな生成フレームワークを提案する。 忠実度を強制する手法の中核となる技術は、テーブル-テキストの最適トランスポート・マッチング・ロスである。 忠実度を評価するため,テーブル・ツー・テキスト生成問題に特化した新しい自動尺度を提案する。
  論文  参考訳（メタデータ） (2020-05-03T02:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。