論文の概要: TabXEval: Why this is a Bad Table? An eXhaustive Rubric for Table Evaluation

• arxiv url: http://arxiv.org/abs/2505.22176v1
• Date: Wed, 28 May 2025 09:50:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.541292
• Title: TabXEval: Why this is a Bad Table? An eXhaustive Rubric for Table Evaluation
• Title（参考訳）: TabXEval:なぜこれは悪いテーブルなのか? テーブル評価のためのeXhaustive Rubric
• Authors: Vihang Pancholi, Jainit Bafna, Tejas Anvekar, Manish Shrivastava, Vivek Gupta,
• Abstract要約: テーブルを質的かつ定量的に評価することは重要な課題である。 従来のメトリクスは、微妙な構造と内容の相違を捉えるのに失敗することが多い。 本稿では,マルチレベル構造記述子とコンテキストの微粒化を融合した新しい手法のルーリックを提案する。
• 参考スコア（独自算出の注目度）: 10.212570261759204
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Evaluating tables qualitatively & quantitatively presents a significant challenge, as traditional metrics often fail to capture nuanced structural and content discrepancies. To address this, we introduce a novel, methodical rubric integrating multi-level structural descriptors with fine-grained contextual quantification, thereby establishing a robust foundation for comprehensive table comparison. Building on this foundation, we propose TabXEval, an eXhaustive and eXplainable two-phase evaluation framework. TabXEval initially aligns reference tables structurally via TabAlign & subsequently conducts a systematic semantic and syntactic comparison using TabCompare; this approach clarifies the evaluation process and pinpoints subtle discrepancies overlooked by conventional methods. The efficacy of this framework is assessed using TabXBench, a novel, diverse, multi-domain benchmark we developed, featuring realistic table perturbations and human-annotated assessments. Finally, a systematic analysis of existing evaluation methods through sensitivity-specificity trade-offs demonstrates the qualitative and quantitative effectiveness of TabXEval across diverse table-related tasks and domains, paving the way for future innovations in explainable table evaluation.
• Abstract（参考訳）: テーブルを質的かつ定量的に評価することは、従来のメトリクスが微妙な構造と内容の相違を捉えるのに失敗するので、大きな課題となる。 そこで本研究では,マルチレベル構造記述子を微粒な文脈量子化で統合する手法を新たに導入し,包括的テーブル比較のための堅牢な基盤を確立した。 本稿では,eXhaustiveとeXplainableの2相評価フレームワークであるTabXEvalを提案する。 TabXEvalは、まずTabAlignを介して参照テーブルを構造的に整列し、その後、TabCompareを使用して体系的な意味的・統語的比較を行う。 このフレームワークの有効性はTabXBenchを用いて評価される。TabXBenchは、我々が開発した、多種多様なマルチドメインのベンチマークであり、現実的なテーブル摂動と人間による注釈付きアセスメントが特徴である。 最後に、感度特異性トレードオフによる既存評価手法の体系的分析により、テーブル関連タスクやドメイン間のTabXEvalの質的かつ定量的な有効性を示し、説明可能なテーブル評価における将来の革新への道を開く。

関連論文リスト

• ArxivDIGESTables: Synthesizing Scientific Literature into Tables using Language Models [58.34560740973768]
  本稿では,言語モデル(LM)を利用して文献レビュー表を生成するフレームワークを提案する。 ArXiv論文から抽出された2,228の文献レビューテーブルの新しいデータセットは、合計で7,542の論文を合成する。 我々は、LMが参照テーブルを再構築する能力を評価し、追加のコンテキストからこのタスクの利点を見出す。
  論文  参考訳（メタデータ） (2024-10-25T18:31:50Z)
• Top-K Pairwise Ranking: Bridging the Gap Among Ranking-Based Measures for Multi-Label Classification [120.37051160567277]
  本稿では,Top-K Pairwise Ranking(TKPR)という新しい尺度を提案する。 一連の分析により、TKPRは既存のランキングベースの尺度と互換性があることが示されている。 一方,データ依存縮約法という新しい手法に基づいて,提案手法の急激な一般化を確立する。
  論文  参考訳（メタデータ） (2024-07-09T09:36:37Z)
• Is This a Bad Table? A Closer Look at the Evaluation of Table Generation from Text [21.699434525769586]
  テーブルの品質評価のための既存の尺度は、テーブルの全体的なセマンティクスをキャプチャすることができない。 テーブルのセマンティクスをキャプチャするテーブル評価戦略であるTabEvalを提案する。 提案手法を検証するために,1250種類のウィキペディアテーブルのテキスト記述からなるデータセットをキュレートする。
  論文  参考訳（メタデータ） (2024-06-21T02:18:03Z)
• UniTabE: A Universal Pretraining Protocol for Tabular Foundation Model in Data Science [16.384705926693073]
  本研究は,データサイエンスにおける表上での予測を容易にするために,事前学習方法論の能力を拡張することを目的とする。 テーブルを一様に処理するために設計されたUniTabEは、特定のテーブル構造によって課される制約を無視する。 プレトレーニングフェーズを実装するため,Kaggleプラットフォームから正確に収集した約13Bサンプルからなる拡張データセットをキュレートした。
  論文  参考訳（メタデータ） (2023-07-18T13:28:31Z)
• SEMv2: Table Separation Line Detection Based on Instance Segmentation [96.36188168694781]
  SEMv2(SEM: Split, Embed, Merge)と呼ばれるテーブル構造認識器を提案する。 本稿では,テーブル分離ラインのインスタンスレベルの識別問題に対処し,条件付き畳み込みに基づくテーブル分離ライン検出戦略を提案する。 SEMv2を包括的に評価するために、iFLYTABと呼ばれるテーブル構造認識のためのより困難なデータセットも提示する。
  論文  参考訳（メタデータ） (2023-03-08T05:15:01Z)
• A Training-free and Reference-free Summarization Evaluation Metric via Centrality-weighted Relevance and Self-referenced Redundancy [60.419107377879925]
  トレーニング不要かつ参照不要な要約評価指標を提案する。 我々の測定基準は、集中度重み付き関連度スコアと自己参照冗長度スコアからなる。 提案手法は,複数文書と単一文書の要約評価において,既存の手法よりも大幅に優れる。
  論文  参考訳（メタデータ） (2021-06-26T05:11:27Z)
• Tab.IAIS: Flexible Table Recognition and Semantic Interpretation System [84.39812458417246]
  完全テーブル認識処理を行い、最も頻繁なテーブル形式をサポートする2つのルールベースのアルゴリズムを開発する。 意味情報の抽出をテーブル認識プロセスに組み込むため,グラフに基づくテーブル解釈法を開発した。 我々のテーブル認識アプローチは、最先端のアプローチと競合する結果を得る。
  論文  参考訳（メタデータ） (2021-05-25T12:31:02Z)
• Towards Faithful Neural Table-to-Text Generation with Content-Matching Constraints [63.84063384518667]
  そこで本研究では,トランスフォーマーをベースとした新たな生成フレームワークを提案する。 忠実度を強制する手法の中核となる技術は、テーブル-テキストの最適トランスポート・マッチング・ロスである。 忠実度を評価するため,テーブル・ツー・テキスト生成問題に特化した新しい自動尺度を提案する。
  論文  参考訳（メタデータ） (2020-05-03T02:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。