論文の概要: TabXEval: Why this is a Bad Table? An eXhaustive Rubric for Table Evaluation

• arxiv url: http://arxiv.org/abs/2505.22176v1
• Date: Wed, 28 May 2025 09:50:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.541292
• Title: TabXEval: Why this is a Bad Table? An eXhaustive Rubric for Table Evaluation
• Title（参考訳）: TabXEval:なぜこれは悪いテーブルなのか? テーブル評価のためのeXhaustive Rubric
• Authors: Vihang Pancholi, Jainit Bafna, Tejas Anvekar, Manish Shrivastava, Vivek Gupta,
• Abstract要約: テーブルを質的かつ定量的に評価することは重要な課題である。 従来のメトリクスは、微妙な構造と内容の相違を捉えるのに失敗することが多い。 本稿では,マルチレベル構造記述子とコンテキストの微粒化を融合した新しい手法のルーリックを提案する。
• 参考スコア（独自算出の注目度）: 10.212570261759204
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Evaluating tables qualitatively & quantitatively presents a significant challenge, as traditional metrics often fail to capture nuanced structural and content discrepancies. To address this, we introduce a novel, methodical rubric integrating multi-level structural descriptors with fine-grained contextual quantification, thereby establishing a robust foundation for comprehensive table comparison. Building on this foundation, we propose TabXEval, an eXhaustive and eXplainable two-phase evaluation framework. TabXEval initially aligns reference tables structurally via TabAlign & subsequently conducts a systematic semantic and syntactic comparison using TabCompare; this approach clarifies the evaluation process and pinpoints subtle discrepancies overlooked by conventional methods. The efficacy of this framework is assessed using TabXBench, a novel, diverse, multi-domain benchmark we developed, featuring realistic table perturbations and human-annotated assessments. Finally, a systematic analysis of existing evaluation methods through sensitivity-specificity trade-offs demonstrates the qualitative and quantitative effectiveness of TabXEval across diverse table-related tasks and domains, paving the way for future innovations in explainable table evaluation.
• Abstract（参考訳）: テーブルを質的かつ定量的に評価することは、従来のメトリクスが微妙な構造と内容の相違を捉えるのに失敗するので、大きな課題となる。 そこで本研究では,マルチレベル構造記述子を微粒な文脈量子化で統合する手法を新たに導入し,包括的テーブル比較のための堅牢な基盤を確立した。 本稿では,eXhaustiveとeXplainableの2相評価フレームワークであるTabXEvalを提案する。 TabXEvalは、まずTabAlignを介して参照テーブルを構造的に整列し、その後、TabCompareを使用して体系的な意味的・統語的比較を行う。 このフレームワークの有効性はTabXBenchを用いて評価される。TabXBenchは、我々が開発した、多種多様なマルチドメインのベンチマークであり、現実的なテーブル摂動と人間による注釈付きアセスメントが特徴である。 最後に、感度特異性トレードオフによる既存評価手法の体系的分析により、テーブル関連タスクやドメイン間のTabXEvalの質的かつ定量的な有効性を示し、説明可能なテーブル評価における将来の革新への道を開く。

関連論文リスト

• TableEval: A Real-World Benchmark for Complex, Multilingual, and Multi-Structured Table Question Answering [18.173773939709733]
  既存のTableQAベンチマークは、単純なフラットテーブルにフォーカスし、データ漏洩に悩まされることがしばしばある。 現実的なTableQAタスク上でLLMを評価するために設計された新しいベンチマークであるTableEvalを紹介する。 データ漏洩のリスクを最小限に抑えるため、最近の実世界の文書からすべてのデータを収集する。
  論文  参考訳（メタデータ） (2025-06-04T13:39:01Z)
• ArxivDIGESTables: Synthesizing Scientific Literature into Tables using Language Models [58.34560740973768]
  本稿では,言語モデル(LM)を利用して文献レビュー表を生成するフレームワークを提案する。 ArXiv論文から抽出された2,228の文献レビューテーブルの新しいデータセットは、合計で7,542の論文を合成する。 我々は、LMが参照テーブルを再構築する能力を評価し、追加のコンテキストからこのタスクの利点を見出す。
  論文  参考訳（メタデータ） (2024-10-25T18:31:50Z)
• UniTabNet: Bridging Vision and Language Models for Enhanced Table Structure Recognition [55.153629718464565]
  我々は、画像からテキストへのモデルに基づくテーブル構造解析のための新しいフレームワークUniTabNetを紹介する。 UniTabNetは、画像とテキストのモデルを使ってテーブルセルを分離し、物理デコーダと論理デコーダを統合して完全なテーブル構造を再構築する。
  論文  参考訳（メタデータ） (2024-09-20T01:26:32Z)
• Top-K Pairwise Ranking: Bridging the Gap Among Ranking-Based Measures for Multi-Label Classification [120.37051160567277]
  本稿では,Top-K Pairwise Ranking(TKPR)という新しい尺度を提案する。 一連の分析により、TKPRは既存のランキングベースの尺度と互換性があることが示されている。 一方,データ依存縮約法という新しい手法に基づいて,提案手法の急激な一般化を確立する。
  論文  参考訳（メタデータ） (2024-07-09T09:36:37Z)
• LaTable: Towards Large Tabular Models [63.995130144110156]
  タブラル生成基盤モデルは、異なるデータセットの不均一な特徴空間のために構築が困難である。 LaTableは、これらの課題に対処し、異なるデータセットでトレーニング可能な、新しい拡散モデルである。 LaTableは、分散生成のベースラインよりも優れており、微調整されたLaTableは、より少ないサンプルで分散データセットをより良く生成できる。
  論文  参考訳（メタデータ） (2024-06-25T16:03:50Z)
• Is This a Bad Table? A Closer Look at the Evaluation of Table Generation from Text [21.699434525769586]
  テーブルの品質評価のための既存の尺度は、テーブルの全体的なセマンティクスをキャプチャすることができない。 テーブルのセマンティクスをキャプチャするテーブル評価戦略であるTabEvalを提案する。 提案手法を検証するために,1250種類のウィキペディアテーブルのテキスト記述からなるデータセットをキュレートする。
  論文  参考訳（メタデータ） (2024-06-21T02:18:03Z)
• UniTabE: A Universal Pretraining Protocol for Tabular Foundation Model in Data Science [16.384705926693073]
  本研究は,データサイエンスにおける表上での予測を容易にするために,事前学習方法論の能力を拡張することを目的とする。 テーブルを一様に処理するために設計されたUniTabEは、特定のテーブル構造によって課される制約を無視する。 プレトレーニングフェーズを実装するため,Kaggleプラットフォームから正確に収集した約13Bサンプルからなる拡張データセットをキュレートした。
  論文  参考訳（メタデータ） (2023-07-18T13:28:31Z)
• SEMv2: Table Separation Line Detection Based on Instance Segmentation [96.36188168694781]
  SEMv2(SEM: Split, Embed, Merge)と呼ばれるテーブル構造認識器を提案する。 本稿では,テーブル分離ラインのインスタンスレベルの識別問題に対処し,条件付き畳み込みに基づくテーブル分離ライン検出戦略を提案する。 SEMv2を包括的に評価するために、iFLYTABと呼ばれるテーブル構造認識のためのより困難なデータセットも提示する。
  論文  参考訳（メタデータ） (2023-03-08T05:15:01Z)
• TRUST: An Accurate and End-to-End Table structure Recognizer Using Splitting-based Transformers [56.56591337457137]
  本稿では,TRUSTと呼ばれるテーブル構造認識手法を提案する。 変換器は、大域的な計算、完全メモリ、並列計算のためにテーブル構造認識に適している。 我々はPubTabNetやSynthTableなど,いくつかの人気のあるベンチマークで実験を行い,新しい最先端の結果を得た。
  論文  参考訳（メタデータ） (2022-08-31T08:33:36Z)
• TableFormer: Robust Transformer Modeling for Table-Text Encoding [18.00127368618485]
  テーブル理解のための既存のモデルはテーブル構造の線形化を必要とし、行や列の順序は不要なバイアスとしてエンコードされる。 本研究では,テーブルテキストエンコーディングアーキテクチャであるTableFormerを提案する。
  論文  参考訳（メタデータ） (2022-03-01T07:23:06Z)
• A Training-free and Reference-free Summarization Evaluation Metric via Centrality-weighted Relevance and Self-referenced Redundancy [60.419107377879925]
  トレーニング不要かつ参照不要な要約評価指標を提案する。 我々の測定基準は、集中度重み付き関連度スコアと自己参照冗長度スコアからなる。 提案手法は,複数文書と単一文書の要約評価において,既存の手法よりも大幅に優れる。
  論文  参考訳（メタデータ） (2021-06-26T05:11:27Z)
• TGRNet: A Table Graph Reconstruction Network for Table Structure Recognition [76.06530816349763]
  本稿では,表構造認識のためのエンドツーエンドのトレーニング可能な表グラフ再構成ネットワーク(TGRNet)を提案する。 具体的には,異なる細胞の空間的位置と論理的位置を共同で予測するために,細胞検出枝と細胞論理的位置分岐の2つの主枝を有する。
  論文  参考訳（メタデータ） (2021-06-20T01:57:05Z)
• Tab.IAIS: Flexible Table Recognition and Semantic Interpretation System [84.39812458417246]
  完全テーブル認識処理を行い、最も頻繁なテーブル形式をサポートする2つのルールベースのアルゴリズムを開発する。 意味情報の抽出をテーブル認識プロセスに組み込むため,グラフに基づくテーブル解釈法を開発した。 我々のテーブル認識アプローチは、最先端のアプローチと競合する結果を得る。
  論文  参考訳（メタデータ） (2021-05-25T12:31:02Z)
• TabLeX: A Benchmark Dataset for Structure and Content Information Extraction from Scientific Tables [1.4115224153549193]
  本稿では,学術論文から生成された表画像からなる大規模ベンチマークデータセットTabLeXを提案する。 堅牢なテーブルIEツールの開発を容易にするため、TabLeXにはさまざまなアスペクト比とさまざまなフォントのイメージが含まれている。 分析の結果,現状のテーブル抽出モデルの欠点が明らかとなり,単純なテーブル画像でも失敗することが判明した。
  論文  参考訳（メタデータ） (2021-05-12T05:13:38Z)
• GraPPa: Grammar-Augmented Pre-Training for Table Semantic Parsing [117.98107557103877]
  テーブルセマンティック解析のための効果的な事前学習手法GraPPaを提案する。 我々は、同期文脈自由文法を用いて、高自由度テーブル上に合成質問ペアを構築する。 実世界のデータを表現できるモデルの能力を維持するため、マスキング言語モデリングも含んでいる。
  論文  参考訳（メタデータ） (2020-09-29T08:17:58Z)
• TabSim: A Siamese Neural Network for Accurate Estimation of Table Similarity [5.889134549635538]
  本稿では,ディープニューラルネットワークを用いたテーブル類似度スコアの計算手法であるTabSimを提案する。 本手法を訓練し,評価するために,生薬品から抽出した1500のテーブル対からなる金標準コーパスを開発した。 評価の結果,TabSim は他の表類似度指標を平均で 7% pp F1-score で 2次類似度分類と App. 1.5% pp で上回った。
  論文  参考訳（メタデータ） (2020-08-25T07:32:09Z)
• Towards Faithful Neural Table-to-Text Generation with Content-Matching Constraints [63.84063384518667]
  そこで本研究では,トランスフォーマーをベースとした新たな生成フレームワークを提案する。 忠実度を強制する手法の中核となる技術は、テーブル-テキストの最適トランスポート・マッチング・ロスである。 忠実度を評価するため,テーブル・ツー・テキスト生成問題に特化した新しい自動尺度を提案する。
  論文  参考訳（メタデータ） (2020-05-03T02:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。