論文の概要: Aligning benchmark datasets for table structure recognition
- arxiv url: http://arxiv.org/abs/2303.00716v2
- Date: Tue, 23 May 2023 18:57:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-26 01:51:08.550631
- Title: Aligning benchmark datasets for table structure recognition
- Title（参考訳）: テーブル構造認識のためのベンチマークデータセットのアライメント
- Authors: Brandon Smock and Rohith Pesala and Robin Abraham
- Abstract要約: テーブル構造認識(TSR)のためのベンチマークデータセットは、それらが一貫していることを保証するために慎重に処理する必要がある。
本研究では,これらのベンチマークをx$removing errorと不整合に合わせることで,性能が大幅に向上することを示す。
全体として、我々の作業はベンチマーク処理のパフォーマンスや、潜在的に他のタスクにも重大な影響があると信じています。
- 参考スコア（独自算出の注目度）: 10.323063834827416
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Benchmark datasets for table structure recognition (TSR) must be carefully
processed to ensure they are annotated consistently. However, even if a
dataset's annotations are self-consistent, there may be significant
inconsistency across datasets, which can harm the performance of models trained
and evaluated on them. In this work, we show that aligning these
benchmarks$\unicode{x2014}$removing both errors and inconsistency between
them$\unicode{x2014}$improves model performance significantly. We demonstrate
this through a data-centric approach where we adopt one model architecture, the
Table Transformer (TATR), that we hold fixed throughout. Baseline exact match
accuracy for TATR evaluated on the ICDAR-2013 benchmark is 65% when trained on
PubTables-1M, 42% when trained on FinTabNet, and 69% combined. After reducing
annotation mistakes and inter-dataset inconsistency, performance of TATR
evaluated on ICDAR-2013 increases substantially to 75% when trained on
PubTables-1M, 65% when trained on FinTabNet, and 81% combined. We show through
ablations over the modification steps that canonicalization of the table
annotations has a significantly positive effect on performance, while other
choices balance necessary trade-offs that arise when deciding a benchmark
dataset's final composition. Overall we believe our work has significant
implications for benchmark design for TSR and potentially other tasks as well.
Dataset processing and training code will be released at
https://github.com/microsoft/table-transformer.
- Abstract（参考訳）: テーブル構造認識(TSR)のためのベンチマークデータセットは、確実に注釈付けされるように慎重に処理する必要がある。
しかし、たとえデータセットのアノテーションが自己整合であるとしても、データセット間で大きな矛盾があり、トレーニングされたモデルのパフォーマンスを損なう可能性がある。
本研究では,これらのベンチマークの整合性を$\unicode{x2014}$removing both error and inconsistency between them$\unicode{x2014}$improves model performance。
データ中心のアプローチでこれを実証し、1つのモデルアーキテクチャであるテーブルトランスフォーマー(Table Transformer, TATR)を採用します。
ICDAR-2013ベンチマークで評価されたTATRの基準一致精度はPubTables-1Mで65%、FinTabNetで42%、組み合わせた69%である。
ICDAR-2013で評価したTATRの性能は, PubTables-1Mでのトレーニングでは75%, FinTabNetでのトレーニングでは65%, 合計で81%に向上した。
表アノテーションの正準化が性能に有意な影響を与えているような修正ステップをアブレーションすることで、他の選択肢がベンチマークデータセットの最終構成を決定する際に生じる必要なトレードオフとバランスをとることを示す。
全体として、我々の研究は、TSRや他のタスクのベンチマーク設計にも重大な影響があると信じています。
dataset processing and training codeはhttps://github.com/microsoft/table-transformerでリリースされる。
関連論文リスト
- KET-QA: A Dataset for Knowledge Enhanced Table Question Answering [63.56707527868466]
本研究では,TableQAの外部知識源として知識ベース(KB)を用いることを提案する。
すべての質問は、答えるテーブルとサブグラフの両方からの情報を統合する必要がある。
我々は,膨大な知識サブグラフから関連する情報を抽出するために,レトリバー・レゾナー構造パイプラインモデルを設計する。
論文 参考訳（メタデータ） (2024-05-13T18:26:32Z) - 4DBInfer: A 4D Benchmarking Toolbox for Graph-Centric Predictive Modeling on Relational DBs [67.47600679176963]
RDBは、相互接続されたテーブルにまたがる膨大な量のリッチで情報的なデータを格納する。
予測機械学習モデルの進歩は、コンピュータビジョンや自然言語処理といった他の領域の進歩に遅れをとっている。
マルチテーブルデータセットをグラフに変換することを前提としたベースラインモデルのクラスを探索する。
大規模RDBデータセットと (ii) 同時予測タスクの多様なコレクションを組み立てる。
論文 参考訳（メタデータ） (2024-04-28T15:04:54Z) - Breaking Free Transformer Models: Task-specific Context Attribution
Promises Improved Generalizability Without Fine-tuning Pre-trained LLMs [1.5138606851862884]
本稿では,一般化性を維持し,下流タスクの性能を向上させるフレームワークを提案する。
タスク固有の概念演算子を用いて任意の変換器モデルからテキスト表現を線形変換すると、潜在概念空間に投影されることを示す。
HateXplain,IMDB Review,Social Media Attributionsという3つのデータセットの実験結果から,提案モデルが精度と一般化性に優れていたことが示唆された。
論文 参考訳（メタデータ） (2024-01-30T00:23:29Z) - SMaRt: Improving GANs with Score Matching Regularity [94.81046452865583]
生成的敵ネットワーク(GAN)は通常、基礎となる多様体が複雑である非常に多様なデータから学ぶのに苦労する。
スコアマッチングは、生成したデータポイントを実データ多様体へ持続的にプッシュする能力のおかげで、この問題に対する有望な解決策であることを示す。
スコアマッチング規則性(SMaRt)を用いたGANの最適化を提案する。
論文 参考訳（メタデータ） (2023-11-30T03:05:14Z) - Efficient Grammatical Error Correction Via Multi-Task Training and
Optimized Training Schedule [55.08778142798106]
原文と修正文のアライメントを利用する補助タスクを提案する。
我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。
トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
論文 参考訳（メタデータ） (2023-11-20T14:50:12Z) - Benchmarking a Benchmark: How Reliable is MS-COCO? [0.0]
MS-COCOの再注釈であるSama-COCOは、形状解析パイプラインを利用して潜在的なバイアスを発見するために用いられる。
モデルは、異なるアノテーション条件の影響を調べるために、両方のデータセットでトレーニングされ、評価される。
論文 参考訳（メタデータ） (2023-11-05T16:55:40Z) - Training-Free Generalization on Heterogeneous Tabular Data via
Meta-Representation [67.30538142519067]
メタ表現(TabPTM)を用いたタブラルデータ事前学習を提案する。
深層ニューラルネットワークは、これらのメタ表現とデータセット固有の分類信頼度を関連付けるように訓練される。
実験により、TabPTMは、数ショットのシナリオであっても、新しいデータセットで有望なパフォーマンスを達成することを確認した。
論文 参考訳（メタデータ） (2023-10-31T18:03:54Z) - Finetuning BERT on Partially Annotated NER Corpora [0.0]
本研究は、自己スーパービジョンとラベル前処理を用いて、部分ラベル付きデータセット上でBERTを微調整するアプローチを提案する。
提案手法は従来のLSTMベースのラベル前処理ベースラインよりも優れており,ラベルの粗末なデータセットの性能が著しく向上している。
論文 参考訳（メタデータ） (2022-11-25T19:54:30Z) - The Document Vectors Using Cosine Similarity Revisited [0.48733623015338234]
IMDBの映画レビューデータセットの現在の最先端テスト精度(97.42%)は、2019年の『citetthongtan-phienthrakul』センチメントによって報告された。
これまでに報告された97.42%の検定精度は無効であり、93.68%に補正されるべきである。
論文 参考訳（メタデータ） (2022-05-26T13:36:54Z) - Understanding tables with intermediate pre-training [11.96734018295146]
我々は、テーブルベースのBERTモデルであるTAPAASを適用して、エンターテイメントを認識する。
我々は,テーブルプルーニングを前処理ステップとして評価し,トレーニングと予測効率を大幅に向上させる。
論文 参考訳（メタデータ） (2020-10-01T17:43:27Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。