論文の概要: TableFormer: Robust Transformer Modeling for Table-Text Encoding

• arxiv url: http://arxiv.org/abs/2203.00274v1
• Date: Tue, 1 Mar 2022 07:23:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-02 21:17:59.043339
• Title: TableFormer: Robust Transformer Modeling for Table-Text Encoding
• Title（参考訳）: TableFormer: テーブルテキストエンコーディングのためのロバストトランスフォーマーモデリング
• Authors: Jingfeng Yang, Aditya Gupta, Shyam Upadhyay, Luheng He, Rahul Goel, Shachi Paul
• Abstract要約: テーブル理解のための既存のモデルはテーブル構造の線形化を必要とし、行や列の順序は不要なバイアスとしてエンコードされる。 本研究では,テーブルテキストエンコーディングアーキテクチャであるTableFormerを提案する。
• 参考スコア（独自算出の注目度）: 18.00127368618485
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding tables is an important aspect of natural language understanding. Existing models for table understanding require linearization of the table structure, where row or column order is encoded as an unwanted bias. Such spurious biases make the model vulnerable to row and column order perturbations. Additionally, prior work has not thoroughly modeled the table structures or table-text alignments, hindering the table-text understanding ability. In this work, we propose a robust and structurally aware table-text encoding architecture TableFormer, where tabular structural biases are incorporated completely through learnable attention biases. TableFormer is (1) strictly invariant to row and column orders, and, (2) could understand tables better due to its tabular inductive biases. Our evaluations showed that TableFormer outperforms strong baselines in all settings on SQA, WTQ and TabFact table reasoning datasets, and achieves state-of-the-art performance on SQA, especially when facing answer-invariant row and column order perturbations (6% improvement over the best baseline), because previous SOTA models' performance drops by 4% - 6% when facing such perturbations while TableFormer is not affected.
• Abstract（参考訳）: 表を理解することは自然言語理解の重要な側面である。 テーブル理解のための既存のモデルは、行または列の順序が望ましくないバイアスとしてエンコードされるテーブル構造の線形化を必要とする。 このようなスプリアスバイアスにより、モデルは行と列の順番の摂動に対して脆弱になる。 さらに、以前の作業ではテーブル構造やテーブル-テキストのアライメントを十分にモデル化しておらず、テーブル-テキストの理解能力を妨げています。 本研究では,学習可能な注意バイアスを通じて表構造バイアスを完全に組み込んだテーブルテキスト符号化アーキテクチャTableFormerを提案する。 tableformerは(1)行と列の順序に厳密に不変であり、(2)テーブルのインダクティブバイアスのため、テーブルをよりよく理解することができる。 評価の結果、SQA、WTQ、TabFactのテーブル推論データセットの全ての設定において、TableFormerは強いベースラインを上回り、特に応答不変行や列オーダーの摂動(最高のベースラインよりも6%改善)に直面した場合、特にSQAの最先端のパフォーマンスを実現している。

関連論文リスト

• Is This a Bad Table? A Closer Look at the Evaluation of Table Generation from Text [21.699434525769586]
  テーブルの品質評価のための既存の尺度は、テーブルの全体的なセマンティクスをキャプチャすることができない。 テーブルのセマンティクスをキャプチャするテーブル評価戦略であるTabEvalを提案する。 提案手法を検証するために,1250種類のウィキペディアテーブルのテキスト記述からなるデータセットをキュレートする。
  論文  参考訳（メタデータ） (2024-06-21T02:18:03Z)
• KET-QA: A Dataset for Knowledge Enhanced Table Question Answering [63.56707527868466]
  本研究では,TableQAの外部知識源として知識ベース(KB)を用いることを提案する。 すべての質問は、答えるテーブルとサブグラフの両方からの情報を統合する必要がある。 我々は,膨大な知識サブグラフから関連する情報を抽出するために,レトリバー・レゾナー構造パイプラインモデルを設計する。
  論文  参考訳（メタデータ） (2024-05-13T18:26:32Z)
• Chain-of-Table: Evolving Tables in the Reasoning Chain for Table Understanding [79.9461269253121]
  そこで我々は、中間思考のプロキシとして、図表データを推論チェーンで明示的に使用するChain-of-Tableフレームワークを提案する。 Chain-of-TableはWikiTQ、FeTaQA、TabFactベンチマークで最新のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-01-09T07:46:26Z)
• ReasTAP: Injecting Table Reasoning Skills During Pre-training via Synthetic Reasoning Examples [15.212332890570869]
  複雑なテーブル固有のアーキテクチャ設計を必要とせずに、事前学習中に高レベルのテーブル推論スキルをモデルに注入できることを示すためにReasTAPを開発した。 ReasTAPはすべてのベンチマークで最新のパフォーマンスを実現し、低リソース設定で大幅に改善されている。
  論文  参考訳（メタデータ） (2022-10-22T07:04:02Z)
• OmniTab: Pretraining with Natural and Synthetic Data for Few-shot Table-based Question Answering [106.73213656603453]
  最小限のアノテーションによるテーブルベースのQAモデルを構築した。 本稿では、自然データと合成データの両方を消費する全能事前学習手法を提案する。
  論文  参考訳（メタデータ） (2022-07-08T01:23:45Z)
• Table Retrieval May Not Necessitate Table-specific Model Design [83.27735758203089]
  テーブル検索のタスクに焦点をあてて、"テーブル固有のモデル設計はテーブル検索に必要か? 自然質問データセット (NQ-table) の表に基づく分析の結果, 70%以上の症例では構造が無視できる役割を担っていることがわかった。 次に、テーブル構造、すなわち補助列/カラム埋め込み、ハードアテンションマスク、ソフトリレーションに基づくアテンションバイアスを明示的にエンコードする3つのモジュールを実験する。 いずれも大きな改善は得られず、テーブル固有のモデル設計がテーブル検索に不要である可能性が示唆された。
  論文  参考訳（メタデータ） (2022-05-19T20:35:23Z)
• Robust (Controlled) Table-to-Text Generation with Structure-Aware Equivariance Learning [24.233552674892906]
  制御されたテーブル・トゥ・テキスト生成は、テーブルのハイライトされた部分の自然言語記述を生成する。 構造認識型自己認識機構で表を符号化する等分散学習フレームワークを提案する。 我々の技術は、既存のテーブル・ツー・テキスト生成モデルに自由にプラグインでき、T5ベースのモデルを改善し、ToTToとHiTabのパフォーマンスを改善しました。
  論文  参考訳（メタデータ） (2022-05-08T23:37:27Z)
• TGRNet: A Table Graph Reconstruction Network for Table Structure Recognition [76.06530816349763]
  本稿では,表構造認識のためのエンドツーエンドのトレーニング可能な表グラフ再構成ネットワーク(TGRNet)を提案する。 具体的には,異なる細胞の空間的位置と論理的位置を共同で予測するために,細胞検出枝と細胞論理的位置分岐の2つの主枝を有する。
  論文  参考訳（メタデータ） (2021-06-20T01:57:05Z)
• TABBIE: Pretrained Representations of Tabular Data [22.444607481407633]
  表データのみから学習する単純な事前学習目標を考案する。 競合するアプローチとは異なり、我々のモデル(TABBIE)は全てのテーブルサブストラクチャの埋め込みを提供する。 学習したセル,列,行の表現を定性的に分析した結果,複雑なテーブルの意味や数値的傾向が理解できた。
  論文  参考訳（メタデータ） (2021-05-06T11:15:16Z)
• GraPPa: Grammar-Augmented Pre-Training for Table Semantic Parsing [117.98107557103877]
  テーブルセマンティック解析のための効果的な事前学習手法GraPPaを提案する。 我々は、同期文脈自由文法を用いて、高自由度テーブル上に合成質問ペアを構築する。 実世界のデータを表現できるモデルの能力を維持するため、マスキング言語モデリングも含んでいる。
  論文  参考訳（メタデータ） (2020-09-29T08:17:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。