論文の概要: Bridge the Gap between Language models and Tabular Understanding

• arxiv url: http://arxiv.org/abs/2302.09302v1
• Date: Thu, 16 Feb 2023 15:16:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-21 19:23:09.746102
• Title: Bridge the Gap between Language models and Tabular Understanding
• Title（参考訳）: 言語モデルと表理解のギャップを埋める
• Authors: Nuo Chen, Linjun Shou, Ming Gong, Jian Pei, Chenyu You, Jianhui Chang, Daxin Jiang, Jia Li
• Abstract要約: 自然言語領域における事前学習の成功以降,テーブル事前学習のパラダイムが提案され,急速に採用されている。 有望な発見にもかかわらず、事前トレーニングと微調整フェーズの間には入力ギャップがある。 UTPは,テーブルテキスト,テーブル,テキストの3種類のマルチモーダル入力を動的にサポートする手法である。
• 参考スコア（独自算出の注目度）: 99.88470271644894
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Table pretrain-then-finetune paradigm has been proposed and employed at a rapid pace after the success of pre-training in the natural language domain. Despite the promising findings in tabular pre-trained language models (TPLMs), there is an input gap between pre-training and fine-tuning phases. For instance, TPLMs jointly pre-trained with table and text input could be effective for tasks also with table-text joint input like table question answering, but it may fail for tasks with only tables or text as input such as table retrieval. To this end, we propose UTP, an approach that dynamically supports three types of multi-modal inputs: table-text, table, and text. Specifically, UTP is pre-trained with two strategies: (1) We first utilize a universal mask language modeling objective on each kind of input, enforcing the model to adapt various inputs. (2) We then present Cross-Modal Contrastive Regularization (CMCR), which utilizes contrastive learning to encourage the consistency between table-text cross-modality representations via unsupervised instance-wise training signals during pre-training. By these means, the resulting model not only bridges the input gap between pre-training and fine-tuning but also advances in the alignment of table and text. Extensive results show UTP achieves superior results on uni-modal input tasks (e.g., table retrieval) and cross-modal input tasks (e.g., table question answering).
• Abstract（参考訳）: 自然言語領域における事前学習の成功以降,テーブル事前学習のパラダイムが提案され,急速に採用されている。 表付き事前学習言語モデル(TPLM)の有望な発見にもかかわらず、事前学習と微調整フェーズの間には入力ギャップがある。 例えば、テーブルとテキスト入力で事前訓練されたTPLMは、テーブル質問応答のようなテーブル-テキスト共同入力のタスクにも有効であるが、テーブル検索のような入力としてテーブルまたはテキストのみのタスクには有効である。 そこで我々は,テーブルテキスト,テーブル,テキストの3種類のマルチモーダル入力を動的にサポートする手法であるutpを提案する。 特に, UTP は, 1 種類の入力に対して汎用マスク言語モデリングの目的を第一に利用し, 様々な入力に適応するようにモデルを強制する2つの戦略で事前訓練されている。 2)教師なしインスタンス間トレーニング信号によるテーブルテキスト間相互モダリティ表現の一貫性を促進するために,コントラスト学習を用いたクロスモーダルコントラスト正則化(cmcr)を提案する。 結果として得られたモデルは、事前学習と微調整の間の入力ギャップを橋渡しするだけでなく、テーブルとテキストのアライメントを進化させる。 UTPは単一モーダル入力タスク(テーブル検索など)と相互モーダル入力タスク(テーブル質問応答など)において優れた結果が得られることを示す。

関連論文リスト

• TDeLTA: A Light-weight and Robust Table Detection Method based on Learning Text Arrangement [34.73880086005418]
  本稿では,学習テキストアレンジメント(TDeLTA)に基づく新しい,軽量で堅牢なテーブル検出手法を提案する。 表を正確に特定するために,表内の意味的役割に応じてテキストブロックを4つのカテゴリに分類するテキスト分類タスクを設計する。 いくつかの最先端の手法と比較して、TDeLTAは大規模な公開データセットの3.1Mモデルパラメータで競合する結果を得る。
  論文  参考訳（メタデータ） (2023-12-18T09:18:43Z)
• TAP4LLM: Table Provider on Sampling, Augmenting, and Packing Semi-structured Data for Large Language Model Reasoning [58.11442663694328]
  テーブルプロンプトを生成するための多用途前処理ツールボックスとして,TAP4LLMを提案する。 各モジュールにおいて、様々なシナリオで使用されるいくつかの一般的なメソッドを収集し、設計する。
  論文  参考訳（メタデータ） (2023-12-14T15:37:04Z)
• FLIP: Towards Fine-grained Alignment between ID-based Models and Pretrained Language Models for CTR Prediction [49.510163437116645]
  本稿では,クリックスルー率(CTR)予測のためのIDベースモデルと事前学習言語モデル(FLIP)間の細粒度特徴レベルのアライメントを提案する。 具体的には、1つのモダリティ(トークンや特徴)のマスキングされたデータは、他のモダリティの助けを借りて回復し、特徴レベルの相互作用とアライメントを確立する必要がある。 3つの実世界のデータセットの実験により、FLIPはSOTAベースラインより優れており、様々なIDベースのモデルやPLMと高い互換性を持つことが示された。
  論文  参考訳（メタデータ） (2023-10-30T11:25:03Z)
• Towards Table-to-Text Generation with Pretrained Language Model: A Table Structure Understanding and Text Deliberating Approach [60.03002572791552]
  本稿では,テーブル構造理解とテキスト検討手法,すなわちTASDを提案する。 具体的には,表構造を考慮したテキスト生成モデルを実現するために,三層多層アテンションネットワークを考案する。 われわれのアプローチは、様々な種類のテーブルに対して忠実で流動的な記述テキストを生成することができる。
  論文  参考訳（メタデータ） (2023-01-05T14:03:26Z)
• OmniTab: Pretraining with Natural and Synthetic Data for Few-shot Table-based Question Answering [106.73213656603453]
  最小限のアノテーションによるテーブルベースのQAモデルを構築した。 本稿では、自然データと合成データの両方を消費する全能事前学習手法を提案する。
  論文  参考訳（メタデータ） (2022-07-08T01:23:45Z)
• Table Pre-training: A Survey on Model Architectures, Pretraining Objectives, and Downstream Tasks [37.35651138851127]
  テキストや画像の成功を受けて、テーブル事前学習フレームワークの急激な普及が提案されている。 テーブル事前トレーニングは通常、テーブル-テキスト共同トレーニングの形式を取る。 この調査は、さまざまなモデル設計、事前学習目標、およびテーブル事前学習のための下流タスクの包括的なレビューを提供することを目的としている。
  論文  参考訳（メタデータ） (2022-01-24T15:22:24Z)
• ST-BERT: Cross-modal Language Model Pre-training For End-to-end Spoken Language Understanding [23.367329217151084]
  エンドツーエンドの音声言語理解タスクに対処するために,Speech-Text BERT (ST-BERT) と呼ばれる,モーダルな事前学習言語モデルを導入する。 ST-BERTは、音素の後方テキストとサブワードレベルのテキストを入力として、文脈化されたクロスモーダルアライメントを学習する。 提案手法は,ドメイン固有音声テキストペアデータを用いたドメイン適応型事前学習により,さらなるSLU性能向上を示す。
  論文  参考訳（メタデータ） (2020-10-23T10:28:20Z)
• GraPPa: Grammar-Augmented Pre-Training for Table Semantic Parsing [117.98107557103877]
  テーブルセマンティック解析のための効果的な事前学習手法GraPPaを提案する。 我々は、同期文脈自由文法を用いて、高自由度テーブル上に合成質問ペアを構築する。 実世界のデータを表現できるモデルの能力を維持するため、マスキング言語モデリングも含んでいる。
  論文  参考訳（メタデータ） (2020-09-29T08:17:58Z)
• TAPAS: Weakly Supervised Table Parsing via Pre-training [16.661382998729067]
  論理形式を生成せずにテーブル上で質問応答を行う手法であるTAPASを提案する。 我々は3つの異なる意味解析データセットを実験した。 TAPASは、最先端の精度を向上させることにより、セマンティックパーシングモデルよりも優れているか、あるいは競合することがわかった。
  論文  参考訳（メタデータ） (2020-04-05T23:18:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。