論文の概要: TAPAS at SemEval-2021 Task 9: Reasoning over tables with intermediate pre-training

• arxiv url: http://arxiv.org/abs/2104.01099v1
• Date: Fri, 2 Apr 2021 15:47:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-05 13:54:52.476478
• Title: TAPAS at SemEval-2021 Task 9: Reasoning over tables with intermediate pre-training
• Title（参考訳）: SemEval-2021 Task 9: Reasoning over table with intermediate pre-training
• Authors: Thomas M\"uller, Julian Martin Eisenschlos, Syrine Krichene
• Abstract要約: 文が中性か非中性かを予測する第1のモデルと、それに関連するか反感があるかを予測する第2のモデルである。 人工ニュートラルな例は、最初のモデルのトレーニングにやや効果的であり、過半数のベースラインの60.47に対して68.03テストF1を達成している。
• 参考スコア（独自算出の注目度）: 3.0079490585515343
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present the TAPAS contribution to the Shared Task on Statement Verification and Evidence Finding with Tables (SemEval 2021 Task 9, Wang et al. (2021)). SEM TAB FACT Task A is a classification task of recognizing if a statement is entailed, neutral or refuted by the content of a given table. We adopt the binary TAPAS model of Eisenschlos et al. (2020) to this task. We learn two binary classification models: A first model to predict if a statement is neutral or non-neutral and a second one to predict if it is entailed or refuted. As the shared task training set contains only entailed or refuted examples, we generate artificial neutral examples to train the first model. Both models are pre-trained using a MASKLM objective, intermediate counter-factual and synthetic data (Eisenschlos et al., 2020) and TABFACT (Chen et al., 2020), a large table entailment dataset. We find that the artificial neutral examples are somewhat effective at training the first model, achieving 68.03 test F1 versus the 60.47 of a majority baseline. For the second stage, we find that the pre-training on the intermediate data and TABFACT improves the results over MASKLM pre-training (68.03 vs 57.01).
• Abstract（参考訳）: 本稿では,表による表の確認と証拠発見に関する共有タスク(SeemEval 2021 Task 9, Wang et al)に対するTAPASの貢献について述べる。 (2021)). SEM TAB FACT Task A は、ある文が与えられた表の内容によって関連づけられたり、中立的であったり、否定されたりするかどうかを認識するための分類タスクである。 我々はEeisenschlos et alのバイナリTAPASモデルを採用する。 (2020)。 文が中性か非中性かを予測する第1のモデルと、それに関連するか反感があるかを予測する第2のモデルである。 共有タスクトレーニングセットは、関連する例や反証例のみを含むため、第1モデルをトレーニングするための人工中立例を生成する。 どちらのモデルもMASKLMの目的、中間対実データ、合成データ (Eisenschlos et al., 2020) とTABFACT (Chen et al., 2020) を用いて事前訓練されている。 人工中立例は第1モデルのトレーニングに幾らか効果的であることが分かり、過半数のベースラインの60.47に対して68.03のテストF1を達成した。 第2段階では、中間データとTABFACTによる事前学習は、MASKLMによる事前学習(68.03 vs 57.01)よりも改善する。

関連論文リスト

• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• UU-Tax at SemEval-2022 Task 3: Improving the generalizability of language models for taxonomy classification through data augmentation [0.0]
  本稿では,SemEval-2022 Task 3 PreTENS: Presuposed Taxonomies Evaluation Neural Network Semanticsについて述べる。 タスクの目標は、文に含まれる名詞対の間の分類学的関係によって、ある文が受け入れられているか否かを識別することである。 より優れた分類のための言語モデルの堅牢性と一般化性を高める効果的な方法を提案する。
  論文  参考訳（メタデータ） (2022-10-07T07:41:28Z)
• OmniTab: Pretraining with Natural and Synthetic Data for Few-shot Table-based Question Answering [106.73213656603453]
  最小限のアノテーションによるテーブルベースのQAモデルを構築した。 本稿では、自然データと合成データの両方を消費する全能事前学習手法を提案する。
  論文  参考訳（メタデータ） (2022-07-08T01:23:45Z)
• Unifying Language Learning Paradigms [96.35981503087567]
  データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。 本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。 また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
  論文  参考訳（メタデータ） (2022-05-10T19:32:20Z)
• The MultiBERTs: BERT Reproductions for Robustness Analysis [86.29162676103385]
  事前トレーニングの再実行は、パフォーマンスに関して、かなり異なる結論をもたらす可能性がある。 我々は25個のBERTベースのチェックポイントの集合であるMultiBERTを紹介する。 目標は、研究者が事前訓練の手順について、堅牢で統計的に正当化された結論を描けるようにすることである。
  論文  参考訳（メタデータ） (2021-06-30T15:56:44Z)
• BreakingBERT@IITK at SemEval-2021 Task 9 : Statement Verification and Evidence Finding with Tables [1.78256232654567]
  我々は,事実の検証と証拠発見の問題を表データ上で解決する。 与えられたSemTabFactデータセットのベースラインと最先端のアプローチを比較します。 また,自然言語推論タスクの一形態としてエビデンスを解くための新しいアプローチCellBERTを提案する。
  論文  参考訳（メタデータ） (2021-04-07T11:41:07Z)
• Understanding tables with intermediate pre-training [11.96734018295146]
  我々は、テーブルベースのBERTモデルであるTAPAASを適用して、エンターテイメントを認識する。 我々は,テーブルプルーニングを前処理ステップとして評価し,トレーニングと予測効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2020-10-01T17:43:27Z)
• Phonemer at WNUT-2020 Task 2: Sequence Classification Using COVID Twitter BERT and Bagging Ensemble Technique based on Plurality Voting [0.0]
  新型コロナウイルス(COVID-19)に関連する英語のつぶやきを自動的に識別するシステムを開発した。 最終アプローチでは0.9037のF1スコアを達成し,F1スコアを評価基準として総合6位にランク付けした。
  論文  参考訳（メタデータ） (2020-10-01T10:54:54Z)
• The Lottery Ticket Hypothesis for Pre-trained BERT Networks [137.99328302234338]
  自然言語処理(NLP)では、BERTのような巨大な事前学習モデルがトレーニングの標準出発点となっている。 並行して、抽選券仮説の研究により、NLPとコンピュータビジョンのモデルには、完全精度で個別にトレーニングできる小さなマッチングワークが含まれていることが示されている。 これらの観測と組み合わせて、トレーニング済みのBERTモデルにそのようなトレーニング可能なトランスファーブルワークが存在するかどうかを評価する。
  論文  参考訳（メタデータ） (2020-07-23T19:35:39Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。