論文の概要: Enhancing Tabular Reasoning with Pattern Exploiting Training

• arxiv url: http://arxiv.org/abs/2210.12259v1
• Date: Fri, 21 Oct 2022 21:28:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 15:52:13.667981
• Title: Enhancing Tabular Reasoning with Pattern Exploiting Training
• Title（参考訳）: パターン活用トレーニングによる表層推論の強化
• Authors: Abhilash Reddy Shankarampeta and Vivek Gupta and Shuo Zhang
• Abstract要約: 事前学習型言語モデルに基づく最近の手法は,表型タスクよりも優れた性能を示した。 本研究では,これらの推論モデルの既存の知識と推論能力を強化するために,事前学習言語モデルにおけるパターン探索訓練(PET)を利用する。
• 参考スコア（独自算出の注目度）: 14.424742483714846
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent methods based on pre-trained language models have exhibited superior performance over tabular tasks (e.g., tabular NLI), despite showing inherent problems such as not using the right evidence and inconsistent predictions across inputs while reasoning over the tabular data. In this work, we utilize Pattern-Exploiting Training (PET) (i.e., strategic MLM) on pre-trained language models to strengthen these tabular reasoning models' pre-existing knowledge and reasoning abilities. Our upgraded model exhibits a superior understanding of knowledge facts and tabular reasoning compared to current baselines. Additionally, we demonstrate that such models are more effective for underlying downstream tasks of tabular inference on InfoTabs. Furthermore, we show our model's robustness against adversarial sets generated through various character and word level perturbations.
• Abstract（参考訳）: 事前学習された言語モデルに基づく最近の手法は、表データの推論をしながら、正しいエビデンスや入力間の一貫性のない予測を使わずに、表のタスク(例えば表のNLI)よりも優れた性能を示した。 本研究では,事前学習された言語モデルにパターン探索訓練(pet)(戦略的mlm)を用いて,既存の知識と推論能力を強化する。 改良されたモデルでは,現在のベースラインに比べて知識事実や表の推論の理解が優れている。 さらに、これらのモデルはInfoTabs上での表型推論の下流タスクに対してより効果的であることを示す。 さらに,様々な文字と単語レベルの摂動によって生成された逆集合に対するモデルの頑健性を示す。

関連論文リスト

• Unleashing the Potential of Large Language Models for Predictive Tabular Tasks in Data Science [17.910306140400046]
  この研究は、これらの予測タスクにLarge Language Models (LLM)を適用する試みである。 本研究の目的は,Llama-2 の大規模学習を行う上で,注釈付きテーブルの包括的コーパスをコンパイルすることで,このギャップを緩和することにある。
  論文  参考訳（メタデータ） (2024-03-29T14:41:21Z)
• Making Pre-trained Language Models Great on Tabular Prediction [50.70574370855663]
  ディープニューラルネットワーク(DNN)の転送性は、画像および言語処理において著しく進歩している。 本稿では,表型データ予測のための訓練済みLMであるTP-BERTaを提案する。 新たな相対等級トークン化では、スカラー数値の特徴値を細分化した高次元トークンに変換し、特徴値と対応する特徴名を統合する。
  論文  参考訳（メタデータ） (2024-03-04T08:38:56Z)
• Learning to Reason and Memorize with Self-Notes [51.17609489687686]
  大規模言語モデルは多段階推論に苦しむことが示されている。 本稿では,これらの問題を解決するための簡単な手法を提案する。
  論文  参考訳（メタデータ） (2023-05-01T14:02:48Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• PTab: Using the Pre-trained Language Model for Modeling Tabular Data [5.791972449406902]
  近年の研究では、ニューラルネットワークモデルがタブラルデータの文脈表現の学習に有効であることが示されている。 本稿では,事前学習言語モデルを用いて,タブラルデータをモデル化する新しいフレームワークPTabを提案する。 提案手法は,最先端のベースラインに比べて,教師付き設定における平均AUCスコアが向上した。
  論文  参考訳（メタデータ） (2022-09-15T08:58:42Z)
• Measuring Causal Effects of Data Statistics on Language Model's `Factual' Predictions [59.284907093349425]
  大量のトレーニングデータが、最先端のNLPモデルの高性能化の大きな理由の1つである。 トレーニングデータがどのように予測に影響を及ぼすかを記述するための言語を,因果的フレームワークを通じて提供する。 我々のフレームワークは、高価なモデルの再訓練の必要性を回避し、観測データのみに基づいて因果効果を推定することができる。
  論文  参考訳（メタデータ） (2022-07-28T17:36:24Z)
• Is My Model Using The Right Evidence? Systematic Probes for Examining Evidence-Based Tabular Reasoning [26.168211982441875]
  ニューラルモデルは、推論を含むNLPタスク全体での最先端のパフォーマンスを定期的に報告する。 実験の結果, BERTをベースとした現在の最先端モデルでは, 以下の数値を適切に判断できないことがわかった。
  論文  参考訳（メタデータ） (2021-08-02T01:14:19Z)
• Turning Tables: Generating Examples from Semi-structured Tables for Endowing Language Models with Reasoning Skills [32.55545292360155]
  本稿では,半構造化テーブルを活用し,大規模質問とパラグラフのペアを自動的に生成する手法を提案する。 16種類の推論スキルを必要とする例を含む、この合成データに対する事前学習のステップを追加します。 我々のモデルであるPReasMは、トレーニング済みエンコーダ-デコーダモデルであるT5を大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2021-07-15T11:37:14Z)
• Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little [74.49773960145681]
  マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。 本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。 以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
  論文  参考訳（メタデータ） (2021-04-14T06:30:36Z)
• Leap-Of-Thought: Teaching Pre-Trained Models to Systematically Reason Over Implicit Knowledge [96.92252296244233]
  大規模な事前学習言語モデル(LM)は推論能力を得るが、制御は困難である。 本研究では,暗黙的,事前学習された知識と明示的な自然言語文を併用して,体系的推論を確実に行うことができることを示す。 我々の研究は、シンプルな自然言語文を追加することで、モデルを簡単に修正できるユーザと対話することで、常に改善されるオープンドメインシステムへの道を開く。
  論文  参考訳（メタデータ） (2020-06-11T17:02:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。