論文の概要: Turning Tables: Generating Examples from Semi-structured Tables for Endowing Language Models with Reasoning Skills

• arxiv url: http://arxiv.org/abs/2107.07261v1
• Date: Thu, 15 Jul 2021 11:37:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-16 14:11:59.744363
• Title: Turning Tables: Generating Examples from Semi-structured Tables for Endowing Language Models with Reasoning Skills
• Title（参考訳）: ターンテーブル: 推論スキルを持つ言語モデルのための半構造化表から例を生成する
• Authors: Ori Yoran, Alon Talmor, Jonathan Berant
• Abstract要約: 本稿では,半構造化テーブルを活用し,大規模質問とパラグラフのペアを自動的に生成する手法を提案する。 16種類の推論スキルを必要とする例を含む、この合成データに対する事前学習のステップを追加します。 我々のモデルであるPReasMは、トレーニング済みエンコーダ-デコーダモデルであるT5を大幅に上回っていることを示す。
• 参考スコア（独自算出の注目度）: 32.55545292360155
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Models pre-trained with a language modeling objective possess ample world knowledge and language skills, but are known to struggle in tasks that require reasoning. In this work, we propose to leverage semi-structured tables, and automatically generate at scale question-paragraph pairs, where answering the question requires reasoning over multiple facts in the paragraph. We add a pre-training step over this synthetic data, which includes examples that require 16 different reasoning skills such as number comparison, conjunction, and fact composition. To improve data efficiency, we propose sampling strategies that focus training on reasoning skills the model is currently lacking. We evaluate our approach on three reading comprehension datasets that are focused on reasoning, and show that our model, PReasM, substantially outperforms T5, a popular pre-trained encoder-decoder model. Moreover, sampling examples based on current model errors leads to faster training and higher overall performance.
• Abstract（参考訳）: 言語モデリングの目的で事前訓練されたモデルは、豊富な世界の知識と言語スキルを持っているが、推論を必要とするタスクで苦労することが知られている。 そこで本研究では,半構造化表を活用し,質問文中の複数の事実を推論する必要があるような,大規模質問-パラグラフペアを自動的に生成する手法を提案する。 この合成データに事前学習のステップを加え、数の比較、組み合わせ、事実合成など16種類の推論スキルを必要とする例を含む。 データ効率を向上させるために,モデルに現在欠けている推論スキルに重点を置くサンプリング戦略を提案する。 推論に焦点をあてた3つの読み理解データセットに対するアプローチを評価し,我々のモデルであるpreasmが,一般的なプリトレーニングエンコーダ・デコーダモデルであるt5を実質的に上回っていることを示す。 さらに、現在のモデルエラーに基づくサンプルのサンプリングは、トレーニングの高速化と全体的なパフォーマンスの向上につながる。

関連論文リスト

• Guiding Language Model Math Reasoning with Planning Tokens [128.57605860640948]
  各推論ステップの開始時に計画トークンを導入し、モデルのガイドとして機能し、モデルパラメータにそれらの埋め込みを追加する。 提案手法では、トレーニング可能なパラメータ(わずか0.001%)の無視可能な増加が必要であり、完全な微調整か、よりパラメータ効率の良いスキームで適用することができる。
  論文  参考訳（メタデータ） (2023-10-09T13:29:37Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Teaching Broad Reasoning Skills via Decomposition-Guided Contexts [50.114651561111245]
  質問に答えるデータセットには、幅広い推論スキルが必要です。 質問分解を用いて、これらの幅広い推論スキルを堅牢な方法で教える方法について説明する。
  論文  参考訳（メタデータ） (2022-05-25T05:13:21Z)
• How much pretraining data do language models need to learn syntax? [12.668478784932878]
  トランスフォーマーに基づく事前訓練型言語モデルは、多くのよく知られたNLUベンチマークにおいて優れた結果を得る。 本稿では,RoBERTaを用いたモデル知識に対する事前学習データサイズの影響について検討する。
  論文  参考訳（メタデータ） (2021-09-07T15:51:39Z)
• Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little [74.49773960145681]
  マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。 本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。 以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
  論文  参考訳（メタデータ） (2021-04-14T06:30:36Z)
• Few-shot learning through contextual data augmentation [74.20290390065475]
  機械翻訳モデルは、時間とともに性能を維持するために新しいデータに適応する必要がある。 一つの例から5つの例への適応が可能であることを示す。 本モデルでは,平均313個の並列例でトレーニングした基準システムよりも精度がよいことを示す。
  論文  参考訳（メタデータ） (2021-03-31T09:05:43Z)
• When Can Models Learn From Explanations? A Formal Framework for Understanding the Roles of Explanation Data [84.87772675171412]
  個々のデータポイントの説明がモデリング性能を向上させる状況について検討する。 e-SNLI、TACRED、SemEvalの3つの既存のデータセットを使って説明します。
  論文  参考訳（メタデータ） (2021-02-03T18:57:08Z)
• Improving Commonsense Causal Reasoning by Adversarial Training and Data Augmentation [14.92157586545743]
  本稿では,因果推論の領域において,モデルをより堅牢にするための多くの手法を提案する。 少数の追加生成データポイントがなくても、パフォーマンスと両方のデータセットの統計的に有意な改善を示します。
  論文  参考訳（メタデータ） (2021-01-13T09:55:29Z)
• Injecting Numerical Reasoning Skills into Language Models [41.78745615537762]
  数値推論のような高いレベルの推論スキルは、言語モデリングの目的のみから学ぶことが難しい。 数値推論が自動データ生成に有効であることを示し、この技術を予め訓練されたLMに注入できることを示す。 我々は、我々のモデルであるGenBERTがDROP(49.3$rightarrow$ 72.3 F1)の性能を劇的に改善し、同等の大きさの最先端モデルに匹敵する性能に達することを示す。
  論文  参考訳（メタデータ） (2020-04-09T11:14:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。