論文の概要: Logic-Guided Data Augmentation and Regularization for Consistent Question Answering

• arxiv url: http://arxiv.org/abs/2004.10157v2
• Date: Mon, 25 May 2020 17:53:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-12-11 06:56:41.624878
• Title: Logic-Guided Data Augmentation and Regularization for Consistent Question Answering
• Title（参考訳）: 一貫した質問応答のための論理誘導データ拡張と正規化
• Authors: Akari Asai, Hannaneh Hajishirzi
• Abstract要約: 本稿では,比較質問に対する応答の精度と整合性を改善する問題に対処する。 提案手法は論理的および言語的知識を利用してラベル付きトレーニングデータを増強し,一貫性に基づく正規化器を用いてモデルを訓練する。
• 参考スコア（独自算出の注目度）: 55.05667583529711
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many natural language questions require qualitative, quantitative or logical comparisons between two entities or events. This paper addresses the problem of improving the accuracy and consistency of responses to comparison questions by integrating logic rules and neural models. Our method leverages logical and linguistic knowledge to augment labeled training data and then uses a consistency-based regularizer to train the model. Improving the global consistency of predictions, our approach achieves large improvements over previous methods in a variety of question answering (QA) tasks including multiple-choice qualitative reasoning, cause-effect reasoning, and extractive machine reading comprehension. In particular, our method significantly improves the performance of RoBERTa-based models by 1-5% across datasets. We advance the state of the art by around 5-8% on WIQA and QuaRel and reduce consistency violations by 58% on HotpotQA. We further demonstrate that our approach can learn effectively from limited data.
• Abstract（参考訳）: 多くの自然言語の質問は2つの実体や事象の質的、定量的、論理的比較を必要とする。 本稿では、論理規則とニューラルモデルを統合することにより、比較問題に対する応答の精度と整合性を改善する問題に対処する。 提案手法は論理的および言語的知識を利用してラベル付きトレーニングデータを増強し,一貫性に基づく正規化器を用いてモデルを訓練する。 予測のグローバルな整合性を改善するため,複数選択質的推論,原因影響推論,抽出機械読解など,様々な質問応答(QA)タスクにおいて,従来の手法よりも大幅に改善されている。 特に,本手法は,データセット間のRoBERTaモデルの性能を1～5%向上させる。 WIQAとQuaRelでは5～8%,HotpotQAでは58%,整合性違反では58%程度であった。 さらに、限られたデータから効果的に学習できることを実証する。

関連論文リスト

• UniOQA: A Unified Framework for Knowledge Graph Question Answering with Large Language Models [4.627548680442906]
  OwnThinkは、近年導入された中国の最も広範なオープンドメイン知識グラフである。 質問応答のための2つの並列アプローチを統合する統合フレームワークであるUniOQAを紹介する。 UniOQAは特にSpCQL Logical Accuracyを21.2%に、Execution Accuracyを54.9%に向上させ、このベンチマークで新たな最先端結果を達成した。
  論文  参考訳（メタデータ） (2024-06-04T08:36:39Z)
• Masked Thought: Simply Masking Partial Reasoning Steps Can Improve Mathematical Reasoning Learning of Language Models [102.72940700598055]
  推論タスクでは、小さなエラーでも不正確な結果にカスケードすることができる。 入力の摂動に頼らず、外部リソースの導入を避ける手法を開発した。 私たちのトレーニングアプローチでは、思考の連鎖の中で特定のトークンをランダムにマスクします。
  論文  参考訳（メタデータ） (2024-03-04T16:21:54Z)
• Are LLMs Capable of Data-based Statistical and Causal Reasoning? Benchmarking Advanced Quantitative Reasoning with Data [89.2410799619405]
  実世界のデータを用いた統計的および因果推論において,大規模言語モデルの能力を評価するために,データベンチマークを用いた定量的推論を導入する。 このベンチマークは、教科書、オンライン学習教材、学術論文のデータシートを伴う411の質問のデータセットで構成されている。 データとテキストに対するモデルの量的推論能力を比較するために、ベンチマークを290のテキストのみの質問、すなわちQRTextで強化する。
  論文  参考訳（メタデータ） (2024-02-27T16:15:03Z)
• Enhancing Textbook Question Answering Task with Large Language Models and Retrieval Augmented Generation [3.948068081583197]
  本稿では,テキスト質問応答(TQA)における領域外シナリオを扱う手法を提案する。 LLMモデルLlama-2の微調整とRAGの導入により、我々のアーキテクチャはベースラインよりも優れ、検証セットでは4.12%、非ダイアグラム多重選択質問では9.84%の精度向上を実現している。
  論文  参考訳（メタデータ） (2024-02-05T11:58:56Z)
• Information Association for Language Model Updating by Mitigating LM-Logical Discrepancy [68.31760483418901]
  大規模言語モデル(LLM)は、時代遅れの事前学習データのために現在の情報を提供するのに苦労する。 知識編集や連続的な微調整など,従来のLCMの更新方法は,新たな情報の一般化に重大な欠点がある。 これらの欠点の中核となる課題は,言語モデリングの確率と論理的確率の差を特徴とするLM論理的相違である。
  論文  参考訳（メタデータ） (2023-05-29T19:48:37Z)
• A quantitative study of NLP approaches to question difficulty estimation [0.30458514384586394]
  この研究は、以前の研究で提案されたいくつかのアプローチを定量的に分析し、異なる教育領域のデータセットのパフォーマンスを比較した。 私たちは、Transformerベースのモデルが様々な教育領域で最高のパフォーマンスを示しており、DistilBERTはBERTとほぼ同等に機能していることに気付きました。 他のモデルでは、ハイブリットは単一のタイプの特徴に基づくものよりも優れており、言語的特徴に基づくものは理解された質問を読み取るのに優れ、周波数ベースの特徴(TF-IDF)と単語埋め込み(word2vec)はドメイン知識の評価において優れている。
  論文  参考訳（メタデータ） (2023-05-17T14:26:00Z)
• T-SciQ: Teaching Multimodal Chain-of-Thought Reasoning via Mixed Large Language Model Signals for Science Question Answering [59.63860993280275]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。 LLM信号を用いた科学質問応答の指導を目的とした,T-SciQと呼ばれる新しい手法を提案する。 提案手法は,ScienceQAベンチマークで96.18%の精度で,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-05-05T11:56:30Z)
• Zero-shot Commonsense Question Answering with Cloze Translation and Consistency Optimization [20.14487209460865]
  自然質問をクローズスタイルの文に翻訳できる4つの翻訳手法について検討する。 提案手法は知識ベース改良モデルと相補的なデータセットであり,それらを組み合わせることで,最先端のゼロショット性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-01-01T07:12:49Z)
• ActKnow: Active External Knowledge Infusion Learning for Question Answering in Low Data Regime [7.562843347215286]
  知識グラフ(KG)をベースとした「オンデマンド」から質問回答(QA)の学習に積極的に知識を注入する手法を提案する。 我々は、低データ構造におけるRoBERTaのような純粋テキストベースのトランスフォーマーモデルに対して、ARC Challenge-setベンチマークを著しく改善したことを示す。
  論文  参考訳（メタデータ） (2021-12-17T10:39:41Z)
• Learning to Perturb Word Embeddings for Out-of-distribution QA [55.103586220757464]
  本論文では,入力問題と文脈の単語埋め込みを意味論を変化させることなく学習するノイズ発生器に基づく簡便かつ効果的なDA法を提案する。 ひとつのソースデータセットに,5つの異なるターゲットドメインに埋め込むことで,トレーニングされたQAモデルのパフォーマンスを検証する。 特に、私たちのトレーニングを受けたモデルは、240K以上の人工的なQAペアでトレーニングされたモデルよりも優れています。
  論文  参考訳（メタデータ） (2021-05-06T14:12:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。