論文の概要: ReasonBERT: Pre-trained to Reason with Distant Supervision

• arxiv url: http://arxiv.org/abs/2109.04912v1
• Date: Fri, 10 Sep 2021 14:49:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-13 13:46:56.024212
• Title: ReasonBERT: Pre-trained to Reason with Distant Supervision
• Title（参考訳）: ReasonBERT: ReasonとDistant Supervisionで事前トレーニング
• Authors: Xiang Deng, Yu Su, Alyssa Lees, You Wu, Cong Yu, Huan Sun
• Abstract要約: ReasonBertは、言語モデルを拡張し、長距離関係や複数の、おそらくはハイブリッドなコンテキストを推論する能力を持つ事前学習手法である。 様々な種類の推論がシミュレートされ、複数の証拠を交わし、ある証拠から別の証拠に橋渡しし、解決不可能な事例を検出する。
• 参考スコア（独自算出の注目度）: 17.962648165675684
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present ReasonBert, a pre-training method that augments language models with the ability to reason over long-range relations and multiple, possibly hybrid contexts. Unlike existing pre-training methods that only harvest learning signals from local contexts of naturally occurring texts, we propose a generalized notion of distant supervision to automatically connect multiple pieces of text and tables to create pre-training examples that require long-range reasoning. Different types of reasoning are simulated, including intersecting multiple pieces of evidence, bridging from one piece of evidence to another, and detecting unanswerable cases. We conduct a comprehensive evaluation on a variety of extractive question answering datasets ranging from single-hop to multi-hop and from text-only to table-only to hybrid that require various reasoning capabilities and show that ReasonBert achieves remarkable improvement over an array of strong baselines. Few-shot experiments further demonstrate that our pre-training method substantially improves sample efficiency.
• Abstract（参考訳）: ReasonBertは、言語モデルを拡張し、長距離関係や複数の、おそらくはハイブリッドなコンテキストを推論する能力を持つ事前学習手法である。 自然発生テキストの局所的文脈からのみ学習信号を抽出する既存の事前学習方法とは違って,複数のテキストやテーブルを自動的に接続し,長距離推論を必要とする事前学習例を作成するための遠隔監視の概念を提案する。 様々な種類の推論がシミュレートされ、複数の証拠を交わし、ある証拠から別の証拠に橋渡しし、解決不可能な事例を検出する。 我々は,単一ホップからマルチホップ,テキストのみからテーブルのみ,ハイブリッドまで,さまざまな推論能力を必要とする様々な質問応答データセットを総合的に評価し,ReasonBertが強力なベースラインの配列に対して顕著な改善を達成していることを示す。 さらに, プレトレーニング法が試料効率を大幅に向上することを示す実験は少ない。

関連論文リスト

• Pre-training Multi-party Dialogue Models with Latent Discourse Inference [85.9683181507206]
  我々は、多人数対話の会話構造、すなわち、各発話が応答する相手を理解するモデルを事前訓練する。 ラベル付きデータを完全に活用するために,談話構造を潜在変数として扱い,それらを共同で推論し,談話認識モデルを事前学習することを提案する。
  論文  参考訳（メタデータ） (2023-05-24T14:06:27Z)
• HOP, UNION, GENERATE: Explainable Multi-hop Reasoning without Rationale Supervision [118.0818807474809]
  本研究は、合理的な監督なしに説明可能なマルチホップQAシステムを訓練するための原則的確率論的アプローチを提案する。 提案手法は,集合としての有理を明示的にモデル化し,文書と文間の相互作用を文書内で捉えることによって,マルチホップ推論を行う。
  論文  参考訳（メタデータ） (2023-05-23T16:53:49Z)
• Consistent Multi-Granular Rationale Extraction for Explainable Multi-hop Fact Verification [13.72453491358488]
  本稿では,マルチホップ事実検証のための一貫性と忠実度を考慮した多粒性論理的抽出の実現可能性について検討する。 特に、事前訓練された妥当性予測モデルにより、トークンレベル説明器と文レベル説明器を同時に訓練し、多粒性論理式を得る。 3つのマルチホップ事実検証データセットの実験結果から,提案手法は最先端のベースラインよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-16T12:31:53Z)
• Stabilized In-Context Learning with Pre-trained Language Models for Few Shot Dialogue State Tracking [57.92608483099916]
  大規模事前学習言語モデル(PLM)は、多くのNLPタスクにまたがる優れた性能を示している。 対話状態追跡(DST)のようなより複雑なタスクでは、望ましい意図を確実に伝達するプロンプトを設計するのは簡単ではない。 対話文の長さを制限するためのサリエンシモデルを導入し、クエリ毎に多くの例を含めることができます。
  論文  参考訳（メタデータ） (2023-02-12T15:05:10Z)
• Momentum Contrastive Pre-training for Question Answering [54.57078061878619]
  MCROSSはモーメントコントラスト学習フレームワークを導入し、クローゼのような解答確率と自然な問合せのサンプルペアを一致させる。 本手法は,教師付きシナリオとゼロショットシナリオの両方において,すべてのベースラインと比較して顕著な改善を実現している。
  論文  参考訳（メタデータ） (2022-12-12T08:28:22Z)
• Reasoning Circuits: Few-shot Multihop Question Generation with Structured Rationales [11.068901022944015]
  連鎖論理生成は多段階推論タスクの性能を向上させることが示されている。 極めて低い監督体制下でのマルチホップ質問生成にチェーン・オブ・インスパイアされた構造的合理的生成を適用するための新しい枠組みを導入する。
  論文  参考訳（メタデータ） (2022-11-15T19:36:06Z)
• Interlock-Free Multi-Aspect Rationalization for Text Classification [33.33452117387646]
  マルチアスペクト設定におけるインターロック問題に対処することを示す。 自己監督型コントラスト損失を付加した多段階学習手法を提案する。 ビールレビューデータセットにおける実験結果から,本手法は合理化性能を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2022-05-13T16:38:38Z)
• Towards Robust Online Dialogue Response Generation [62.99904593650087]
  これは、トレーニングと実世界のテストの相違によって引き起こされる可能性がある、と私たちは主張する。 本稿では, 発話レベルサンプリングと半発話レベルサンプリングの両方からなる階層的サンプリング手法を提案する。
  論文  参考訳（メタデータ） (2022-03-07T06:51:41Z)
• Self-training with Few-shot Rationalization: Teacher Explanations Aid Student in Few-shot NLU [88.8401599172922]
  タスク固有のラベルと合理的性に制限された自己学習言語モデルに基づくフレームワークを開発する。 ニューラルネットワークの性能は,その合理的な予測を意識することで,大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2021-09-17T00:36:46Z)
• Case-Based Abductive Natural Language Inference [4.726777092009554]
  事例ベース帰納的自然言語推論(CB-ANLI) 事例ベース帰納的自然言語推論(CB-ANLI)
  論文  参考訳（メタデータ） (2020-09-30T09:50:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。