論文の概要: REPT: Bridging Language Models and Machine Reading Comprehensionvia
Retrieval-Based Pre-training
- arxiv url: http://arxiv.org/abs/2105.04201v1
- Date: Mon, 10 May 2021 08:54:46 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-11 15:02:27.936831
- Title: REPT: Bridging Language Models and Machine Reading Comprehensionvia
Retrieval-Based Pre-training
- Title(参考訳): REPT:ブリッジ言語モデルと検索に基づく事前学習による機械読解
- Authors: Fangkai Jiao, Yangyang Guo, Yilin Niu, Feng Ji, Feng-Lin Li, Liqiang
Nie
- Abstract要約: 一般PLMとMRCのギャップを埋めるRetrieval-based Pre-TrainingアプローチであるREPTを提案する。
特に,事前学習中のエビデンス抽出を強化するために,二つの自己監督タスクを導入する。
我々のアプローチは、明示的な監督なしに証拠抽出能力を高めることができる。
- 参考スコア(独自算出の注目度): 45.21249008835556
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pre-trained Language Models (PLMs) have achieved great success on Machine
Reading Comprehension (MRC) over the past few years. Although the general
language representation learned from large-scale corpora does benefit MRC, the
poor support in evidence extraction which requires reasoning across multiple
sentences hinders PLMs from further advancing MRC. To bridge the gap between
general PLMs and MRC, we present REPT, a REtrieval-based Pre-Training approach.
In particular, we introduce two self-supervised tasks to strengthen evidence
extraction during pre-training, which is further inherited by downstream MRC
tasks through the consistent retrieval operation and model architecture. To
evaluate our proposed method, we conduct extensive experiments on five MRC
datasets that require collecting evidence from and reasoning across multiple
sentences. Experimental results demonstrate the effectiveness of our
pre-training approach. Moreover, further analysis shows that our approach is
able to enhance the capacity of evidence extraction without explicit
supervision.
- Abstract(参考訳): プレトレーニング言語モデル(PLM)は、ここ数年でMachine Reading Comprehension(MRC)で大きな成功を収めています。
大規模コーパスから学んだ一般的な言語表現はmrcに利益をもたらすが、複数の文にまたがる推論を必要とする証拠抽出の貧弱なサポートはplmのさらなる進歩を妨げる。
一般PLMとRCのギャップを埋めるため,REPT(retrieval-based pre-Training approach)を提案する。
特に,事前学習中のエビデンス抽出を強化するための2つの自己教師型タスクを導入し,一貫した検索操作とモデルアーキテクチャを通じて下流MCCタスクによってさらに継承される。
提案手法を評価するために,複数の文から証拠の収集と推論を必要とする5つのMRCデータセットについて広範な実験を行った。
実験の結果,前訓練法の有効性が示された。
さらに,本手法は明示的な監督なしに証拠抽出能力を向上させることができることを示す。
関連論文リスト
- Let's Reinforce Step by Step [10.65244642965387]
人間のフィードバックからの強化学習をモデル推論の形式化に活用する。
以上の結果から, PRM法により得られる微粒な報酬は, 単純な数学的推論の精度を高めることが示唆された。
また、モデル性能において、報酬アグリゲーション関数が果たす重要な役割を示す。
論文 参考訳(メタデータ) (2023-11-10T01:35:51Z) - Let's reward step by step: Step-Level reward model as the Navigators for
Reasoning [64.27898739929734]
Process-Supervised Reward Model (PRM)は、トレーニングフェーズ中にステップバイステップのフィードバックをLLMに提供する。
LLMの探索経路を最適化するために,PRMからのステップレベルのフィードバックを応用した欲求探索アルゴリズムを提案する。
提案手法の汎用性を探るため,コーディングタスクのステップレベル報酬データセットを自動生成する手法を開発し,コード生成タスクにおける同様の性能向上を観察する。
論文 参考訳(メタデータ) (2023-10-16T05:21:50Z) - Post Hoc Explanations of Language Models Can Improve Language Models [43.2109029463221]
AMPLIFY(Post Hoc Explanations)を用いたインコンテキスト学習の活用によるモデル性能向上のための新しいフレームワークを提案する。
我々は,各入力特徴がモデル予測に与える影響を抽出し,帰属スコア(説明)を出力するポストホック説明手法を活用する。
AMPLIFYは,幅広いタスクに対して約10~25%の精度向上を実現している。
論文 参考訳(メタデータ) (2023-05-19T04:46:04Z) - From Cloze to Comprehension: Retrofitting Pre-trained Masked Language
Model to Pre-trained Machine Reader [130.45769668885487]
Pre-trained Machine Reader (PMR) は、ラベル付きデータを取得することなく、MLMを事前学習機械読解(MRC)モデルに適合させる新しい手法である。
提案したPMRを構築するために,多量の汎用および高品質なMRCスタイルのトレーニングデータを構築した。
PMRは、MRCの定式化における様々な抽出および分類タスクに対処するための統一モデルとして機能する可能性がある。
論文 参考訳(メタデータ) (2022-12-09T10:21:56Z) - Feeding What You Need by Understanding What You Learned [54.400455868448695]
Machine Reading (MRC)は、与えられたテキストパスを理解し、それに基づいて質問に答える機能を明らかにする。
MRCの既存の研究は、Exact Matchのようなメトリクスによって評価されたパフォーマンスを改善するために、大規模なモデルとコーパスに大きく依存している。
モデル機能とデータ特性の深い理解は、適切なトレーニングデータでモデルをフィードするのに役立ちます。
論文 参考訳(メタデータ) (2022-03-05T14:15:59Z) - Understanding Attention in Machine Reading Comprehension [56.72165932439117]
本稿では,多面的自己意識と最終的なパフォーマンスとの関係を検討するために,一連の分析実験を実施することに焦点を当てる。
SQuAD(英語)とCMRC 2018(中国語)の定量的解析を行い、BERT, ALBERT, ELECTRAの2つのスパン抽出MCCデータセットについて検討した。
本研究は, 問合せ及び問合せに対する注意が最重要であり, 最終結果と強い相関関係を示すものであることを明らかにする。
論文 参考訳(メタデータ) (2021-08-26T04:23:57Z) - Bridging the Gap between Language Model and Reading Comprehension:
Unsupervised MRC via Self-Supervision [34.01738910736325]
教師なし機械読解(MRC)のための新しいフレームワークを提案する。
MRC - Spotting-MLM のための自己スーパービジョン・プレテキスト・タスクを設計し、自己教師付き学習を通じて文書中の回答の範囲を見つけることを学ぶ。
実験の結果,本手法は教師なしMRCの最先端性能を実現することがわかった。
論文 参考訳(メタデータ) (2021-07-19T02:14:36Z) - ExpMRC: Explainability Evaluation for Machine Reading Comprehension [42.483940360860096]
我々は,機械読解システムの説明可能性を評価するためのExpMRCと呼ばれる新しいベンチマークを提案する。
我々は、最先端の事前訓練言語モデルを用いてベースラインシステムを構築し、人間の注釈のないトレーニングセットなしで証拠を抽出するための様々な教師なしアプローチを採用する。
論文 参考訳(メタデータ) (2021-05-10T06:00:20Z) - Masked Language Modeling and the Distributional Hypothesis: Order Word
Matters Pre-training for Little [74.49773960145681]
マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。
本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。
以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
論文 参考訳(メタデータ) (2021-04-14T06:30:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。