論文の概要: From Cloze to Comprehension: Retrofitting Pre-trained Masked Language Model to Pre-trained Machine Reader

• arxiv url: http://arxiv.org/abs/2212.04755v3
• Date: Mon, 16 Oct 2023 05:45:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-18 06:29:56.421830
• Title: From Cloze to Comprehension: Retrofitting Pre-trained Masked Language Model to Pre-trained Machine Reader
• Title（参考訳）: ClozeからComprehensionへ:事前学習されたマスク言語モデルから事前学習された機械読取機へ
• Authors: Weiwen Xu, Xin Li, Wenxuan Zhang, Meng Zhou, Wai Lam, Luo Si, Lidong Bing
• Abstract要約: Pre-trained Machine Reader (PMR) は、ラベル付きデータを取得することなく、MLMを事前学習機械読解(MRC)モデルに適合させる新しい手法である。 提案したPMRを構築するために,多量の汎用および高品質なMRCスタイルのトレーニングデータを構築した。 PMRは、MRCの定式化における様々な抽出および分類タスクに対処するための統一モデルとして機能する可能性がある。
• 参考スコア（独自算出の注目度）: 130.45769668885487
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present Pre-trained Machine Reader (PMR), a novel method for retrofitting pre-trained masked language models (MLMs) to pre-trained machine reading comprehension (MRC) models without acquiring labeled data. PMR can resolve the discrepancy between model pre-training and downstream fine-tuning of existing MLMs. To build the proposed PMR, we constructed a large volume of general-purpose and high-quality MRC-style training data by using Wikipedia hyperlinks and designed a Wiki Anchor Extraction task to guide the MRC-style pre-training. Apart from its simplicity, PMR effectively solves extraction tasks, such as Extractive Question Answering and Named Entity Recognition. PMR shows tremendous improvements over existing approaches, especially in low-resource scenarios. When applied to the sequence classification task in the MRC formulation, PMR enables the extraction of high-quality rationales to explain the classification process, thereby providing greater prediction explainability. PMR also has the potential to serve as a unified model for tackling various extraction and classification tasks in the MRC formulation.
• Abstract（参考訳）: ラベル付きデータを取得することなく、事前学習された機械読解(MRC)モデルにMLM(pre-trained masked language model)を適合させる新しい手法であるPMRを提案する。 PMRは、既存のMLMのモデル事前学習と下流微調整の相違を解決することができる。 提案したPMRを構築するために,ウィキペディアハイパーリンクを用いて多量の汎用的で高品質なMRCスタイルのトレーニングデータを構築し,MRCスタイルの事前学習をガイドするWikiアンカー抽出タスクを設計した。 その単純さとは別に、PMRは抽出質問回答や名前付きエンティティ認識などの抽出タスクを効果的に解決する。 PMRは、特に低リソースのシナリオにおいて、既存のアプローチよりも大幅に改善されている。 MRC定式化におけるシーケンス分類タスクに適用すると、PMRは高品質な有理数の抽出を可能とし、分類過程を説明し、予測説明可能性を高める。 PMRはまた、MRCの定式化において様々な抽出および分類タスクに取り組む統一モデルとして機能する可能性がある。

関連論文リスト

• Multi-Granularity Semantic Revision for Large Language Model Distillation [66.03746866578274]
  LLM蒸留における多粒性セマンティックリビジョン法を提案する。 シーケンスレベルでは、シーケンス修正と再生戦略を提案する。 トークンレベルでは、蒸留目的関数として、Kulback-Leibler損失を補正する分布適応クリッピングを設計する。 スパンレベルでは、シーケンスのスパン前処理を利用して、スパン内の確率相関を計算し、教師と学生の確率相関を一貫性に制約する。
  論文  参考訳（メタデータ） (2024-07-14T03:51:49Z)
• MetaRM: Shifted Distributions Alignment via Meta-Learning [52.94381279744458]
  言語モデルアライメントにおけるヒューマンフィードバック(RLHF)からの強化学習は、報酬モデル(RM)の能力に依存している メタラーニングを利用したメタRMを導入し,その環境分布とRMを整合させる手法を提案する。 大規模な実験により、MetaRMは反復RLHF最適化におけるRMの識別能力を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2024-05-01T10:43:55Z)
• Generating Query Focused Summaries without Fine-tuning the Transformer-based Pre-trained Models [0.6124773188525718]
  新しいデータセットごとに自然言語処理(NLP)モデルを微調整するには、炭素フットプリントの増加とコストの増大に伴う高い計算時間が必要である。 本稿では,MMR(Marginal Maximum Relevance)に基づくアプローチが,事前学習に使用しなかった新しいデータセットから直接,クエリ中心の要約を得る上で有効かどうかを検討する。 実験結果から示すように,MMRに基づく手法では,最も関連性の高い文を要約としてランク付けし,個々の事前学習モデルよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2023-03-10T22:40:15Z)
• Resolving quantitative MRI model degeneracy with machine learning via training data distribution design [2.2086005010186387]
  定量的MRIは、未知量の組織特性を計測されたMRI信号に関連付けるモデルを介して、非侵襲的に組織特性をマッピングすることを目的としている。 従来モデルフィッティングを必要としていたこれらの未知を推定することは、ワンショット機械学習(ML)アプローチで行えるようになった。 経験的証拠の増大は、MLアプローチがモデル縮退の影響を受けやすいことを示唆しているようである。
  論文  参考訳（メタデータ） (2023-03-09T18:10:45Z)
• Hierarchies of Reward Machines [75.55324974788475]
  リワードマシン(Reward Machine, RM)は、有限状態機械による強化学習タスクの報酬関数を表現するための最近の形式である。 本稿では,RMを他のRMを呼ばせることによって,サブタスク構造をさらに抽象化する形式的手法を提案する。
  論文  参考訳（メタデータ） (2022-05-31T12:39:24Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Why Do Pretrained Language Models Help in Downstream Tasks? An Analysis of Head and Prompt Tuning [66.44344616836158]
  本稿では,事前学習タスクと下流タスクをテキストの潜在変数生成モデルに関連付ける分析フレームワークを提案する。 HMMの特定の非退化条件下では、単純な分類ヘッドがダウンストリームタスクを解くことができ、また、迅速なチューニングにより、より弱い非退化条件で下流の保証を得ることができ、さらに、メモリ拡張HMMの回復保証がバニラHMMよりも強いことを示す。
  論文  参考訳（メタデータ） (2021-06-17T03:31:47Z)
• REPT: Bridging Language Models and Machine Reading Comprehensionvia Retrieval-Based Pre-training [45.21249008835556]
  一般PLMとMRCのギャップを埋めるRetrieval-based Pre-TrainingアプローチであるREPTを提案する。 特に,事前学習中のエビデンス抽出を強化するために,二つの自己監督タスクを導入する。 我々のアプローチは、明示的な監督なしに証拠抽出能力を高めることができる。
  論文  参考訳（メタデータ） (2021-05-10T08:54:46Z)
• Improving AMR Parsing with Sequence-to-Sequence Pre-training [39.33133978535497]
  本稿では,Sequence-to-Sequence (seq2seq) AMR解析に焦点を当てる。 単体および関節の両方で事前学習モデルを構築するために,Seq2seq事前学習手法を提案する。 実験の結果,シングルモデルとジョイントモデルの両方で性能が有意に向上した。
  論文  参考訳（メタデータ） (2020-10-05T04:32:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。