論文の概要: From Clozing to Comprehending: Retrofitting Pre-trained Language Model to Pre-trained Machine Reader

• arxiv url: http://arxiv.org/abs/2212.04755v1
• Date: Fri, 9 Dec 2022 10:21:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-12 14:54:54.384228
• Title: From Clozing to Comprehending: Retrofitting Pre-trained Language Model to Pre-trained Machine Reader
• Title（参考訳）: clozingからcomprehendingへ - トレーニング済み言語モデルからトレーニング済みマシンリーダへ
• Authors: Weiwen Xu, Xin Li, Wenxuan Zhang, Meng Zhou, Lidong Bing, Wai Lam, Luo Si
• Abstract要約: Pre-trained Machine Reader (PMR)は、ラベル付きデータを取得することなく、プレトレーニング言語モデル(PLM)をMachine Reading(MRC)モデルに適合させる新しい手法である。 PMRは、モデル事前学習と既存のPLMの下流微調整の相違を解消することができる。
• 参考スコア（独自算出の注目度）: 76.28486405459766
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present Pre-trained Machine Reader (PMR), a novel method to retrofit Pre-trained Language Models (PLMs) into Machine Reading Comprehension (MRC) models without acquiring labeled data. PMR is capable of resolving the discrepancy between model pre-training and downstream fine-tuning of existing PLMs, and provides a unified solver for tackling various extraction tasks. To achieve this, we construct a large volume of general-purpose and high-quality MRC-style training data with the help of Wikipedia hyperlinks and design a Wiki Anchor Extraction task to guide the MRC-style pre-training process. Although conceptually simple, PMR is particularly effective in solving extraction tasks including Extractive Question Answering and Named Entity Recognition, where it shows tremendous improvements over previous approaches especially under low-resource settings. Moreover, viewing sequence classification task as a special case of extraction task in our MRC formulation, PMR is even capable to extract high-quality rationales to explain the classification process, providing more explainability of the predictions.
• Abstract（参考訳）: ラベル付きデータを取得せずに,事前学習言語モデル(PLM)を機械読解(MRC)モデルに適合させる新しい手法である事前学習機械読取(PMR)を提案する。 PMRは、既存のPLMのモデル事前学習と下流微調整の相違を解消することができ、様々な抽出タスクに対処するための統一的な解決器を提供する。 そこで我々は,ウィキペディアハイパーリンクの助けを借りて,多量の汎用的かつ高品質なMRCスタイルのトレーニングデータを構築し,MRCスタイルの事前学習プロセスをガイドするWikiアンカー抽出タスクを設計する。 概念的には単純ではあるが、PMRは抽出質問回答や名前付きエンティティ認識などのタスクの抽出に特に有効であり、特に低リソース設定下では、従来のアプローチよりも大幅に改善されている。 さらに, MRC定式化における抽出課題の特別事例として, PMRは, 分類過程を説明するために, 高品質な論理式を抽出し, 予測可能性を高めることができる。

関連論文リスト

• Multi-Granularity Semantic Revision for Large Language Model Distillation [66.03746866578274]
  LLM蒸留における多粒性セマンティックリビジョン法を提案する。 シーケンスレベルでは、シーケンス修正と再生戦略を提案する。 トークンレベルでは、蒸留目的関数として、Kulback-Leibler損失を補正する分布適応クリッピングを設計する。 スパンレベルでは、シーケンスのスパン前処理を利用して、スパン内の確率相関を計算し、教師と学生の確率相関を一貫性に制約する。
  論文  参考訳（メタデータ） (2024-07-14T03:51:49Z)
• MetaRM: Shifted Distributions Alignment via Meta-Learning [52.94381279744458]
  言語モデルアライメントにおけるヒューマンフィードバック(RLHF)からの強化学習は、報酬モデル(RM)の能力に依存している メタラーニングを利用したメタRMを導入し,その環境分布とRMを整合させる手法を提案する。 大規模な実験により、MetaRMは反復RLHF最適化におけるRMの識別能力を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2024-05-01T10:43:55Z)
• Generating Query Focused Summaries without Fine-tuning the Transformer-based Pre-trained Models [0.6124773188525718]
  新しいデータセットごとに自然言語処理(NLP)モデルを微調整するには、炭素フットプリントの増加とコストの増大に伴う高い計算時間が必要である。 本稿では,MMR(Marginal Maximum Relevance)に基づくアプローチが,事前学習に使用しなかった新しいデータセットから直接,クエリ中心の要約を得る上で有効かどうかを検討する。 実験結果から示すように,MMRに基づく手法では,最も関連性の高い文を要約としてランク付けし,個々の事前学習モデルよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2023-03-10T22:40:15Z)
• Resolving quantitative MRI model degeneracy with machine learning via training data distribution design [2.2086005010186387]
  定量的MRIは、未知量の組織特性を計測されたMRI信号に関連付けるモデルを介して、非侵襲的に組織特性をマッピングすることを目的としている。 従来モデルフィッティングを必要としていたこれらの未知を推定することは、ワンショット機械学習(ML)アプローチで行えるようになった。 経験的証拠の増大は、MLアプローチがモデル縮退の影響を受けやすいことを示唆しているようである。
  論文  参考訳（メタデータ） (2023-03-09T18:10:45Z)
• Hierarchies of Reward Machines [75.55324974788475]
  リワードマシン(Reward Machine, RM)は、有限状態機械による強化学習タスクの報酬関数を表現するための最近の形式である。 本稿では,RMを他のRMを呼ばせることによって,サブタスク構造をさらに抽象化する形式的手法を提案する。
  論文  参考訳（メタデータ） (2022-05-31T12:39:24Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Why Do Pretrained Language Models Help in Downstream Tasks? An Analysis of Head and Prompt Tuning [66.44344616836158]
  本稿では,事前学習タスクと下流タスクをテキストの潜在変数生成モデルに関連付ける分析フレームワークを提案する。 HMMの特定の非退化条件下では、単純な分類ヘッドがダウンストリームタスクを解くことができ、また、迅速なチューニングにより、より弱い非退化条件で下流の保証を得ることができ、さらに、メモリ拡張HMMの回復保証がバニラHMMよりも強いことを示す。
  論文  参考訳（メタデータ） (2021-06-17T03:31:47Z)
• REPT: Bridging Language Models and Machine Reading Comprehensionvia Retrieval-Based Pre-training [45.21249008835556]
  一般PLMとMRCのギャップを埋めるRetrieval-based Pre-TrainingアプローチであるREPTを提案する。 特に,事前学習中のエビデンス抽出を強化するために,二つの自己監督タスクを導入する。 我々のアプローチは、明示的な監督なしに証拠抽出能力を高めることができる。
  論文  参考訳（メタデータ） (2021-05-10T08:54:46Z)
• Improving AMR Parsing with Sequence-to-Sequence Pre-training [39.33133978535497]
  本稿では,Sequence-to-Sequence (seq2seq) AMR解析に焦点を当てる。 単体および関節の両方で事前学習モデルを構築するために,Seq2seq事前学習手法を提案する。 実験の結果,シングルモデルとジョイントモデルの両方で性能が有意に向上した。
  論文  参考訳（メタデータ） (2020-10-05T04:32:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。