論文の概要: Bridging Subword Gaps in Pretrain-Finetune Paradigm for Natural Language
Generation
- arxiv url: http://arxiv.org/abs/2106.06125v1
- Date: Fri, 11 Jun 2021 02:16:13 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-14 14:18:42.920169
- Title: Bridging Subword Gaps in Pretrain-Finetune Paradigm for Natural Language
Generation
- Title(参考訳): 自然言語生成のためのプレトレイン・フィネチューンパラダイムにおけるブリッジングサブワードギャップ
- Authors: Xin Liu, Baosong Yang, Dayiheng Liu, Haibo Zhang, Weihua Luo, Min
Zhang, Haiying Zhang, Jinsong Su
- Abstract要約: プレトレイン・ファインチューン・パラダイムの制限は、1つの大きさの全ての語彙によって引き起こされるその柔軟性にある。
我々は,バニラ・プレトレイン・ファネチューンパイプラインを,追加の埋め込み転送ステップで拡張する。
プレトレイン-ファインチューン方式で様々なNLGタスクを実験する。
- 参考スコア(独自算出の注目度): 43.74565940808031
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A well-known limitation in pretrain-finetune paradigm lies in its
inflexibility caused by the one-size-fits-all vocabulary. This potentially
weakens the effect when applying pretrained models into natural language
generation (NLG) tasks, especially for the subword distributions between
upstream and downstream tasks with significant discrepancy. Towards approaching
this problem, we extend the vanilla pretrain-finetune pipeline with an extra
embedding transfer step. Specifically, a plug-and-play embedding generator is
introduced to produce the representation of any input token, according to
pre-trained embeddings of its morphologically similar ones. Thus, embeddings of
mismatch tokens in downstream tasks can also be efficiently initialized. We
conduct experiments on a variety of NLG tasks under the pretrain-finetune
fashion. Experimental results and extensive analyses show that the proposed
strategy offers us opportunities to feel free to transfer the vocabulary,
leading to more efficient and better performed downstream NLG models.
- Abstract(参考訳): プリトレイン・フィニチューンパラダイムにおけるよく知られた制限は、その柔軟性が1つのサイズに適合する語彙によって引き起こされることである。
これは、自然言語生成(nlg)タスクに事前訓練されたモデルを適用する場合、特に上流タスクと下流タスクの間のサブワード分布が著しく異なる場合、効果を弱める可能性がある。
この問題にアプローチするために,バニラプリトレイン-フィニチューンパイプラインを余分な埋め込み転送ステップで拡張する。
具体的には、任意の入力トークンの表現を生成するためのプラグアンドプレイ埋め込みジェネレータを導入する。
したがって、下流タスクへのミスマッチトークンの埋め込みも効率的に初期化できる。
プレトレイン-ファインチューン方式で様々なNLGタスクを実験する。
実験結果と広範な分析結果から,提案手法は語彙の移動を自由に感じられる機会を与え,より効率よく,より優れた下流NLGモデルを実現することが示唆された。
関連論文リスト
- Diffusion Forcing: Next-token Prediction Meets Full-Sequence Diffusion [61.03681839276652]
拡散強制(Diffusion Forcing)は、拡散モデルをトレーニングし、トークンの集合に独立した音レベルを付与する、新たなトレーニングパラダイムである。
因果的次トーケン予測モデルを訓練して1つまたは複数の未来のトークンを生成することで、シーケンス生成モデルに拡散強制を適用する。
論文 参考訳(メタデータ) (2024-07-01T15:43:25Z) - Language Rectified Flow: Advancing Diffusion Language Generation with Probabilistic Flows [53.31856123113228]
本稿では,言語認識フロー (ours) を提案する。
本手法は, 標準確率流モデルの再構成に基づく。
実験およびアブレーション実験により,本手法は多くのNLPタスクに対して汎用的,効果的,有益であることが示されている。
論文 参考訳(メタデータ) (2024-03-25T17:58:22Z) - Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。
GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
論文 参考訳(メタデータ) (2023-12-19T06:06:30Z) - ULTRA-DP: Unifying Graph Pre-training with Multi-task Graph Dual Prompt [67.8934749027315]
本稿では,タスク識別と位置識別をGNNに注入する,グラフハイブリッド事前学習のための統合フレームワークを提案する。
また,約$k$-nearest隣人のグループに基づいた,新しい事前学習パラダイムを提案する。
論文 参考訳(メタデータ) (2023-10-23T12:11:13Z) - Instruction Position Matters in Sequence Generation with Large Language
Models [67.87516654892343]
大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。
入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
論文 参考訳(メタデータ) (2023-08-23T12:36:57Z) - The Inductive Bias of In-Context Learning: Rethinking Pretraining
Example Design [34.900425311720795]
事前学習したNLMは、同じトレーニング例に現れるテキストセグメント間の依存関係を、異なるトレーニング例に現れるテキストセグメント間の依存性よりも強くモデル化できることを示す。
我々は「kNN-Pretraining」を提案する:同じ事前学習例に意味論的に関連のない非隣接文を含めると、文表現の改善とオープンドメイン質問応答能力が得られることを示す。
論文 参考訳(メタデータ) (2021-10-09T11:05:16Z) - Rethinking embedding coupling in pre-trained language models [46.11201932668366]
我々は、事前学習された言語モデルにおける入力と出力の埋め込みの重みを共有する標準的な方法を再評価する。
分離された埋め込みによりモデリングの柔軟性が向上し、パラメータ割り当ての効率が大幅に向上することを示す。
我々は、微調整段階においてパラメータの数を増やすことなく、XTREMEベンチマークで高い性能を達成するモデルを訓練することができる。
論文 参考訳(メタデータ) (2020-10-24T07:43:00Z) - Syntactic Data Augmentation Increases Robustness to Inference Heuristics [27.513414694720716]
BERTのような事前訓練されたニューラルネットワークモデルは、標準データセットに対して高い精度を示すが、制御されたチャレンジセットに対する単語順序に対する感度の驚くべき欠如がある。
我々は,MNLIコーパスからの文に構文変換を適用して生成した構文的情報的例を用いて,標準学習セットを増強するいくつかの手法について検討する。
MNLIテストセットの性能に影響を与えることなく、単語の順序に対する感度を0.28から0.73に診断する制御例におけるBERTの精度を改善した。
論文 参考訳(メタデータ) (2020-04-24T21:35:26Z) - ERNIE-GEN: An Enhanced Multi-Flow Pre-training and Fine-tuning Framework
for Natural Language Generation [44.21363470798758]
ERNIE-GENは、シーケンス事前トレーニングと微調整のための拡張されたマルチフローシーケンスである。
学習と推論の相違を、補充生成機構とノイズ認識生成方式で橋渡しする。
単語単位で予測するのではなく、意味論的に完全であるスパンを連続的に予測するようにモデルを訓練する。
論文 参考訳(メタデータ) (2020-01-26T02:54:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。