論文の概要: Technical Report: Auxiliary Tuning and its Application to Conditional Text Generation

• arxiv url: http://arxiv.org/abs/2006.16823v1
• Date: Tue, 30 Jun 2020 14:00:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 04:19:48.604805
• Title: Technical Report: Auxiliary Tuning and its Application to Conditional Text Generation
• Title（参考訳）: 技術報告:補助調律とその条件付きテキスト生成への応用
• Authors: Yoel Zeldes, Dan Padnos, Or Sharir, and Barak Peleg
• Abstract要約: 本稿では,事前学習した言語モデルを新しいタスクに適用するための,Auxiliary Tuningと呼ばれるシンプルで効率的な手法を提案する。 条件付きテキスト生成の課題に対して,本手法を実証する。
• 参考スコア（独自算出の注目度）: 4.538165276831437
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a simple and efficient method, called Auxiliary Tuning, for adapting a pre-trained Language Model to a novel task; we demonstrate this approach on the task of conditional text generation. Our approach supplements the original pre-trained model with an auxiliary model that shifts the output distribution according to the target task. The auxiliary model is trained by adding its logits to the pre-trained model logits and maximizing the likelihood of the target task output. Our method imposes no constraints on the auxiliary architecture. In particular, the auxiliary model can ingest additional input relevant to the target task, independently from the pre-trained model's input. Furthermore, mixing the models at the logits level provides a natural probabilistic interpretation of the method. Our method achieved similar results to training from scratch for several different tasks, while using significantly fewer resources for training; we share a specific example of text generation conditioned on keywords.
• Abstract（参考訳）: 我々は,事前学習した言語モデルを新しいタスクに適応させる,Auxiliary Tuningと呼ばれるシンプルで効率的な手法を導入し,条件付きテキスト生成のタスクに対して本手法を実証する。 提案手法は,対象タスクに応じて出力分布をシフトする補助モデルを用いて,元の事前学習モデルを補完する。 補助モデルは、事前訓練されたモデルロジットにロジットを追加し、目標タスク出力の可能性を最大化する。 本手法は補助アーキテクチャに制約を課さない。 特に、補助モデルは、事前訓練されたモデルの入力とは独立に、ターゲットタスクに関連する追加入力を取り込み得る。 さらに、モデルのロジッツレベルでの混合は、この手法の自然な確率論的解釈を提供する。 提案手法は,複数のタスクのスクラッチからのトレーニングと類似した結果を得たが,トレーニングのリソースは大幅に少なく,キーワードを条件としたテキスト生成の具体例を共有した。

関連論文リスト

• Semformer: Transformer Language Models with Semantic Planning [18.750863564495006]
  次世代の予測は、現在のニューラルネットワークモデルの主要なコンポーネントである。 本稿では,応答のセマンティックプランニングを明示的にモデル化したトランスフォーマー言語モデルのトレーニング手法であるSemformerを紹介する。
  論文  参考訳（メタデータ） (2024-09-17T12:54:34Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• Enhancing Pre-trained Models with Text Structure Knowledge for Question Generation [2.526624977753083]
  テキスト構造を応答位置と構文依存としてモデル化し,これらの制約に対処するために応答局所性モデリングと構文マスクアテンションを提案する。 SQuADデータセットの実験により、提案した2つのモジュールは、トレーニング済みの強力なモデルであるProphetNetよりも性能が向上することが示された。
  論文  参考訳（メタデータ） (2022-09-09T08:33:47Z)
• Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
  本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。 具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。 提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-12T04:42:49Z)
• Curriculum-Based Self-Training Makes Better Few-Shot Learners for Data-to-Text Generation [56.98033565736974]
  テキスト生成の困難さによって決定される並べ替え順序でラベルのないデータを活用するために,カリキュラムベースの自己学習(CBST)を提案する。 提案手法は、微調整およびタスク適応型事前学習法より優れており、データ・テキスト・ジェネレーションのわずかな設定で最先端の性能を実現することができる。
  論文  参考訳（メタデータ） (2022-06-06T16:11:58Z)
• Improving Meta-learning for Low-resource Text Classification and Generation via Memory Imitation [87.98063273826702]
  本稿では,メモリ模倣メタラーニング(MemIML)手法を提案する。 本手法の有効性を証明するために理論的解析を行った。
  論文  参考訳（メタデータ） (2022-03-22T12:41:55Z)
• Improving Non-autoregressive Generation with Mixup Training [51.61038444990301]
  本稿では,事前学習したトランスモデルに基づく非自己回帰生成モデルを提案する。 我々はMIxソースと擬似ターゲットという,シンプルで効果的な反復訓練手法を提案する。 質問生成,要約,パラフレーズ生成を含む3つの世代ベンチマーク実験により,提案手法が新たな最先端結果を実現することを示す。
  論文  参考訳（メタデータ） (2021-10-21T13:04:21Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。