論文の概要: The Case for a Single Model that can Both Generate Continuations and
Fill in the Blank
- arxiv url: http://arxiv.org/abs/2206.04812v1
- Date: Thu, 9 Jun 2022 23:39:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-13 15:15:24.809317
- Title: The Case for a Single Model that can Both Generate Continuations and
Fill in the Blank
- Title（参考訳）: 連続を生成して空白を埋めることができる1つのモデルの場合
- Authors: Daphne Ippolito and Liam Dugan and Emily Reif and Ann Yuan and Andy
Coenen and Chris Callison-Burch
- Abstract要約: 本研究では、FitBスタイルの目標で事前訓練されたモデルが両方のタスクをこなせる一方で、継続のために事前訓練されたモデルがそうでないことを示す。
また、FitBモデルを簡単に微調整し、生成元の長さや単語の選択をきめ細かな制御を可能にする方法を示す。
- 参考スコア（独自算出の注目度）: 24.508219356439653
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The task of inserting text into a specified position in a passage, known as
fill in the blank (FitB), is useful for a variety of applications where writers
interact with a natural language generation (NLG) system to craft text. While
previous work has tackled this problem with models trained specifically to do
the fill-in-the-blank task, a more useful model is one that can effectively
perform _both_ FitB and continuation. In this work, we evaluate the feasibility
of using a single model to do both tasks. We show that models pre-trained with
a FitB-style objective are capable of both tasks, while models pre-trained for
continuation are not. Finally, we show how FitB models can be easily finetuned
to allow for fine-grained control over the length and word choice of the
generation.
- Abstract（参考訳）: fill in the blank(fitb)と呼ばれる通路にテキストを特定の位置に挿入する作業は、作家が自然言語生成(nlg)システムと対話してテキストを作成する様々なアプリケーションにとって有用である。
これまでの研究では、補足タスクを特別に訓練したモデルでこの問題に取り組んできたが、より有用なモデルは_both_FitBと継続を効果的に実行するモデルである。
本研究では,単一モデルを用いて両タスクを遂行する可能性を評価する。
我々は,fitb型目標で事前訓練されたモデルは両方のタスクが可能であり,継続のために事前訓練されたモデルはそうではないことを示す。
最後に、フィッティングモデルが簡単に微調整できることを示し、世代の長さと単語の選択をきめ細かい制御を可能にした。
関連論文リスト
- UnIVAL: Unified Model for Image, Video, Audio and Language Tasks [105.77733287326308]
UnIVALモデルは2つのモードを超えて、テキスト、画像、ビデオ、オーディオを1つのモデルに統合する。
本モデルは,タスクバランスとマルチモーダルカリキュラム学習に基づいて,多くのタスクに対して効率的に事前学習を行う。
統一モデルにより、重み一般化によるマルチモーダルモデルの融合に関する新しい研究を提案する。
論文 参考訳（メタデータ） (2023-07-30T09:48:36Z) - Few-shot Prompting Towards Controllable Response Generation [49.479958672988566]
まず,モデルのパラメータにアクセスすることなく,モデル生成に対するプロンプトと強化学習(RL)の組み合わせについて検討した。
マルチタスク学習を適用して、モデルが新しいタスクをより良く一般化できるようにします。
実験の結果,提案手法はパラメータにアクセスすることなく,複数のSOTA(State-of-the-art)対話モデルを制御することができることがわかった。
論文 参考訳（メタデータ） (2022-06-08T14:48:06Z) - On Advances in Text Generation from Images Beyond Captioning: A Case
Study in Self-Rationalization [89.94078728495423]
近年のモダリティ,CLIP画像表現,言語モデルの拡張は,マルチモーダル入力によるタスクのマルチモーダル自己調整を一貫して改善していないことを示す。
画像キャプションを超えて画像やテキストからテキストを生成するために構築可能なバックボーンモデリング手法が提案されている。
論文 参考訳（メタデータ） (2022-05-24T00:52:40Z) - Active Few-Shot Learning with FASL [5.601217969637838]
この問題に対処することを目的とした2つの研究の1つが、ショット学習とアクティブラーニングだ。
これは反復的かつ高速なプロセスを使用してテキスト分類モデルのトレーニングを可能にするプラットフォームです。
論文 参考訳（メタデータ） (2022-04-20T09:32:56Z) - TextPruner: A Model Pruning Toolkit for Pre-Trained Language Models [18.49325959450621]
我々は、事前訓練された言語モデルのためのオープンソースのモデルプルーニングツールキットであるTextPrunerを紹介する。
TextPrunerは、ボキャブラリプルーニングやトランスフォーマープルーニングなどの構造化後プルーニング方法を提供する。
いくつかのNLPタスクによる実験では、モデルを再トレーニングすることなく、TextPrunerがモデルサイズを縮小できることを示した。
論文 参考訳（メタデータ） (2022-03-30T02:10:33Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳（メタデータ） (2020-10-24T11:55:28Z) - KGPT: Knowledge-Grounded Pre-Training for Data-to-Text Generation [100.79870384880333]
知識に富んだテキストを生成するための知識基盤事前学習(KGPT)を提案する。
我々は、その効果を評価するために、3つの設定、すなわち、完全教師付き、ゼロショット、少数ショットを採用します。
ゼロショット設定では、WebNLG上で30 ROUGE-L以上を達成するが、他の全てのベースラインは失敗する。
論文 参考訳（メタデータ） (2020-10-05T19:59:05Z) - Exploring Versatile Generative Language Model Via Parameter-Efficient
Transfer Learning [70.81910984985683]
本稿では,1つの大規模事前学習モデルを用いて,複数のダウンストリーム生成タスクを同時に微調整する効果的な方法を提案する。
5つの多様な言語生成タスクの実験は、各タスクに2-3%のパラメータを追加するだけで、モデル全体の微調整性能を維持または改善できることを示している。
論文 参考訳（メタデータ） (2020-04-08T06:18:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。