Fugu-MT 論文翻訳(概要): Few-Shot Natural Language Inference Generation with PDD: Prompt and Dynamic Demonstration

論文の概要: Few-Shot Natural Language Inference Generation with PDD: Prompt and Dynamic Demonstration

arxiv url: http://arxiv.org/abs/2205.10593v1
Date: Sat, 21 May 2022 13:25:22 GMT
ステータス: 処理完了
システム内更新日: 2022-05-24 14:07:42.527403
Title: Few-Shot Natural Language Inference Generation with PDD: Prompt and Dynamic Demonstration
Title（参考訳）: PDDを用いた数ショット自然言語推論生成:プロンプトと動的デモ
Authors: Kaijian Li, Shansan Gong, Kenny Q. Zhu
Abstract要約: 本稿では,プロンプトと動的デモ(LM-PDD)を用いた言語モデルを提案する。我々のフレームワークは、SNLIおよびMNLIデータセットに対して平均8%の絶対的な改善を達成し、低リソースで標準的な微調整モデルより優れています。
参考スコア（独自算出の注目度）: 11.7707492266247
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Natural Language Inference Generation task is to generate a text hypothesis given a text premise and a logical relation between the two. This task can be used in data augmentation and controllable text generation in practice. In this paper, we propose language models with prompt and dynamic demonstration (LM-PDD) to tackle this problem in few-shot settings. Our framework outperforms standard fine-tuned models with low resource, achieving an average 8% absolute improvement on SNLI and MNLI datasets, and the results on 13 natural language classification tasks also show that our dynamic demonstration method has good generalizability.
Abstract（参考訳）: 自然言語推論タスクは、テキスト前提とそれらの間の論理的関係が与えられたテキスト仮説を生成する。このタスクは、実際にデータ拡張と制御可能なテキスト生成に使用できる。本稿では,プロンプトと動的デモ(LM-PDD)を用いた言語モデルを提案する。本フレームワークは,SNLIデータセットとMNLIデータセットに対して平均8%の絶対的な改善を達成し,また,13の自然言語分類タスクにおける結果から,動的実演法が優れた一般化性を示す。

関連論文リスト

Large Language Models Are Latent Variable Models: Explaining and Finding Good Demonstrations for In-Context Learning [104.58874584354787]
近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
論文参考訳（メタデータ） (2023-01-27T18:59:01Z)
Multi-Scales Data Augmentation Approach In Natural Language Inference For Artifacts Mitigation And Pre-Trained Model Optimization [0.0]
クラウドソーシングされたStanford Natural Language Inference corpus内でデータセットのアーティファクトを分析し、配置するための様々な技術を提供する。データセットアーティファクトを緩和するために、2つの異なるフレームワークで独自のマルチスケールデータ拡張技術を採用している。本手法は, 摂動試験に対するモデルの抵抗性を向上し, トレーニング済みベースラインの連続的な性能向上を可能にする。
論文参考訳（メタデータ） (2022-12-16T23:37:44Z)
Instruction Induction: From Few Examples to Natural Language Task Descriptions [55.139554327372934]
実例に適合する自然言語命令を生成するように促すことで,言語モデルがいくつかの実演から基礎となるタスクを明示的に推論できることを示す。 InstructGPTは65.7%の人的パフォーマンスを達成するが、オリジナルのGPT-3モデルは9.8%にしか達しない。
論文参考訳（メタデータ） (2022-05-22T09:22:37Z)
An Exploration of Prompt Tuning on Generative Spoken Language Model for Speech Processing Tasks [112.1942546460814]
生成音声言語モデル(GSLM)に基づく音声処理タスクの即時チューニングパラダイムの最初の検討について報告する。実験結果から, 学習可能なパラメータが少ない音声分類タスクにおいて, 高精度なダウンストリームモデルよりも, 即時チューニング手法が競合性能を達成できることが示唆された。
論文参考訳（メタデータ） (2022-03-31T03:26:55Z)
Generating Training Data with Language Models: Towards Zero-Shot Language Understanding [35.92571138322246]
事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて顕著な性能を示した。 NLUタスクのゼロショット学習に両タイプのPLMを用いる簡単な手法を提案する。提案手法は,GLUEベンチマークの7つの分類タスクに対して高い性能を示す。
論文参考訳（メタデータ） (2022-02-09T16:02:18Z)
Skill Induction and Planning with Latent Language [94.55783888325165]
我々は、ゴールがハイレベルなサブタスク記述のシーケンスを生成するアクションシーケンスの生成モデルを定式化する。本稿では、このモデルを、主に注釈のないデモを用いて、名前付きハイレベルなサブタスクのシーケンスに解析する方法について述べる。訓練されたモデルでは、自然言語コマンドの空間はスキルのライブラリを索引付けする;エージェントはこれらのスキルを使って、新しい目標に適した高いレベルの命令シーケンスを生成する。
論文参考訳（メタデータ） (2021-10-04T15:36:32Z)
Few-Shot Text Generation with Pattern-Exploiting Training [12.919486518128734]
本稿では,テキスト生成タスクにも基礎となるアイデアが適用可能であることを示す。最近提案された少数のショットアプローチであるPattern-Exploiting Training(PET)を、テキスト生成タスクで生成言語モデルを微調整するために適用します。
論文参考訳（メタデータ） (2020-12-22T10:53:07Z)
SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
論文参考訳（メタデータ） (2020-10-30T13:33:41Z)
Language Models as Few-Shot Learner for Task-Oriented Dialogue Systems [74.8759568242933]
タスク指向対話システムは、自然言語理解(NLU)、対話状態追跡(DST)、対話ポリシー(DP)、自然言語生成(NLG)の4つの連結モジュールを使用する。研究課題は、データ収集に関連する高コストから最小限のサンプルで各モジュールを学習することである。我々は,NLU,DP,NLGタスクにおいて,言語モデルの素小ショット能力を評価する。
論文参考訳（メタデータ） (2020-08-14T08:23:21Z)
Unsupervised Paraphrase Generation using Pre-trained Language Models [0.0]
OpenAIのGPT-2は、流動的で、十分に定式化された、文法的に一貫性のあるテキストを生成する能力で有名である。我々は、GPT-2のこの生成能力を活用し、ラベル付きデータから何の監督も受けずにパラフレーズを生成する。実験の結果,我々のモデルで生成したパラフレーズは質が良く,多種多様であり,データ拡張に使用する場合のダウンストリームタスク性能が向上することがわかった。
論文参考訳（メタデータ） (2020-06-09T19:40:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。