論文の概要: Improved and Efficient Conversational Slot Labeling through Question
Answering
- arxiv url: http://arxiv.org/abs/2204.02123v1
- Date: Tue, 5 Apr 2022 11:34:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-06 19:05:52.135789
- Title: Improved and Efficient Conversational Slot Labeling through Question
Answering
- Title(参考訳): 質問応答による会話スロットラベリングの改善と効率化
- Authors: Gabor Fuisz, Ivan Vuli\'c, Samuel Gibbons, Inigo Casanueva, Pawe{\l}
Budzianowski
- Abstract要約: Transformer-based Pretrained Language Model (PLM) は、自然言語理解(NLU)タスクの大部分に適合しないパフォーマンスを提供する。
本稿では,対話のためのNLUの重要なコンポーネントであるテキストスロットラベリング(SL)のモデリングと研究に焦点をあてる。
本稿では,QA調整型PLMをSLタスクに適用し,新しい最先端性能を実現する方法を示す。
- 参考スコア(独自算出の注目度): 48.670822631047635
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformer-based pretrained language models (PLMs) offer unmatched
performance across the majority of natural language understanding (NLU) tasks,
including a body of question answering (QA) tasks. We hypothesize that
improvements in QA methodology can also be directly exploited in dialog NLU;
however, dialog tasks must be \textit{reformatted} into QA tasks. In
particular, we focus on modeling and studying \textit{slot labeling} (SL), a
crucial component of NLU for dialog, through the QA optics, aiming to improve
both its performance and efficiency, and make it more effective and resilient
to working with limited task data. To this end, we make a series of
contributions: 1) We demonstrate how QA-tuned PLMs can be applied to the SL
task, reaching new state-of-the-art performance, with large gains especially
pronounced in such low-data regimes. 2) We propose to leverage contextual
information, required to tackle ambiguous values, simply through natural
language. 3) Efficiency and compactness of QA-oriented fine-tuning are boosted
through the use of lightweight yet effective adapter modules. 4) Trading-off
some of the quality of QA datasets for their size, we experiment with larger
automatically generated QA datasets for QA-tuning, arriving at even higher
performance. Finally, our analysis suggests that our novel QA-based slot
labeling models, supported by the PLMs, reach a performance ceiling in
high-data regimes, calling for more challenging and more nuanced benchmarks in
future work.
- Abstract(参考訳): トランスフォーマティブベースの事前学習言語モデル(plms)は、自然言語理解(nlu)タスクの大部分にわたって、一連の質問応答(qa)タスクを含む、一致しないパフォーマンスを提供する。
ダイアログNLUでは,QA手法の改良も直接活用できるという仮説を立てるが,ダイアログタスクは「textit{reformatted>」をQAタスクに含めなければならない。
特に,対話用NLUの重要なコンポーネントである‘textit{slot labeling} (SL) のモデリングと研究に焦点をあて,その性能と効率性の向上をめざして,限られたタスクデータを扱う上でより効果的かつレジリエントにすることを目的とする。
この目的のために 一連の貢献をします
1)QA調整されたPLMがSLタスクにどのように適用され,新たな最先端性能を実現できるかを実証する。
2)自然言語を用いて,曖昧な値に取り組むために必要な文脈情報を活用することを提案する。
3)QA指向ファインチューニングの効率性とコンパクト性は,軽量で効果的なアダプタモジュールを用いることで向上する。
4)QAデータセットのサイズに関する品質のいくつかをトレードオフして,QAチューニングのためのより大規模な自動生成されたQAデータセットを実験する。
最後に,我々は,plm がサポートする新しい qa ベースのスロットラベリングモデルが,高データ環境におけるパフォーマンス天井に達し,今後の作業においてより困難でニュアンス的なベンチマークを求めることを示唆する。
関連論文リスト
- Graph Guided Question Answer Generation for Procedural
Question-Answering [29.169773816553153]
本稿では,タスク固有質問応答(QA)モデルのための,完全かつ高品質なトレーニングデータを生成する方法を提案する。
キーテクノロジー・イネーブルは、手続き的テキストから質問応答自動生成のための新しいメカニズムである。
GPT3 や ChatGPT を超越しても,本データを用いて訓練した小型モデルは,目標QA タスクにおいて優れた性能を発揮することを示す。
論文 参考訳(メタデータ) (2024-01-24T17:01:42Z) - AQUALLM: Audio Question Answering Data Generation Using Large Language
Models [2.2232550112727267]
大規模言語モデル(LLM)に依存するスケーラブルなAQAデータ生成パイプラインを導入する。
AQAのための広範かつ高品質なベンチマークデータセットを3つ提示する。
我々のデータセットでトレーニングされたモデルは、人間の注釈付きAQAデータを用いてトレーニングされたモデルと比較して、拡張された一般化可能性を示す。
論文 参考訳(メタデータ) (2023-12-28T20:01:27Z) - Long-Tailed Question Answering in an Open World [46.67715607552547]
我々は、Long-Tailed QA (OLTQA) を、長い尾の分散データから学習するものとして定義する。
OLTQAモデルを提案し,頭,尾,目立たないタスク間の知識共有を促進する。
大規模なOLTQAデータセットでは、我々のモデルは一貫して最先端のモデルよりも優れています。
論文 参考訳(メタデータ) (2023-05-11T04:28:58Z) - Lifelong Learning for Question Answering with Hierarchical Prompts [65.70781233723126]
Dianaは動的アーキテクチャベースの生涯QAモデルで、一連のQAタスクを学習しようとする。
階層的に整理された4つのプロンプトは、異なる粒度からQA知識を取得するためにダイアナで使用される。
実験では、Dianaは、特に目に見えないタスクの処理において、最先端のQAモデルよりも優れています。
論文 参考訳(メタデータ) (2022-08-31T02:38:16Z) - Declaration-based Prompt Tuning for Visual Question Answering [16.688288454811016]
本稿では,DPT(Declaation-based Prompt Tuning)と呼ばれる,革新的なビジュアル言語(VL)ファインチューニングパラダイムを提案する。
DPTは、VQAモデルの事前学習と微調整の目的を共同で最適化し、事前学習されたVLモデルの下流タスクへの効果的な適応を促進する。
GQAデータセットの実験結果によると、DPTは完全な教師付き(2.68%)とゼロショット/フェーショット(31%以上)の両方で精度に大きな差で微調整されたデータセットよりも優れていた。
論文 参考訳(メタデータ) (2022-05-05T05:56:55Z) - Parameter-Efficient Abstractive Question Answering over Tables or Text [60.86457030988444]
QAシステムを求める情報の長期的な野望は、マルチモーダルなコンテキストを推論し、ユーザクエリに対する自然な回答を生成することである。
メモリ集約型事前学習言語モデルは、構造化されていないテキストや構造化テーブルのような特定のモードでQAデータ上のモデルを微調整することで、QAのような下流タスクに適応する。
パラメータ効率の良いアダプタは、トランス層間の小さなタスク固有のボトルネック層を加算し、訓練する。
論文 参考訳(メタデータ) (2022-04-07T10:56:29Z) - Learning to Perturb Word Embeddings for Out-of-distribution QA [55.103586220757464]
本論文では,入力問題と文脈の単語埋め込みを意味論を変化させることなく学習するノイズ発生器に基づく簡便かつ効果的なDA法を提案する。
ひとつのソースデータセットに,5つの異なるターゲットドメインに埋め込むことで,トレーニングされたQAモデルのパフォーマンスを検証する。
特に、私たちのトレーニングを受けたモデルは、240K以上の人工的なQAペアでトレーニングされたモデルよりも優れています。
論文 参考訳(メタデータ) (2021-05-06T14:12:26Z) - Simple and Efficient ways to Improve REALM [24.182528719468227]
REALM(Guu et al., 2020)は、下流QA効率を改善するための事前トレーニングに依存するエンドツーエンドの高密度検索システムです。
Denseは、人気のあるスパース検索手法を超越して、Open Domain QAの関連文書の検索に有効であることが示されている。
論文 参考訳(メタデータ) (2021-04-18T04:32:33Z) - Generating Diverse and Consistent QA pairs from Contexts with
Information-Maximizing Hierarchical Conditional VAEs [62.71505254770827]
非構造化テキストを文脈として与えられたQAペアを生成するための条件付き変分オートエンコーダ(HCVAE)を提案する。
我々のモデルは、トレーニングにわずかなデータしか使わず、両方のタスクの全てのベースラインに対して印象的なパフォーマンス向上が得られる。
論文 参考訳(メタデータ) (2020-05-28T08:26:06Z) - Template-Based Question Generation from Retrieved Sentences for Improved
Unsupervised Question Answering [98.48363619128108]
擬似学習データを用いてQAモデルを訓練するための教師なしアプローチを提案する。
関連した検索文に簡単なテンプレートを適用してQA学習のための質問を生成すると、元の文脈文よりも、下流QAのパフォーマンスが向上することを示す。
論文 参考訳(メタデータ) (2020-04-24T17:57:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。