論文の概要: Improved and Efficient Conversational Slot Labeling through Question
Answering
- arxiv url: http://arxiv.org/abs/2204.02123v1
- Date: Tue, 5 Apr 2022 11:34:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-06 19:05:52.135789
- Title: Improved and Efficient Conversational Slot Labeling through Question
Answering
- Title（参考訳）: 質問応答による会話スロットラベリングの改善と効率化
- Authors: Gabor Fuisz, Ivan Vuli\'c, Samuel Gibbons, Inigo Casanueva, Pawe{\l}
Budzianowski
- Abstract要約: Transformer-based Pretrained Language Model (PLM) は、自然言語理解(NLU)タスクの大部分に適合しないパフォーマンスを提供する。
本稿では,対話のためのNLUの重要なコンポーネントであるテキストスロットラベリング(SL)のモデリングと研究に焦点をあてる。
本稿では,QA調整型PLMをSLタスクに適用し,新しい最先端性能を実現する方法を示す。
- 参考スコア（独自算出の注目度）: 48.670822631047635
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformer-based pretrained language models (PLMs) offer unmatched
performance across the majority of natural language understanding (NLU) tasks,
including a body of question answering (QA) tasks. We hypothesize that
improvements in QA methodology can also be directly exploited in dialog NLU;
however, dialog tasks must be \textit{reformatted} into QA tasks. In
particular, we focus on modeling and studying \textit{slot labeling} (SL), a
crucial component of NLU for dialog, through the QA optics, aiming to improve
both its performance and efficiency, and make it more effective and resilient
to working with limited task data. To this end, we make a series of
contributions: 1) We demonstrate how QA-tuned PLMs can be applied to the SL
task, reaching new state-of-the-art performance, with large gains especially
pronounced in such low-data regimes. 2) We propose to leverage contextual
information, required to tackle ambiguous values, simply through natural
language. 3) Efficiency and compactness of QA-oriented fine-tuning are boosted
through the use of lightweight yet effective adapter modules. 4) Trading-off
some of the quality of QA datasets for their size, we experiment with larger
automatically generated QA datasets for QA-tuning, arriving at even higher
performance. Finally, our analysis suggests that our novel QA-based slot
labeling models, supported by the PLMs, reach a performance ceiling in
high-data regimes, calling for more challenging and more nuanced benchmarks in
future work.
- Abstract（参考訳）: トランスフォーマティブベースの事前学習言語モデル(plms)は、自然言語理解(nlu)タスクの大部分にわたって、一連の質問応答(qa)タスクを含む、一致しないパフォーマンスを提供する。
ダイアログNLUでは,QA手法の改良も直接活用できるという仮説を立てるが,ダイアログタスクは「textit{reformatted>」をQAタスクに含めなければならない。
特に,対話用NLUの重要なコンポーネントである‘textit{slot labeling} (SL) のモデリングと研究に焦点をあて,その性能と効率性の向上をめざして,限られたタスクデータを扱う上でより効果的かつレジリエントにすることを目的とする。
この目的のために 一連の貢献をします
1)QA調整されたPLMがSLタスクにどのように適用され,新たな最先端性能を実現できるかを実証する。
2)自然言語を用いて,曖昧な値に取り組むために必要な文脈情報を活用することを提案する。
3)QA指向ファインチューニングの効率性とコンパクト性は,軽量で効果的なアダプタモジュールを用いることで向上する。
4)QAデータセットのサイズに関する品質のいくつかをトレードオフして,QAチューニングのためのより大規模な自動生成されたQAデータセットを実験する。
最後に,我々は,plm がサポートする新しい qa ベースのスロットラベリングモデルが,高データ環境におけるパフォーマンス天井に達し,今後の作業においてより困難でニュアンス的なベンチマークを求めることを示唆する。
関連論文リスト
- Enhancing Question Answering Precision with Optimized Vector Retrieval and Instructions [1.2425910171551517]
質問応答 (QA) は情報検索 (IR) と言語モデルの重要な応用である。
本稿では、最適化されたベクトル検索と命令手法を統合することにより、QAタスク性能を改善するための革新的なアプローチを提案する。
論文 参考訳（メタデータ） (2024-11-01T21:14:04Z) - Towards Efficient Visual-Language Alignment of the Q-Former for Visual Reasoning Tasks [8.921189024320919]
Q-Formerにおけるパラメータ効率の良い微細チューニング(PEFT)の有効性について検討する。
Q-FormerにPEFTを適用すると、トレーニング可能なパラメータの2%未満で完全に微調整できる。
本研究は,視覚言語推論作業において,自己注意層が顕著に重要であることを明らかにする。
論文 参考訳（メタデータ） (2024-10-12T10:51:05Z) - IDEAL: Leveraging Infinite and Dynamic Characterizations of Large Language Models for Query-focused Summarization [59.06663981902496]
クエリ中心の要約(QFS)は、特定の関心事に答え、より優れたユーザ制御とパーソナライゼーションを可能にする要約を作成することを目的としている。
本稿では,LLMを用いたQFSモデル,Longthy Document Summarization,およびクエリ-LLMアライメントの2つの重要な特徴について検討する。
これらのイノベーションは、QFS技術分野における幅広い応用とアクセシビリティの道を開いた。
論文 参考訳（メタデータ） (2024-07-15T07:14:56Z) - CuriousLLM: Elevating Multi-Document QA with Reasoning-Infused Knowledge Graph Prompting [0.0]
我々は知識グラフとLLMベースのエージェントを組み合わせて推論と探索精度を向上させる新しい手法であるKGP(Knowledge Graph Prompting)を改良する。
我々は,この枠組みを強化するために,理性注入型LLMエージェントを提案する。
このエージェントは、人間の好奇心を模倣してフォローアップ質問を行い、検索をより効率的にナビゲートする。
論文 参考訳（メタデータ） (2024-04-13T20:43:46Z) - Graph Guided Question Answer Generation for Procedural
Question-Answering [29.169773816553153]
本稿では,タスク固有質問応答(QA)モデルのための,完全かつ高品質なトレーニングデータを生成する方法を提案する。
キーテクノロジー・イネーブルは、手続き的テキストから質問応答自動生成のための新しいメカニズムである。
GPT3 や ChatGPT を超越しても,本データを用いて訓練した小型モデルは,目標QA タスクにおいて優れた性能を発揮することを示す。
論文 参考訳（メタデータ） (2024-01-24T17:01:42Z) - Long-Tailed Question Answering in an Open World [46.67715607552547]
我々は、Long-Tailed QA (OLTQA) を、長い尾の分散データから学習するものとして定義する。
OLTQAモデルを提案し,頭,尾,目立たないタスク間の知識共有を促進する。
大規模なOLTQAデータセットでは、我々のモデルは一貫して最先端のモデルよりも優れています。
論文 参考訳（メタデータ） (2023-05-11T04:28:58Z) - Parameter-Efficient Abstractive Question Answering over Tables or Text [60.86457030988444]
QAシステムを求める情報の長期的な野望は、マルチモーダルなコンテキストを推論し、ユーザクエリに対する自然な回答を生成することである。
メモリ集約型事前学習言語モデルは、構造化されていないテキストや構造化テーブルのような特定のモードでQAデータ上のモデルを微調整することで、QAのような下流タスクに適応する。
パラメータ効率の良いアダプタは、トランス層間の小さなタスク固有のボトルネック層を加算し、訓練する。
論文 参考訳（メタデータ） (2022-04-07T10:56:29Z) - Learning to Perturb Word Embeddings for Out-of-distribution QA [55.103586220757464]
本論文では,入力問題と文脈の単語埋め込みを意味論を変化させることなく学習するノイズ発生器に基づく簡便かつ効果的なDA法を提案する。
ひとつのソースデータセットに,5つの異なるターゲットドメインに埋め込むことで,トレーニングされたQAモデルのパフォーマンスを検証する。
特に、私たちのトレーニングを受けたモデルは、240K以上の人工的なQAペアでトレーニングされたモデルよりも優れています。
論文 参考訳（メタデータ） (2021-05-06T14:12:26Z) - Generating Diverse and Consistent QA pairs from Contexts with
Information-Maximizing Hierarchical Conditional VAEs [62.71505254770827]
非構造化テキストを文脈として与えられたQAペアを生成するための条件付き変分オートエンコーダ(HCVAE)を提案する。
我々のモデルは、トレーニングにわずかなデータしか使わず、両方のタスクの全てのベースラインに対して印象的なパフォーマンス向上が得られる。
論文 参考訳（メタデータ） (2020-05-28T08:26:06Z) - Template-Based Question Generation from Retrieved Sentences for Improved
Unsupervised Question Answering [98.48363619128108]
擬似学習データを用いてQAモデルを訓練するための教師なしアプローチを提案する。
関連した検索文に簡単なテンプレートを適用してQA学習のための質問を生成すると、元の文脈文よりも、下流QAのパフォーマンスが向上することを示す。
論文 参考訳（メタデータ） (2020-04-24T17:57:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。