論文の概要: Pattern-aware Data Augmentation for Query Rewriting in Voice Assistant
Systems
- arxiv url: http://arxiv.org/abs/2012.11468v1
- Date: Mon, 21 Dec 2020 16:36:32 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-27 06:37:46.578285
- Title: Pattern-aware Data Augmentation for Query Rewriting in Voice Assistant
Systems
- Title(参考訳): 音声アシスタントシステムにおけるクエリ書き換えのためのパターン認識データ拡張
- Authors: Yunmo Chen, Sixing Lu, Fan Yang, Xiaojiang Huang, Xing Fan, Chenlei
Guo
- Abstract要約: 既存のトレーニングペアからパターンを学習し、ラベルの書き換えから書き換え候補を逆に生成し、不十分なQRトレーニングデータを補う拡張フレームワークを提案する。
実験の結果,QRベースラインを十分に訓練し,低リソース領域やローカライズ領域でのQR性能向上に有効である可能性が示された。
- 参考スコア(独自算出の注目度): 10.332550622090718
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Query rewriting (QR) systems are widely used to reduce the friction caused by
errors in a spoken language understanding pipeline. However, the underlying
supervised models require a large number of labeled pairs, and these pairs are
hard and costly to be collected. Therefore, We propose an augmentation
framework that learns patterns from existing training pairs and generates
rewrite candidates from rewrite labels inversely to compensate for insufficient
QR training data. The proposed framework casts the augmentation problem as a
sequence-to-sequence generation task and enforces the optimization process with
a policy gradient technique for controllable rewarding. This approach goes
beyond the traditional heuristics or rule-based augmentation methods and is not
constrained to generate predefined patterns of swapping/replacing words. Our
experimental results show its effectiveness compared with a fully trained QR
baseline and demonstrate its potential application in boosting the QR
performance on low-resource domains or locales.
- Abstract(参考訳): クエリ書き換え(QR)システムは、音声言語理解パイプラインにおけるエラーによる摩擦を軽減するために広く利用されている。
しかし、基礎となる教師付きモデルは多数のラベル付きペアを必要とし、これらのペアは収集が困難でコストがかかる。
そこで本研究では,既存のトレーニングペアからパターンを学習し,書き直しラベルから書き直し候補を生成する拡張フレームワークを提案する。
提案手法は,シーケンス・ツー・シーケンス生成タスクとして拡張問題をキャストし,制御可能な報酬処理のためのポリシー勾配手法を用いて最適化処理を実行する。
このアプローチは従来のヒューリスティックやルールベースの拡張メソッドを越えており、単語のスワップ/リプレースに関する事前定義されたパターンを生成するには制限されていない。
実験の結果,QRベースラインを十分に訓練し,低リソース領域やローカライズ領域でのQR性能向上に有効である可能性が示された。
関連論文リスト
- TA&AT: Enhancing Task-Oriented Dialog with Turn-Level Auxiliary Tasks
and Action-Tree Based Scheduled Sampling [16.77137239284608]
タスク指向対話システムは,対話型事前学習技術によって大きく進歩している。
エンコーダのターンレベルマルチタスク目的を提案する。
デコーダに対しては,アクションツリーに基づくスケジュールサンプリング手法を導入する。
論文 参考訳(メタデータ) (2024-01-28T11:02:23Z) - Response Enhanced Semi-supervised Dialogue Query Generation [40.17161986495854]
ラベルのない会話でモデル性能を向上させるための半教師付き学習フレームワーク、SemiDQGを提案する。
まず、類似性に基づくクエリ選択手法を適用し、高品質なRA生成擬似クエリを選択する。
我々は、QPをさらに強化するためにREINFORCEアルゴリズムを採用し、RAによる報酬をきめ細かい訓練信号として利用する。
論文 参考訳(メタデータ) (2023-12-20T02:19:54Z) - Reinforcement Replaces Supervision: Query focused Summarization using
Deep Reinforcement Learning [43.123290672073814]
クエリに基づいて文書から要約を生成するシステムを扱う。
Reinforcement Learning (RL) が自然言語生成のための Supervised Learning (SL) の一般化を提供するという知見に触発されて,本課題に RL ベースのアプローチを用いる。
我々は、ROUGE、BLEU、Semantic similarityといった様々な報酬信号に基づいて訓練された複数のポリシーグラディエントネットワークを開発する。
論文 参考訳(メタデータ) (2023-11-29T10:38:16Z) - Self-RAG: Learning to Retrieve, Generate, and Critique through
Self-Reflection [74.51523859064802]
我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。
自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。
様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
論文 参考訳(メタデータ) (2023-10-17T18:18:32Z) - HyPoradise: An Open Baseline for Generative Speech Recognition with
Large Language Models [81.56455625624041]
ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。
提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。
合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
論文 参考訳(メタデータ) (2023-09-27T14:44:10Z) - Self-regulating Prompts: Foundational Model Adaptation without
Forgetting [112.66832145320434]
本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。
PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
論文 参考訳(メタデータ) (2023-07-13T17:59:35Z) - Noise-Robust Dense Retrieval via Contrastive Alignment Post Training [89.29256833403167]
Contrastive Alignment POst Training (CAPOT) は、指数再生を必要とせず、モデルロバスト性を改善する高効率な微調整法である。
CAPOTはドキュメントエンコーダを凍結することで堅牢な検索を可能にし、クエリエンコーダはノイズの多いクエリを修正されていないルートに整列させる。
MSMARCO、Natural Questions、Trivia QAパス検索のCAPOTノイズ変動を評価し、CAPOTがオーバーヘッドを伴わないデータ増大に類似した影響があることを発見した。
論文 参考訳(メタデータ) (2023-04-06T22:16:53Z) - CodeRL: Mastering Code Generation through Pretrained Models and Deep
Reinforcement Learning [92.36705236706678]
CodeRLは、事前訓練されたLMと深層強化学習によるプログラム合成タスクのための新しいフレームワークである。
推論中、我々は重要なサンプリング戦略を持つ新しい生成手順を導入する。
モデルバックボーンについては,CodeT5のエンコーダデコーダアーキテクチャを拡張し,学習目標を拡張した。
論文 参考訳(メタデータ) (2022-07-05T02:42:15Z) - Text Generation with Efficient (Soft) Q-Learning [91.47743595382758]
強化学習(RL)は、任意のタスクメトリクスを報酬としてプラグインすることで、より柔軟なソリューションを提供する。
ソフトQ-ラーニングの観点からテキスト生成のための新しいRL式を導入する。
雑音/負の例から学習し、敵攻撃、即時生成など、幅広いタスクにアプローチを適用する。
論文 参考訳(メタデータ) (2021-06-14T18:48:40Z) - Pre-Training for Query Rewriting in A Spoken Language Understanding
System [14.902583546933563]
まず、クエリ書き換えのためのニューラル検索に基づくアプローチを提案する。
そして、事前学習された文脈言語埋め込みの成功に触発されて、言語モデリング(LM)に基づくアプローチを提案する。
論文 参考訳(メタデータ) (2020-02-13T16:31:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。