Fugu-MT 論文翻訳(概要): Revisiting Markovian Generative Architectures for Efficient Task-Oriented Dialog Systems

論文の概要: Revisiting Markovian Generative Architectures for Efficient Task-Oriented Dialog Systems

arxiv url: http://arxiv.org/abs/2204.06452v1
Date: Wed, 13 Apr 2022 15:21:34 GMT
ステータス: 処理完了
システム内更新日: 2022-04-14 13:45:30.320062
Title: Revisiting Markovian Generative Architectures for Efficient Task-Oriented Dialog Systems
Title（参考訳）: タスク指向対話システムのためのマルコフ生成アーキテクチャの再検討
Authors: Hong Liu, Yucheng Cai, Zhijian Ou, Yi Huang, Junlan Feng
Abstract要約: 我々は,従来のLSTMベースのTODシステムで使用されていたマルコフ生成アーキテクチャ (MGA) を再検討することを提案する。 MultiWOZ2.1の実験は、提案されたマルコフ的 PLM ベースのシステムの非マルコフ的システムに対する効率上の利点を示している。
参考スコア（独自算出の注目度）: 22.249113574918034
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recently, Transformer based pretrained language models (PLMs), such as GPT2 and T5, have been leveraged to build generative task-oriented dialog (TOD) systems. A drawback of existing PLM-based models is their non-Markovian architectures across turns, i.e., the whole history is used as the conditioning input at each turn, which brings inefficiencies in memory, computation and learning. In this paper, we propose to revisit Markovian Generative Architectures (MGA), which have been used in previous LSTM-based TOD systems, but not studied for PLM-based systems. Experiments on MultiWOZ2.1 show the efficiency advantages of the proposed Markovian PLM-based systems over their non-Markovian counterparts, in both supervised and semi-supervised settings.
Abstract（参考訳）: 近年,GPT2 や T5 などの Transformer ベースの事前学習言語モデル (PLM) を利用して,生成タスク指向対話 (TOD) システムを構築している。既存のplmベースのモデルの欠点は、各ターンにまたがる非マルコフ的アーキテクチャ、すなわち、全ての履歴が各ターンの条件付け入力として使われ、メモリ、計算、学習の非効率をもたらす。本稿では,従来のLSTMベースのTODシステムで使用されているが,PLMベースのシステムでは研究されていないマルコフ生成アーキテクチャ(MGA)を再検討することを提案する。 MultiWOZ2.1の実験では、Markovian PLMベースのシステムにおいて、教師付きおよび半教師付き両方の設定において、非マルコフ的システムよりも効率のよいことが示されている。

関連論文リスト

Read-ME: Refactorizing LLMs as Router-Decoupled Mixture of Experts with System Co-Design [59.00758127310582]
本稿では、事前学習された高密度LCMをより小さなMoEモデルに変換する新しいフレームワークRead-MEを提案する。当社のアプローチでは,専門家の抽出にアクティベーション空間を用いる。 Read-MEは、同様のスケールの他の人気のあるオープンソース高密度モデルよりも優れています。
論文参考訳（メタデータ） (2024-10-24T19:48:51Z)
Design2Code: Benchmarking Multimodal Code Generation for Automated Front-End Engineering [74.99736967448423]
私たちは、このタスクのための最初の実世界のベンチマークであるDesign2Codeを構築します。テストケースとして484の多様な実世界のWebページを手作業でキュレートし、自動評価指標のセットを開発する。我々の詳細なブレークダウンメトリクスは、入力されたWebページから視覚要素をリコールし、正しいレイアウト設計を生成するモデルがほとんど遅れていることを示している。
論文参考訳（メタデータ） (2024-03-05T17:56:27Z)
Large Language Models are Not Stable Recommender Systems [45.941176155464824]
大規模言語モデル(LLM)における探索的研究の導入と位置バイアスの一貫したパターンの発見について述べる。本稿では,2段階パイプラインを含むベイズ確率的フレームワークSTELLA(Stable LLM for Recommendation)を提案する。我々のフレームワークは、既存のパターン情報を利用してLCMの不安定性を校正し、レコメンデーション性能を向上させることができる。
論文参考訳（メタデータ） (2023-12-25T14:54:33Z)
Pre-trained Language Models for Keyphrase Generation: A Thorough Empirical Study [76.52997424694767]
事前学習言語モデルを用いて,キーフレーズ抽出とキーフレーズ生成の詳細な実験を行った。 PLMは、競争力のある高リソース性能と最先端の低リソース性能を持つことを示す。さらに,領域内のBERTライクなPLMを用いて,強大かつデータ効率のよいキーフレーズ生成モデルを構築できることが示唆された。
論文参考訳（メタデータ） (2022-12-20T13:20:21Z)
Jointly Reinforced User Simulator and Task-oriented Dialog System with Simplified Generative Architecture [24.305558215176752]
GPT-2ベースのダイアログシステム(DS)とエンドユーザシミュレータ(US)のオンライン強化学習は、これまで検討されていない。本稿ではまず,GPT-2に基づくDSとUS用のSGA(Simplified Generative Architectures)を提案する。提案するSGAを用いたDSは,MultiWOZ2.1上での最先端性能を実現し,学習と生成の両面で計算効率が向上する。
論文参考訳（メタデータ） (2022-10-13T03:57:17Z)
Integrate Lattice-Free MMI into End-to-End Speech Recognition [87.01137882072322]
音声認識(ASR)研究において、識別基準はDNN-HMMシステムにおいて優れた性能を達成している。このモチベーションにより、差別的基準の採用は、エンドツーエンド(E2E)のASRシステムの性能を高めることを約束している。これまでの研究は、最小ベイズリスク(MBR、差別基準の一つ)をE2E ASRシステムに導入してきた。本研究では,他の広く使われている識別基準であるLF-MMIをE2Eに統合する新しいアルゴリズムを提案する。
論文参考訳（メタデータ） (2022-03-29T14:32:46Z)
Variational Latent-State GPT for Semi-supervised Task-Oriented Dialog Systems [24.667353107453824]
変分潜在状態GPTモデル(VLS-GPT)は2つのアプローチの強みを組み合わせた最初のモデルである。我々は,GPTを変分学習に使用する際のメモリ爆発問題を克服する,サンプリング-then-forward-computationの戦略を開発した。 VLS-GPTは、教師のみのベースラインと半教師付きベースラインの両方で著しく優れていた。
論文参考訳（メタデータ） (2021-09-09T14:42:29Z)
MinTL: Minimalist Transfer Learning for Task-Oriented Dialogue Systems [75.43457658815943]
タスク指向対話システムのシステム設計プロセスを簡単にするミニマリスト変換学習(MinTL)を提案する。 MinTLはシンプルだが効果的な転送学習フレームワークであり、事前訓練されたSeq2seqモデルのプラグインと再生を可能にする。トレーニング済みの2つのバックボーン(T5とBART)で学習フレームワークをインスタンス化し、MultiWOZで評価する。
論文参考訳（メタデータ） (2020-09-25T02:19:13Z)
The IMS-CUBoulder System for the SIGMORPHON 2020 Shared Task on Unsupervised Morphological Paradigm Completion [27.37360427124081]
我々は、Stuttgart IMS大学とコロラド大学ボルダー校のSIGMORPHON 2020 Task 2における、教師なし形態素パラダイムの完成に関するシステムについて紹介する。このタスクは、レムマ自体とラベルなしのテキストのみを与えられた一連のレムマのモルフォロジーパラダイムを生成することで構成されている。我々のポインタジェネレータシステムは、全ての言語で平均して7つの提案されたシステムの中で最高のスコアを取得し、ブルガリア語とカンナダ語において、総合的に最も優れた公式ベースラインを上回ります。
論文参考訳（メタデータ） (2020-05-25T21:23:52Z)
Jointly Trained Transformers models for Spoken Language Translation [2.3886615435250302]
この研究は、補助的な損失としてASR目標を持つSLTシステムを訓練し、両方のネットワークは神経隠れ表現を介して接続される。このアーキテクチャはBLEUから36.8から44.5に改善されている。すべての実験はハウ2コーパスを用いた英語・ポルトガル語音声翻訳タスクで報告される。
論文参考訳（メタデータ） (2020-04-25T11:28:39Z)
Conversational Question Reformulation via Sequence-to-Sequence Architectures and Pretrained Language Models [56.268862325167575]
本稿では、列列列構造と事前学習言語モデル(PLM)を用いた会話型質問修正(CQR)の実証的研究について述べる。我々はPLMを利用して、CQRタスクの目的である最大推定におけるトークン・トークン・トークン・トークンの独立性の強い仮定に対処する。我々は、最近導入されたCANARDデータセットの微調整PLMをドメイン内タスクとして評価し、TREC 2019 CAsT Trackのデータからドメイン外タスクとしてモデルを検証する。
論文参考訳（メタデータ） (2020-04-04T11:07:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。