論文の概要: Hierarchical Transformer for Task Oriented Dialog Systems
- arxiv url: http://arxiv.org/abs/2011.08067v3
- Date: Sun, 9 May 2021 10:25:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-03 13:09:28.663833
- Title: Hierarchical Transformer for Task Oriented Dialog Systems
- Title（参考訳）: タスク指向対話システムのための階層変換器
- Authors: Bishal Santra, Potnuru Anusha, Pawan Goyal
- Abstract要約: HREDやHIBERTのようなモデルを含む任意の階層的エンコーダに、特別なデザインのアテンションマスクや位置エンコーダを用いて標準トランスフォーマーをどのように変形させるかを示す。
タスク指向対話システムのためのトランスフォーマーベースモデルにおいて,階層階層的階層構造がコンテキストの自然言語理解に有効であることを実証する。
- 参考スコア（独自算出の注目度）: 11.743662338418867
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative models for dialog systems have gained much interest because of the
recent success of RNN and Transformer based models in tasks like question
answering and summarization. Although the task of dialog response generation is
generally seen as a sequence-to-sequence (Seq2Seq) problem, researchers in the
past have found it challenging to train dialog systems using the standard
Seq2Seq models. Therefore, to help the model learn meaningful utterance and
conversation level features, Sordoni et al. (2015b); Serban et al. (2016)
proposed Hierarchical RNN architecture, which was later adopted by several
other RNN based dialog systems. With the transformer-based models dominating
the seq2seq problems lately, the natural question to ask is the applicability
of the notion of hierarchy in transformer based dialog systems. In this paper,
we propose a generalized framework for Hierarchical Transformer Encoders and
show how a standard transformer can be morphed into any hierarchical encoder,
including HRED and HIBERT like models, by using specially designed attention
masks and positional encodings. We demonstrate that Hierarchical Encoding helps
achieve better natural language understanding of the contexts in
transformer-based models for task-oriented dialog systems through a wide range
of experiments.
- Abstract（参考訳）: ダイアログシステムの生成モデルは、質問応答や要約といったタスクにおけるRNNとTransformerベースのモデルの成功により、多くの関心を集めている。
ダイアログ応答生成のタスクは、一般的にシークエンス(Seq2Seq)問題と見なされるが、従来の研究者は、標準のSeq2Seqモデルを用いてダイアログシステムを訓練することは困難である。
そのため、モデルが意味のある発話と会話レベルの特徴を学習するのを助けるために、Sordoni et al. (2015b)、Serban et al. (2016)は階層的RNNアーキテクチャを提案した。
近年のSeq2seq問題を支配するトランスフォーマーベースモデルでは,変換器ベースダイアログシステムにおける階層の概念の適用性が疑問視されている。
本稿では,階層型トランスコーダのための汎用フレームワークを提案し,特に注意マスクと位置符号化を用いて,hredやhibertのようなモデルを含む任意の階層型エンコーダに標準トランスフォーマーをどのように変換できるかを示す。
タスク指向ダイアログシステムのためのトランスフォーマモデルにおいて,階層符号化は,文脈の自然言語理解を深める上で有効であることを実証する。
関連論文リスト
- Systematic Generalization and Emergent Structures in Transformers
Trained on Structured Tasks [6.525090891505941]
我々は、因果変換器が、コピー、ソート、階層的な構成を含む一連のアルゴリズムタスクを実行する方法を示す。
両層変換器は多層問題に対する一般化可能な解法を学習し,系統的タスク分解の兆候を現示する。
これらの結果は、トランスフォーマーモデルが複雑な決定を再利用可能なマルチレベルポリシーに分解する方法について、重要な洞察を与えてくれる。
論文 参考訳（メタデータ） (2022-10-02T00:46:36Z) - ORCHARD: A Benchmark For Measuring Systematic Generalization of
Multi-Hierarchical Reasoning [8.004425059996963]
本稿では,Transformer と LSTM のモデルが体系的一般化において驚くほど失敗することを示す。
また、階層間の参照の増加に伴い、Transformerはランダムにしか動作しないことを示す。
論文 参考訳（メタデータ） (2021-11-28T03:11:37Z) - Thinking Like Transformers [64.96770952820691]
本稿では,プログラミング言語の形式で変換器エンコーダの計算モデルを提案する。
RASPは、トランスフォーマーによって確実に学習できるタスクの解決策をプログラムするのにどのように使えるかを示す。
ヒストグラム、ソート、ダイク言語のためのRASPプログラムを提供する。
論文 参考訳（メタデータ） (2021-06-13T13:04:46Z) - Dual-decoder Transformer for Joint Automatic Speech Recognition and
Multilingual Speech Translation [71.54816893482457]
自動音声認識(ASR)と多言語音声翻訳(ST)を共同で行う新しいモデルアーキテクチャであるデュアルデコーダトランスフォーマを導入する。
我々のモデルはオリジナルのTransformerアーキテクチャに基づいているが、2つのデコーダで構成されており、それぞれが1つのタスク(ASRまたはST)を担っている。
論文 参考訳（メタデータ） (2020-11-02T04:59:50Z) - End to End Dialogue Transformer [0.0019832631155284838]
私たちは、リカレントニューラルネットワークベースのモデルSequicityのパフォーマンスにインスピレーションを受けています。
本稿では,SequicityのRNNアーキテクチャの代わりに,Transformerアーキテクチャに基づく対話システムを提案する。
論文 参考訳（メタデータ） (2020-08-24T12:43:08Z) - Dynamic Graph Representation Learning for Video Dialog via Multi-Modal
Shuffled Transformers [89.00926092864368]
音声・視覚シーン認識ダイアログタスクのためのセマンティクス制御型マルチモーダルシャッフルトランスフォーマー推論フレームワークを提案する。
また,フレーム内推論層を用いた動的シーングラフ表現学習パイプラインを提案する。
その結果,全ての評価指標について最先端の性能を示すことができた。
論文 参考訳（メタデータ） (2020-07-08T02:00:22Z) - Conversational Question Reformulation via Sequence-to-Sequence
Architectures and Pretrained Language Models [56.268862325167575]
本稿では、列列列構造と事前学習言語モデル(PLM)を用いた会話型質問修正(CQR)の実証的研究について述べる。
我々はPLMを利用して、CQRタスクの目的である最大推定におけるトークン・トークン・トークン・トークンの独立性の強い仮定に対処する。
我々は、最近導入されたCANARDデータセットの微調整PLMをドメイン内タスクとして評価し、TREC 2019 CAsT Trackのデータからドメイン外タスクとしてモデルを検証する。
論文 参考訳（メタデータ） (2020-04-04T11:07:54Z) - DSTC8-AVSD: Multimodal Semantic Transformer Network with Retrieval Style
Word Generator [61.70748716353692]
オーディオ・ビジュアル・シーン・アウェア・ダイアログ(AVSD)は、あるシーン、ビデオ、オーディオ、ダイアログの前のターン履歴で質問に対する応答を生成するタスクである。
このタスクの既存のシステムは、エンコーダ-デコーダフレームワークを備えたトランスフォーマーまたはリカレントニューラルネットワークベースのアーキテクチャを採用している。
本稿では,マルチモーダル・セマンティック・トランスフォーマー・ネットワークを提案し,単語の埋め込みを問合せすることで単語を生成する単語埋め込み層を備えたトランスフォーマー・アーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-04-01T07:10:08Z) - Variational Transformers for Diverse Response Generation [71.53159402053392]
変分変換器(VT)は、変分自己注意フィードフォワードシーケンスモデルである。
VTはトランスフォーマーの並列化性と大域的受容場計算とCVAEの変動特性を組み合わせる。
本稿では,1)大域潜伏変数を用いた談話レベルの多様性のモデル化,2)細粒潜伏変数の列によるトランスフォーマーデコーダの拡張,の2種類のVTについて検討する。
論文 参考訳（メタデータ） (2020-03-28T07:48:02Z) - EmpTransfo: A Multi-head Transformer Architecture for Creating
Empathetic Dialog Systems [4.41738804598711]
本稿では,共感対話システムを構築するためのマルチヘッドトランスフォーマーアーキテクチャであるEmpTransfoを提案する。
感情やメタデータの履歴を活用することで、生成した会話の質を向上させることができることを示す。
論文 参考訳（メタデータ） (2020-03-05T23:09:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。