論文の概要: Stateful Memory-Augmented Transformers for Dialogue Modeling
- arxiv url: http://arxiv.org/abs/2209.07634v1
- Date: Thu, 15 Sep 2022 22:37:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-19 12:23:42.774444
- Title: Stateful Memory-Augmented Transformers for Dialogue Modeling
- Title（参考訳）: 対話モデリングのための状態記憶型トランスフォーマ
- Authors: Qingyang Wu and Zhou Yu
- Abstract要約: 本稿では、既存のトレーニング済みエンコーダデコーダモデルと互換性のある新しいメモリ拡張トランスを提案する。
トレーニング済みのTransformerと一緒に別々のメモリモジュールを組み込んで、メモリ状態と現在の入力コンテキストの間で情報を効果的に交換する。
- 参考スコア（独自算出の注目度）: 69.31802246621963
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transformer encoder-decoder models have shown impressive performance in
dialogue modeling. However, as Transformers are inefficient in processing long
sequences, dialogue history length often needs to be truncated. To address this
problem, we propose a new memory-augmented Transformer that is compatible with
existing pre-trained encoder-decoder models and enables efficient preservation
of history information. It incorporates a separate memory module alongside the
pre-trained Transformer to effectively interchange information between the
memory states and the current input context. We evaluate our model on three
dialogue datasets and two language modeling datasets. Experimental results show
that our method has achieved superior efficiency and performance compared to
other pre-trained Transformer baselines.
- Abstract（参考訳）: トランスフォーマーエンコーダ-デコーダモデルでは対話モデルの性能が顕著である。
しかし、トランスフォーマーは長いシーケンスを処理するのに非効率であるため、対話履歴の長さを縮める必要がある。
そこで本研究では,既存のプリトレーニングエンコーダ・デコーダモデルと互換性を持ち,履歴情報の効率的な保存を可能にする新しいメモリ表示トランスを提案する。
トレーニング済みのTransformerと一緒に別々のメモリモジュールを組み込んで、メモリ状態と現在の入力コンテキストの間で情報を効果的に交換する。
3つの対話データセットと2つの言語モデリングデータセットでモデルを評価する。
実験結果から,本手法は他のトレーニング済みトランスフォーマーベースラインに比べて効率と性能が優れていた。
関連論文リスト
- Improving Transformer-based Conversational ASR by Inter-Sentential
Attention Mechanism [20.782319059183173]
本稿では,会話音声認識のためのトランスフォーマーに基づくエンドツーエンドアーキテクチャにおいて,文間情報を明示的にモデル化することを提案する。
提案手法は,複数のオープンソースの対話コーパスに対して有効であり,提案手法は発話レベル変換器を用いたASRモデルから連続的に性能を向上する。
論文 参考訳（メタデータ） (2022-07-02T17:17:47Z) - DialogVED: A Pre-trained Latent Variable Encoder-Decoder Model for
Dialog Response Generation [80.45816053153722]
DialogVEDは、拡張エンコーダデコーダ事前トレーニングフレームワークに連続潜伏変数を導入し、応答の関連性と多様性を高める。
我々は,PersonaChat,DailyDialog,DSTC7-AVSDベンチマークを用いて応答生成実験を行った。
論文 参考訳（メタデータ） (2022-04-27T16:18:15Z) - A Model-Agnostic Data Manipulation Method for Persona-based Dialogue
Generation [107.82729587882397]
現在のペルソナベースの対話データセットのスケールアップには費用がかかる。
このタスクの各データサンプルは、従来の対話データよりも複雑である。
本稿では,ペルソナをベースとした対話生成モデルにおいて,モデルに依存しないデータ操作手法を提案する。
論文 参考訳（メタデータ） (2022-04-21T03:49:54Z) - An Exploratory Study on Long Dialogue Summarization: What Works and
What's Next [33.1899354772074]
本稿では,長文入力問題に対処し,関連する情報を見つけるための3つの戦略を検証し,長文対話の要約について検討する。
QMSum, MediaSum, SummScreenの3つの長文対話データセットによる実験結果から, 検索・推定パイプラインモデルが最も高い性能を示した。
論文 参考訳（メタデータ） (2021-09-10T01:38:26Z) - Retrieval-Augmented Transformer-XL for Close-Domain Dialog Generation [16.90730526207747]
マルチターン対話応答生成のための変換器モデルを提案する。
提案手法は,トランスフォーマーに基づく生成モデルに新たな検索機構を付加したハイブリッドアプローチに基づいている。
論文 参考訳（メタデータ） (2021-05-19T16:34:33Z) - Parameter Efficient Multimodal Transformers for Video Representation
Learning [108.8517364784009]
本研究は,映像表現学習におけるマルチモーダルトランスフォーマーのパラメータの削減に焦点をあてる。
このアプローチではパラメータを80$%まで削減し、モデルのエンドツーエンドをスクラッチからトレーニングできるようにしています。
本研究では,Kinetics-700から30秒のクリップをプレトレーニングし,それを音声視覚分類タスクに転送する。
論文 参考訳（メタデータ） (2020-12-08T00:16:13Z) - Modifying Memories in Transformer Models [71.48657481835767]
本稿では,トランスフォーマーモデルにおいて,特定の事実知識を巧みに修正するタスクを提案する。
このタスクは、古い知識の更新、プライバシ保護、モデルに格納されている意図しないバイアスの排除など、多くのシナリオで有用である。
論文 参考訳（メタデータ） (2020-12-01T09:39:13Z) - Open-Domain Dialogue Generation Based on Pre-trained Language Models [23.828348485513043]
事前訓練された言語モデルは、オープンドメイン対話の応答生成に成功している。
Transformer-ED と Transformer-ED はソース文とターゲット文を別々に用い,(2) Transformer-Dec はソース文とターゲット文の両方に用い,(3) Transformer-MLM はソース側の双方向の注意とターゲット側の左右の注意をマスクした言語モデルで用いた。
我々はこれらのフレームワークを3つのデータセットで比較し、最適なフレームワークがソース側で双方向の注意を使っており、エンコーダとデコーダを分離していないことを明らかにした。
論文 参考訳（メタデータ） (2020-10-24T04:52:28Z) - Ranking Enhanced Dialogue Generation [77.8321855074999]
対話履歴を効果的に活用する方法は、マルチターン対話生成において重要な問題である。
これまでの研究は通常、歴史をモデル化するために様々なニューラルネットワークアーキテクチャを使用していた。
本稿では,ランキング拡張対話生成フレームワークを提案する。
論文 参考訳（メタデータ） (2020-08-13T01:49:56Z) - Hierarchical Transformer Network for Utterance-level Emotion Recognition [0.0]
発話レベルの感情認識(ULER)における課題に対処する。
従来のテキスト分類問題とは異なり、このタスクは限られた数のデータセットでサポートされている。
我々は、低レベルトランスとして、変換器(BERT)からの双方向エンコーダ表現を事前訓練した言語モデルを用いる。
さらに、初めてモデルに話者埋め込みを追加し、モデルが話者間の相互作用を捉えられるようにします。
論文 参考訳（メタデータ） (2020-02-18T13:44:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。