論文の概要: Stateful Memory-Augmented Transformers for Efficient Dialogue Modeling

• arxiv url: http://arxiv.org/abs/2209.07634v2
• Date: Tue, 23 May 2023 05:59:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 01:30:49.866702
• Title: Stateful Memory-Augmented Transformers for Efficient Dialogue Modeling
• Title（参考訳）: 効率的な対話モデリングのためのステートフルメモリ型トランスフォーマー
• Authors: Qingyang Wu and Zhou Yu
• Abstract要約: 本稿では、既存のトレーニング済みエンコーダデコーダモデルと互換性のある新しいメモリ拡張トランスを提案する。 事前訓練された変換器と共に別々のメモリモジュールを組み込むことで、モデルはメモリ状態と現在の入力コンテキストの間で情報を効果的に交換することができる。
• 参考スコア（独自算出の注目度）: 69.31802246621963
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer encoder-decoder models have achieved great performance in dialogue generation tasks, however, their inability to process long dialogue history often leads to truncation of the context To address this problem, we propose a novel memory-augmented transformer that is compatible with existing pre-trained encoder-decoder models and enables efficient preservation of the dialogue history information. By incorporating a separate memory module alongside the pre-trained transformer, the model can effectively interchange information between the memory states and the current input context. We evaluate our model on three dialogue datasets and two language modeling datasets. Experimental results show that our method has achieved superior efficiency and performance compared to other pre-trained Transformer baselines.
• Abstract（参考訳）: トランスフォーマーエンコーダ-デコーダモデルでは,対話生成タスクにおいて高い性能を達成しているが,長い対話履歴を処理できないことがしばしばコンテキストの切り離しにつながるため,既存のトレーニング済みエンコーダ-デコーダモデルと互換性があり,対話履歴情報の効率的な保存を可能にする新しいメモリ拡張トランスフォーマを提案する。 事前訓練された変換器と共に別々のメモリモジュールを組み込むことで、モデルはメモリ状態と現在の入力コンテキストの間で情報を効果的に交換することができる。 3つの対話データセットと2つの言語モデリングデータセットでモデルを評価する。 実験結果から,本手法は他のトレーニング済みトランスフォーマーベースラインに比べて効率と性能が優れていた。

関連論文リスト

• Improving Transformer-based Conversational ASR by Inter-Sentential Attention Mechanism [20.782319059183173]
  本稿では,会話音声認識のためのトランスフォーマーに基づくエンドツーエンドアーキテクチャにおいて,文間情報を明示的にモデル化することを提案する。 提案手法は,複数のオープンソースの対話コーパスに対して有効であり,提案手法は発話レベル変換器を用いたASRモデルから連続的に性能を向上する。
  論文  参考訳（メタデータ） (2022-07-02T17:17:47Z)
• DialogVED: A Pre-trained Latent Variable Encoder-Decoder Model for Dialog Response Generation [80.45816053153722]
  DialogVEDは、拡張エンコーダデコーダ事前トレーニングフレームワークに連続潜伏変数を導入し、応答の関連性と多様性を高める。 我々は,PersonaChat,DailyDialog,DSTC7-AVSDベンチマークを用いて応答生成実験を行った。
  論文  参考訳（メタデータ） (2022-04-27T16:18:15Z)
• A Model-Agnostic Data Manipulation Method for Persona-based Dialogue Generation [107.82729587882397]
  現在のペルソナベースの対話データセットのスケールアップには費用がかかる。 このタスクの各データサンプルは、従来の対話データよりも複雑である。 本稿では,ペルソナをベースとした対話生成モデルにおいて,モデルに依存しないデータ操作手法を提案する。
  論文  参考訳（メタデータ） (2022-04-21T03:49:54Z)
• An Exploratory Study on Long Dialogue Summarization: What Works and What's Next [33.1899354772074]
  本稿では,長文入力問題に対処し,関連する情報を見つけるための3つの戦略を検証し,長文対話の要約について検討する。 QMSum, MediaSum, SummScreenの3つの長文対話データセットによる実験結果から, 検索・推定パイプラインモデルが最も高い性能を示した。
  論文  参考訳（メタデータ） (2021-09-10T01:38:26Z)
• Retrieval-Augmented Transformer-XL for Close-Domain Dialog Generation [16.90730526207747]
  マルチターン対話応答生成のための変換器モデルを提案する。 提案手法は,トランスフォーマーに基づく生成モデルに新たな検索機構を付加したハイブリッドアプローチに基づいている。
  論文  参考訳（メタデータ） (2021-05-19T16:34:33Z)
• Parameter Efficient Multimodal Transformers for Video Representation Learning [108.8517364784009]
  本研究は,映像表現学習におけるマルチモーダルトランスフォーマーのパラメータの削減に焦点をあてる。 このアプローチではパラメータを80$%まで削減し、モデルのエンドツーエンドをスクラッチからトレーニングできるようにしています。 本研究では,Kinetics-700から30秒のクリップをプレトレーニングし,それを音声視覚分類タスクに転送する。
  論文  参考訳（メタデータ） (2020-12-08T00:16:13Z)
• Modifying Memories in Transformer Models [71.48657481835767]
  本稿では,トランスフォーマーモデルにおいて,特定の事実知識を巧みに修正するタスクを提案する。 このタスクは、古い知識の更新、プライバシ保護、モデルに格納されている意図しないバイアスの排除など、多くのシナリオで有用である。
  論文  参考訳（メタデータ） (2020-12-01T09:39:13Z)
• Open-Domain Dialogue Generation Based on Pre-trained Language Models [23.828348485513043]
  事前訓練された言語モデルは、オープンドメイン対話の応答生成に成功している。 Transformer-ED と Transformer-ED はソース文とターゲット文を別々に用い,(2) Transformer-Dec はソース文とターゲット文の両方に用い,(3) Transformer-MLM はソース側の双方向の注意とターゲット側の左右の注意をマスクした言語モデルで用いた。 我々はこれらのフレームワークを3つのデータセットで比較し、最適なフレームワークがソース側で双方向の注意を使っており、エンコーダとデコーダを分離していないことを明らかにした。
  論文  参考訳（メタデータ） (2020-10-24T04:52:28Z)
• Ranking Enhanced Dialogue Generation [77.8321855074999]
  対話履歴を効果的に活用する方法は、マルチターン対話生成において重要な問題である。 これまでの研究は通常、歴史をモデル化するために様々なニューラルネットワークアーキテクチャを使用していた。 本稿では,ランキング拡張対話生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-08-13T01:49:56Z)
• Hierarchical Transformer Network for Utterance-level Emotion Recognition [0.0]
  発話レベルの感情認識(ULER)における課題に対処する。 従来のテキスト分類問題とは異なり、このタスクは限られた数のデータセットでサポートされている。 我々は、低レベルトランスとして、変換器(BERT)からの双方向エンコーダ表現を事前訓練した言語モデルを用いる。 さらに、初めてモデルに話者埋め込みを追加し、モデルが話者間の相互作用を捉えられるようにします。
  論文  参考訳（メタデータ） (2020-02-18T13:44:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。