論文の概要: THINK: A Novel Conversation Model for Generating Grammatically Correct and Coherent Responses

• arxiv url: http://arxiv.org/abs/2105.13630v1
• Date: Fri, 28 May 2021 07:11:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-31 13:53:52.775501
• Title: THINK: A Novel Conversation Model for Generating Grammatically Correct and Coherent Responses
• Title（参考訳）: THINK: 文法的正しいコヒーレント応答を生成するための新しい会話モデル
• Authors: Bin Sun, Shaoxiong Feng, Yiwei Li, Jiamou Liu and Kan Li
• Abstract要約: 我々は「THINK」という会話モデルを提案する。 このモデルは文脈ベクトルを単純化し、生成した応答のコヒーレンスを合理的に増大させる。 他のベースラインと比較すると, 自動評価と人的評価の両方で, モデルの利点が示された。
• 参考スコア（独自算出の注目度）: 10.910845951559388
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many existing conversation models that are based on the encoder-decoder framework have focused on ways to make the encoder more complicated to enrich the context vectors so as to increase the diversity and informativeness of generated responses. However, these approaches face two problems. First, the decoder is too simple to effectively utilize the previously generated information and tends to generate duplicated and self-contradicting responses. Second, the complex encoder tends to generate diverse but incoherent responses because the complex context vectors may deviate from the original semantics of context. In this work, we proposed a conversation model named "THINK" (Teamwork generation Hover around Impressive Noticeable Keywords) to make the decoder more complicated and avoid generating duplicated and self-contradicting responses. The model simplifies the context vectors and increases the coherence of generated responses in a reasonable way. For this model, we propose Teamwork generation framework and Semantics Extractor. Compared with other baselines, both automatic and human evaluation showed the advantages of our model.
• Abstract（参考訳）: エンコーダ-デコーダフレームワークに基づく既存の会話モデルの多くは、エンコーダをより複雑にし、コンテキストベクトルを豊かにすることで、生成された応答の多様性と情報性を高める方法に焦点を当てている。 しかし、これらのアプローチは2つの問題に直面している。 まず、デコーダは、以前に生成した情報を効果的に活用するには単純すぎるため、重複や自己矛盾の応答を生成する傾向がある。 第二に、複素エンコーダは、複雑なコンテキストベクトルがコンテキストの本来の意味から逸脱する可能性があるため、多様だが一貫性のない応答を生成する傾向がある。 本研究では,このデコーダをより複雑にし,重複・自己矛盾応答の発生を回避するために,THINK(チームワーク生成Hover around Impressive Noticeable Keywords)という対話モデルを提案する。 このモデルは文脈ベクトルを単純化し、生成した応答のコヒーレンスを合理的に増大させる。 本モデルでは,チームワーク生成フレームワークとセマンティックスエクストラクタを提案する。 他のベースラインと比較すると, 自動評価と人的評価の両方で, モデルの利点が示された。

関連論文リスト

• Triple-Encoders: Representations That Fire Together, Wire Together [51.15206713482718]
  コントラスト学習(Contrastive Learning)は、バイエンコーダを介して発話間の相対距離を埋め込み空間に符号化する表現学習法である。 本研究では,これら独立に符号化された発話から分散発話混合物を効率よく計算する三重エンコーダを提案する。 トリプルエンコーダはバイエンコーダよりも大幅に改善され、シングルベクトル表現モデルよりもゼロショットの一般化が向上することがわかった。
  論文  参考訳（メタデータ） (2024-02-19T18:06:02Z)
• Decoder-Only or Encoder-Decoder? Interpreting Language Model as a Regularized Encoder-Decoder [75.03283861464365]
  seq2seqタスクは、与えられた入力ソースシーケンスに基づいてターゲットシーケンスを生成することを目的としている。 伝統的に、seq2seqタスクのほとんどはエンコーダによって解決され、ソースシーケンスとデコーダをエンコードしてターゲットテキストを生成する。 最近、デコーダのみの言語モデルをseq2seqタスクに直接適用する、多くの新しいアプローチが出現しました。
  論文  参考訳（メタデータ） (2023-04-08T15:44:29Z)
• X-ReCoSa: Multi-Scale Context Aggregation For Multi-Turn Dialogue Generation [0.0]
  マルチターン対話生成では、応答は文脈の話題や背景だけでなく、文脈の文中の単語やフレーズにも関係している。 現在広く使われている階層型ダイアログモデルは、単語レベルのエンコーダから出力される文表現を無視して、発話レベルのエンコーダからの文脈表現のみに依存している。 本稿では,階層型ダイアログモデルのためのマルチスケールコンテキスト情報を集約する,新しいダイアログモデルX-ReCoSaを提案する。
  論文  参考訳（メタデータ） (2023-03-14T12:15:52Z)
• Twist Decoding: Diverse Generators Guide Each Other [116.20780037268801]
  様々なモデルの恩恵を受けながらテキストを生成するシンプルで一般的な推論アルゴリズムであるTwist decodingを導入する。 我々の方法は、語彙、トークン化、あるいは生成順序が共有されていると仮定しない。
  論文  参考訳（メタデータ） (2022-05-19T01:27:53Z)
• A Speaker-aware Parallel Hierarchical Attentive Encoder-Decoder Model for Multi-turn Dialogue Generation [13.820298189734686]
  本稿では,マルチターン会話における話者の区別を強調するオープンドメイン対話生成モデルを提案する。 実験の結果,PHAEDは自動評価と人的評価の両面で最先端の成績を示した。
  論文  参考訳（メタデータ） (2021-10-13T16:08:29Z)
• Do Encoder Representations of Generative Dialogue Models Encode Sufficient Information about the Task ? [41.36218215755317]
  対話モデルの言語理解の健全さを適切に評価するには,人的・自動的な指標によるテキストの評価が不十分であることを示す。 本稿では,対話モデルで一般的に使用される言語エンコーダのエンコーダ表現を評価するための探索タスクを提案する。
  論文  参考訳（メタデータ） (2021-06-20T04:52:37Z)
• Improving Response Quality with Backward Reasoning in Open-domain Dialogue Systems [53.160025961101354]
  本稿では,バニラエンコーダデコーダトレーニングに後方推論ステップを追加することで,生成モデルを双方向にトレーニングすることを提案する。 提案する後方推論ステップは、モデルがより有益で一貫性のあるコンテンツを生成するように促す。 副次的な情報を導入することなく応答品質を向上させることができる。
  論文  参考訳（メタデータ） (2021-04-30T20:38:27Z)
• Reasoning in Dialog: Improving Response Generation by Context Reading Comprehension [49.92173751203827]
  マルチターンダイアログでは、発話が文の完全な形を取るとは限らない。 読み解きの質問に答えるモデルの能力を検討し、応答生成性能の向上を提案する。
  論文  参考訳（メタデータ） (2020-12-14T10:58:01Z)
• Predict and Use Latent Patterns for Short-Text Conversation [5.757975605648179]
  そこで本研究では,より詳細なセマンティックフォーム(潜時応答や部分音声シーケンスなど)を制御可能なセマンティックスとして使用し,生成を導くことを提案する。 以上の結果から,よりリッチなセマンティクスは情報的かつ多様な応答を提供するだけでなく,応答品質の全体的な性能を向上させることができることがわかった。
  論文  参考訳（メタデータ） (2020-10-27T01:31:42Z)
• Cascaded Text Generation with Markov Transformers [122.76100449018061]
  ニューラルテキスト生成における2つの主要なアプローチは、シリアルビームサーチデコーディングを使用した完全自己回帰モデルと、出力依存のない並列デコーディングを使用した非自己回帰モデルである。 本稿では,境界付きコンテキストを持つ条件付きランダムフィールドを並列にデコードできることに言及し,高品質な出力を生成するための効率的なカスケードデコード手法を提案する。 このアプローチでは,5つの機械翻訳データセットの既存の手法と比較して,競争力のある精度と速度のトレードオフを示す一方で,標準的な自己回帰トレーニングからのわずかな変更しか必要としない。
  論文  参考訳（メタデータ） (2020-06-01T17:52:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。