論文の概要: Cue-word Driven Neural Response Generation with a Shrinking Vocabulary
- arxiv url: http://arxiv.org/abs/2010.04927v1
- Date: Sat, 10 Oct 2020 07:13:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-08 22:27:27.117969
- Title: Cue-word Driven Neural Response Generation with a Shrinking Vocabulary
- Title(参考訳): 語彙縮小による単語の単語駆動型ニューラル応答生成
- Authors: Qiansheng Wang, Yuxin Liu, Chengguo Lv, Zhen Wang and Guohong Fu
- Abstract要約: 本稿では,デコード中に複数のキューワードを生成し,生成したキューワードを用いてデコーディングを駆動し,デコード語彙を縮小する,新しい自然なアプローチを提案する。
実験の結果,提案手法は復号化の複雑さをはるかに低く抑えながら,いくつかの強力なベースラインモデルよりも大幅に優れていた。
- 参考スコア(独自算出の注目度): 8.021536281277044
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Open-domain response generation is the task of generating sensible and
informative re-sponses to the source sentence. However, neural models tend to
generate safe and mean-ingless responses. While cue-word introducing approaches
encourage responses with concrete semantics and have shown tremendous
potential, they still fail to explore di-verse responses during decoding. In
this paper, we propose a novel but natural approach that can produce multiple
cue-words during decoding, and then uses the produced cue-words to drive
decoding and shrinks the decoding vocabulary. Thus the neural genera-tion model
can explore the full space of responses and discover informative ones with
efficiency. Experimental results show that our approach significantly
outperforms several strong baseline models with much lower decoding complexity.
Especially, our approach can converge to concrete semantics more efficiently
during decoding.
- Abstract(参考訳): オープンドメイン応答生成は、ソース文に対する賢明で情報的な応答を生成するタスクである。
しかし、ニューラルモデルは安全で無意味な応答を生成する傾向がある。
キューワードの導入アプローチは具体的なセマンティクスによる応答を奨励し、大きな可能性を示しているが、デコード中の逆応答の探索には失敗している。
本稿では,デコーディング中に複数のキューワードを生成可能な,斬新だが自然なアプローチを提案し,生成したキューワードを用いてデコーディングを駆動し,デコーディング語彙を縮小する。
したがって、神経系モデルでは、応答の完全な空間を探索し、効率的な情報となるものを見つけることができる。
実験の結果,提案手法は,復号の複雑さがはるかに低い,いくつかの強力なベースラインモデルを上回ることがわかった。
特に、このアプローチはデコード中により効率的に具体的なセマンティクスに収束することができる。
関連論文リスト
- Neural paraphrasing by automatically crawled and aligned sentence pairs [11.95795974003684]
ニューラルネットワークベースのパラフレーズ化に対する主な障害は、一致した文とパラフレーズのペアを持つ大きなデータセットの欠如である。
本稿では,ニュースサイトやブログサイトが,異なる物語スタイルを用いて同じ出来事を語るという仮定に基づいて,大規模コーパスの自動生成手法を提案する。
本稿では,言語制約のある類似性探索手法を提案する。これは,参照文が与えられた場合,数百万のインデックス付き文から最も類似した候補パラフレーズを見つけることができる。
論文 参考訳(メタデータ) (2024-02-16T10:40:38Z) - Tram: A Token-level Retrieval-augmented Mechanism for Source Code
Summarization [65.54811122644607]
新たなトレンドは、ニューラルモデルと外部知識を組み合わせることだ。
本稿では,バニラニューラルネットワークがより優れたコード要約を生成するのを支援するために,デコーダ側のトークンレベル検索強化機構について検討する。
論文 参考訳(メタデータ) (2023-05-18T16:02:04Z) - BrainBERT: Self-supervised representation learning for intracranial
recordings [18.52962864519609]
我々は、神経科学に現代的な表現学習アプローチをもたらす頭蓋内記録のための再利用可能な変換器BrainBERTを開発した。
NLPや音声認識と同様に、この変換器は複雑な概念を高い精度で、はるかに少ないデータで分類することができる。
将来的には、表現学習を使用することで、はるかに多くの概念がニューラル録音から切り離され、言語モデルがアンロックされた言語のように脳をアンロックする可能性がある。
論文 参考訳(メタデータ) (2023-02-28T07:40:37Z) - Surrogate Gradient Spiking Neural Networks as Encoders for Large
Vocabulary Continuous Speech Recognition [91.39701446828144]
スパイクニューラルネットワークは, 代理勾配法を用いて, 通常のリカレントニューラルネットワークのように訓練可能であることを示す。
彼らは音声コマンド認識タスクについて有望な結果を示した。
繰り返し発生する非スパイキングとは対照的に、ゲートを使わずに爆発する勾配問題に対して堅牢性を示す。
論文 参考訳(メタデータ) (2022-12-01T12:36:26Z) - CorpusBrain: Pre-train a Generative Retrieval Model for
Knowledge-Intensive Language Tasks [62.22920673080208]
単一ステップ生成モデルは、検索プロセスを劇的に単純化し、エンドツーエンドで最適化することができる。
我々は、事前学習された生成検索モデルをCorpsBrainと名付け、コーパスに関する全ての情報が、追加のインデックスを構築することなく、そのパラメータにエンコードされる。
論文 参考訳(メタデータ) (2022-08-16T10:22:49Z) - Twist Decoding: Diverse Generators Guide Each Other [116.20780037268801]
様々なモデルの恩恵を受けながらテキストを生成するシンプルで一般的な推論アルゴリズムであるTwist decodingを導入する。
我々の方法は、語彙、トークン化、あるいは生成順序が共有されていると仮定しない。
論文 参考訳(メタデータ) (2022-05-19T01:27:53Z) - Improving Response Quality with Backward Reasoning in Open-domain
Dialogue Systems [53.160025961101354]
本稿では,バニラエンコーダデコーダトレーニングに後方推論ステップを追加することで,生成モデルを双方向にトレーニングすることを提案する。
提案する後方推論ステップは、モデルがより有益で一貫性のあるコンテンツを生成するように促す。
副次的な情報を導入することなく応答品質を向上させることができる。
論文 参考訳(メタデータ) (2021-04-30T20:38:27Z) - Deep Recurrent Encoder: A scalable end-to-end network to model brain
signals [122.1055193683784]
複数の被験者の脳応答を一度に予測するために訓練されたエンドツーエンドのディープラーニングアーキテクチャを提案する。
1時間の読解作業で得られた大脳磁図(meg)記録を用いて,このアプローチを検証した。
論文 参考訳(メタデータ) (2021-03-03T11:39:17Z) - Generative Deep Learning Techniques for Password Generation [0.5249805590164902]
パスワード推測に照らして,深層学習モデルと確率ベースモデルの幅広い収集について検討した。
本研究では,最先端サンプリング性能を示す変分オートエンコーダを用いた新しい生成深層学習モデルを提案する。
我々は、よく知られたデータセット上の統一制御フレームワークにおいて、徹底的な経験分析を行う。
論文 参考訳(メタデータ) (2020-12-10T14:11:45Z) - Predict and Use Latent Patterns for Short-Text Conversation [5.757975605648179]
そこで本研究では,より詳細なセマンティックフォーム(潜時応答や部分音声シーケンスなど)を制御可能なセマンティックスとして使用し,生成を導くことを提案する。
以上の結果から,よりリッチなセマンティクスは情報的かつ多様な応答を提供するだけでなく,応答品質の全体的な性能を向上させることができることがわかった。
論文 参考訳(メタデータ) (2020-10-27T01:31:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。