論文の概要: Cue-word Driven Neural Response Generation with a Shrinking Vocabulary

• arxiv url: http://arxiv.org/abs/2010.04927v1
• Date: Sat, 10 Oct 2020 07:13:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-08 22:27:27.117969
• Title: Cue-word Driven Neural Response Generation with a Shrinking Vocabulary
• Title（参考訳）: 語彙縮小による単語の単語駆動型ニューラル応答生成
• Authors: Qiansheng Wang, Yuxin Liu, Chengguo Lv, Zhen Wang and Guohong Fu
• Abstract要約: 本稿では,デコード中に複数のキューワードを生成し,生成したキューワードを用いてデコーディングを駆動し,デコード語彙を縮小する,新しい自然なアプローチを提案する。 実験の結果,提案手法は復号化の複雑さをはるかに低く抑えながら,いくつかの強力なベースラインモデルよりも大幅に優れていた。
• 参考スコア（独自算出の注目度）: 8.021536281277044
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Open-domain response generation is the task of generating sensible and informative re-sponses to the source sentence. However, neural models tend to generate safe and mean-ingless responses. While cue-word introducing approaches encourage responses with concrete semantics and have shown tremendous potential, they still fail to explore di-verse responses during decoding. In this paper, we propose a novel but natural approach that can produce multiple cue-words during decoding, and then uses the produced cue-words to drive decoding and shrinks the decoding vocabulary. Thus the neural genera-tion model can explore the full space of responses and discover informative ones with efficiency. Experimental results show that our approach significantly outperforms several strong baseline models with much lower decoding complexity. Especially, our approach can converge to concrete semantics more efficiently during decoding.
• Abstract（参考訳）: オープンドメイン応答生成は、ソース文に対する賢明で情報的な応答を生成するタスクである。 しかし、ニューラルモデルは安全で無意味な応答を生成する傾向がある。 キューワードの導入アプローチは具体的なセマンティクスによる応答を奨励し、大きな可能性を示しているが、デコード中の逆応答の探索には失敗している。 本稿では,デコーディング中に複数のキューワードを生成可能な,斬新だが自然なアプローチを提案し,生成したキューワードを用いてデコーディングを駆動し,デコーディング語彙を縮小する。 したがって、神経系モデルでは、応答の完全な空間を探索し、効率的な情報となるものを見つけることができる。 実験の結果,提案手法は,復号の複雑さがはるかに低い,いくつかの強力なベースラインモデルを上回ることがわかった。 特に、このアプローチはデコード中により効率的に具体的なセマンティクスに収束することができる。

関連論文リスト

• Interpretable Language Modeling via Induction-head Ngram Models [74.26720927767398]
  誘導ヘッドngramモデル(Induction-Gram)を提案する。 この誘導ヘッドは、カスタムのニューラル類似度メトリックを使用して、モデルの入力コンテキストを効率的に検索し、潜在的に次の単語補完を行う。 実験により,本手法はベースラインの解釈可能なモデルよりも,単語の次単語予測を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2024-10-31T12:33:26Z)
• Neural paraphrasing by automatically crawled and aligned sentence pairs [11.95795974003684]
  ニューラルネットワークベースのパラフレーズ化に対する主な障害は、一致した文とパラフレーズのペアを持つ大きなデータセットの欠如である。 本稿では,ニュースサイトやブログサイトが,異なる物語スタイルを用いて同じ出来事を語るという仮定に基づいて,大規模コーパスの自動生成手法を提案する。 本稿では,言語制約のある類似性探索手法を提案する。これは,参照文が与えられた場合,数百万のインデックス付き文から最も類似した候補パラフレーズを見つけることができる。
  論文  参考訳（メタデータ） (2024-02-16T10:40:38Z)
• Self-consistent context aware conformer transducer for speech recognition [0.06008132390640294]
  ニューラルネットワークアーキテクチャにおいて、再帰的なデータフローを順応的に処理する新しいニューラルネットワークモジュールを導入する。 本手法は, 単語誤り率に悪影響を及ぼすことなく, 稀な単語の認識精度を向上させる。 その結果,両手法の組み合わせにより,まれな単語を最大4.5倍の精度で検出できることが判明した。
  論文  参考訳（メタデータ） (2024-02-09T18:12:11Z)
• Tram: A Token-level Retrieval-augmented Mechanism for Source Code Summarization [76.57699934689468]
  ニューラルモデルの性能を高めるために,デコーダ側で詳細なTokenレベル検索強化機構(Tram)を提案する。 文脈的コードセマンティクスの取得におけるトークンレベルの検索の課題を克服するために,コードセマンティクスを個々の要約トークンに統合することを提案する。
  論文  参考訳（メタデータ） (2023-05-18T16:02:04Z)
• Surrogate Gradient Spiking Neural Networks as Encoders for Large Vocabulary Continuous Speech Recognition [91.39701446828144]
  スパイクニューラルネットワークは, 代理勾配法を用いて, 通常のリカレントニューラルネットワークのように訓練可能であることを示す。 彼らは音声コマンド認識タスクについて有望な結果を示した。 繰り返し発生する非スパイキングとは対照的に、ゲートを使わずに爆発する勾配問題に対して堅牢性を示す。
  論文  参考訳（メタデータ） (2022-12-01T12:36:26Z)
• Twist Decoding: Diverse Generators Guide Each Other [116.20780037268801]
  様々なモデルの恩恵を受けながらテキストを生成するシンプルで一般的な推論アルゴリズムであるTwist decodingを導入する。 我々の方法は、語彙、トークン化、あるいは生成順序が共有されていると仮定しない。
  論文  参考訳（メタデータ） (2022-05-19T01:27:53Z)
• Improving Response Quality with Backward Reasoning in Open-domain Dialogue Systems [53.160025961101354]
  本稿では,バニラエンコーダデコーダトレーニングに後方推論ステップを追加することで,生成モデルを双方向にトレーニングすることを提案する。 提案する後方推論ステップは、モデルがより有益で一貫性のあるコンテンツを生成するように促す。 副次的な情報を導入することなく応答品質を向上させることができる。
  論文  参考訳（メタデータ） (2021-04-30T20:38:27Z)
• Deep Recurrent Encoder: A scalable end-to-end network to model brain signals [122.1055193683784]
  複数の被験者の脳応答を一度に予測するために訓練されたエンドツーエンドのディープラーニングアーキテクチャを提案する。 1時間の読解作業で得られた大脳磁図(meg)記録を用いて,このアプローチを検証した。
  論文  参考訳（メタデータ） (2021-03-03T11:39:17Z)
• Predict and Use Latent Patterns for Short-Text Conversation [5.757975605648179]
  そこで本研究では,より詳細なセマンティックフォーム(潜時応答や部分音声シーケンスなど)を制御可能なセマンティックスとして使用し,生成を導くことを提案する。 以上の結果から,よりリッチなセマンティクスは情報的かつ多様な応答を提供するだけでなく,応答品質の全体的な性能を向上させることができることがわかった。
  論文  参考訳（メタデータ） (2020-10-27T01:31:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。