論文の概要: Think Before You Speak: Using Self-talk to Generate Implicit Commonsense Knowledge for Response Generation

• arxiv url: http://arxiv.org/abs/2110.08501v1
• Date: Sat, 16 Oct 2021 07:27:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-21 15:29:47.089974
• Title: Think Before You Speak: Using Self-talk to Generate Implicit Commonsense Knowledge for Response Generation
• Title（参考訳）: 話す前に考える: 自尊心を使って、応答生成のための暗黙のコモンセンス知識を生成する
• Authors: Pei Zhou, Karthik Gopalakrishnan, Behnam Hedayatnia, Seokhwan Kim, Jay Pujara, Xiang Ren, Yang Liu, Dilek Hakkani-Tur
• Abstract要約: 常識のような暗黙の知識は、人間の会話を流動させる鍵となる。 現在のニューラルレスポンス生成(RG)モデルはエンドツーエンドでトレーニングされており、暗黙の知識を省略している。 本稿では,まず暗黙のコモンセンス知識を生成し,その外部知識を参照して応答を生成するセルフトーク手法を提案する。
• 参考スコア（独自算出の注目度）: 39.49727190159279
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Implicit knowledge, such as common sense, is key to fluid human conversations. Current neural response generation (RG) models are trained end-to-end, omitting unstated implicit knowledge. In this paper, we present a self-talk approach that first generates the implicit commonsense knowledge and then generates response by referencing the externalized knowledge, all using one generative model. We analyze different choices to collect knowledge-aligned dialogues, represent implicit knowledge, and elicit knowledge and responses. We introduce three evaluation aspects: knowledge quality, knowledge-response connection, and response quality and perform extensive human evaluations. Our experimental results show that compared with end-to-end RG models, self-talk models that externalize the knowledge grounding process by explicitly generating implicit knowledge also produce responses that are more informative, specific, and follow common sense. We also find via human evaluation that self-talk models generate high-quality knowledge around 75% of the time. We hope that our findings encourage further work on different approaches to modeling implicit commonsense knowledge and training knowledgeable RG models.
• Abstract（参考訳）: 常識のような暗黙の知識は、人間の会話を流動化する鍵となる。 現在の神経応答生成(rg)モデルはエンドツーエンドで訓練され、未発表の暗黙の知識を省く。 本稿では,まず暗黙のコモンセンス知識を生成し,その後に外部化知識を参照して応答を生成する自己トーク手法を提案する。 我々は、知識に沿った対話を収集し、暗黙の知識を表現し、知識と反応を引き出す様々な選択を分析する。 本稿では,知識品質,知識応答接続,応答品質の3つの評価要素を導入し,広範囲な人的評価を行う。 実験結果から,暗黙の知識を明示的に生成することで,知識基盤プロセスの外部化を行う自己学習モデルは,エンド・ツー・エンドのRGモデルと比較して,より情報的,具体的,そして常識に従う応答も生み出すことが示された。 また,人間による評価から,自己語モデルが75%の確率で高品質な知識を生み出すことがわかった。 我々の研究成果は、暗黙の常識知識をモデリングし、知識のあるRGモデルを訓練するための様々なアプローチのさらなる研究を促すことを願っている。

関連論文リスト

• Beyond Factuality: A Comprehensive Evaluation of Large Language Models as Knowledge Generators [78.63553017938911]
  大規模言語モデル(LLM)は、下流の知識集約タスクのための情報検索技術より優れている。 しかし、コミュニティの懸念は、この無検閲の知識を使用することの事実と潜在的意味について多岐にわたる。 本研究では,6つの重要な視点から生成した知識を評価するために設計されたCONNERを紹介する。
  論文  参考訳（メタデータ） (2023-10-11T08:22:37Z)
• KPT: Keyword-guided Pre-training for Grounded Dialog Generation [82.68787152707455]
  KPT(Guided Pre-Training)は,グラウンドドダイアログ生成のための自己教師付き事前学習手法である。 具体的には、事前訓練された言語モデルを用いて、ダイアログ内の最も不確実なトークンをキーワードとして抽出する。 我々は,対話行為,知識グラフ,ペルソナ記述,ウィキペディアの文節など,数発の知識ベース生成タスクについて広範な実験を行った。
  論文  参考訳（メタデータ） (2022-12-04T04:05:01Z)
• RHO ($\rho$): Reducing Hallucination in Open-domain Dialogues with Knowledge Grounding [57.46495388734495]
  本稿では、知識グラフ(KG)からリンクされたエンティティと関係述語を表現したRHO(rho$)を提案する。 本稿では,(1)テキスト埋め込みと対応するKG埋め込みを組み合わせるための局所知識基盤,(2)注目機構を介してRHOにマルチホップ推論能力を持たせるためのグローバル知識基盤を提案する。
  論文  参考訳（メタデータ） (2022-12-03T10:36:34Z)
• RT-KGD: Relation Transition Aware Knowledge-Grounded Dialogue Generation [20.37399983466163]
  関係遷移を考慮した知識包含対話生成モデル(RT-KGD)を提案する。 具体的には、人間会話の潜在論理に触発され、対話レベルの関係遷移規則とターンレベルのエンティティ意味情報を統合する。 このように、知識間の相互作用は、適切な知識を予測し、一貫性のある応答を生成するための豊富な手がかりを生み出すと考えられる。
  論文  参考訳（メタデータ） (2022-07-17T16:07:38Z)
• Generated Knowledge Prompting for Commonsense Reasoning [53.88983683513114]
  本稿では,汎用的なプロンプト形式を用いて,言語モデルから直接知識文を生成することを提案する。 このアプローチは、4つのコモンセンス推論タスクにおいて、既製の言語モデルと微調整された言語モデルの両方のパフォーマンスを向上させる。 特に、モデルが生成した知識を使用することで、予測が改善できることが分かる。
  論文  参考訳（メタデータ） (2021-10-15T21:58:03Z)
• Knowledge-Grounded Dialogue with Reward-Driven Knowledge Selection [1.1633929083694388]
  Knoformerは強化学習に基づく対話応答生成モデルである。 知識プールから1つ以上の関連する知識を自動的に選択することができ、トレーニング中に知識ラベルを必要としない。
  論文  参考訳（メタデータ） (2021-08-31T08:53:08Z)
• Zero-Resource Knowledge-Grounded Dialogue Generation [29.357221039484568]
  本稿では,文脈と応答をブリッジする知識と,その知識を潜在変数として表現する方法を提案する。 また,本モデルでは,知識基盤の対話に頼っている最先端の手法と同等の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-08-29T05:48:32Z)
• Sequential Latent Knowledge Selection for Knowledge-Grounded Dialogue [51.513276162736844]
  この問題に対する最初のアプローチとして,逐次潜在変数モデルを提案する。 シーケンシャル・ナレッジ・トランスフォーマー (SKT) という名前のモデルは、知識よりも先行と後続の分布を追跡することができる。
  論文  参考訳（メタデータ） (2020-02-18T11:59:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。