論文の概要: SYNDICOM: Improving Conversational Commonsense with Error-Injection and Natural Language Feedback

• arxiv url: http://arxiv.org/abs/2309.10015v1
• Date: Mon, 18 Sep 2023 15:08:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-20 18:18:16.068410
• Title: SYNDICOM: Improving Conversational Commonsense with Error-Injection and Natural Language Feedback
• Title（参考訳）: SynDICOM: エラー注入と自然言語フィードバックによる会話コモンセンスの改善
• Authors: Christopher Richardson, Anirudh Sundar, Larry Heck
• Abstract要約: 対話応答生成におけるコモンセンス改善手法であるSynDICOMを紹介する。 最初のコンポーネントは知識グラフから生成され、自然言語に合成された常識対話からなるデータセットである。 2つ目のコントリビューションは、2段階の手順である: 自然言語フィードバック(NLF)を予測するためのモデルをトレーニングし、予測されたNLFに条件付けされた応答生成モデルをトレーニングする。
• 参考スコア（独自算出の注目度）: 3.642278451851518
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Commonsense reasoning is a critical aspect of human communication. Despite recent advances in conversational AI driven by large language models, commonsense reasoning remains a challenging task. In this work, we introduce SYNDICOM - a method for improving commonsense in dialogue response generation. SYNDICOM consists of two components. The first component is a dataset composed of commonsense dialogues created from a knowledge graph and synthesized into natural language. This dataset includes both valid and invalid responses to dialogue contexts, along with natural language feedback (NLF) for the invalid responses. The second contribution is a two-step procedure: training a model to predict natural language feedback (NLF) for invalid responses, and then training a response generation model conditioned on the predicted NLF, the invalid response, and the dialogue. SYNDICOM is scalable and does not require reinforcement learning. Empirical results on three tasks are evaluated using a broad range of metrics. SYNDICOM achieves a relative improvement of 53% over ChatGPT on ROUGE1, and human evaluators prefer SYNDICOM over ChatGPT 57% of the time. We will publicly release the code and the full dataset.
• Abstract（参考訳）: 常識推論は人間のコミュニケーションの重要な側面である。 大規模な言語モデルによって駆動される会話型AIの最近の進歩にもかかわらず、常識推論は難しい課題である。 本研究では,対話応答生成におけるコモンセンス向上手法であるSynDICOMを紹介する。 SynDICOMは2つのコンポーネントから構成される。 最初のコンポーネントは知識グラフから生成され、自然言語に合成された常識対話からなるデータセットである。 このデータセットには、対話コンテキストに対する有効応答と無効応答の両方と、無効応答に対する自然言語フィードバック(NLF)が含まれている。 第2の貢献は、無効な応答に対する自然言語フィードバック(nlf)を予測するモデルをトレーニングし、予測されたnlf、無効な応答、対話に基づく応答生成モデルをトレーニングする2段階の手順である。 SynDICOMはスケーラブルで、強化学習を必要としない。 3つのタスクに関する実験結果は、幅広いメトリクスを用いて評価される。 SynDICOMはROUGE1上でChatGPTよりも53%向上し、人間の評価者はChatGPTの57%よりもSynDICOMを好む。 コードと完全なデータセットを公開します。

関連論文リスト

• Self-Directed Turing Test for Large Language Models [56.64615470513102]
  チューリングテストは、自然言語の会話においてAIが人間のような振る舞いを示すことができるかどうかを調べる。 従来のチューリングテストでは、各参加者が1回に1つのメッセージだけを送信する厳格な対話形式を採用している。 本稿では,バーストダイアログ形式を用いた自己指示チューリングテストを提案する。
  論文  参考訳（メタデータ） (2024-08-19T09:57:28Z)
• Learning From Free-Text Human Feedback -- Collect New Datasets Or Extend Existing Ones? [57.16050211534735]
  一般的な対話データセットにおける自由文フィードバックのタイプと頻度について検討する。 この結果から, エラータイプ, ユーザ応答タイプ, それらの関係性など, 調査したデータセットの構成に関する新たな知見が得られた。
  論文  参考訳（メタデータ） (2023-10-24T12:01:11Z)
• Training Language Models with Language Feedback at Scale [50.70091340506957]
  我々は、より情報的な言語フィードバックを利用する新しいアプローチであるLanguage Feedback (ILF)から学習を導入する。 ILFは3つのステップから成り、まず言語モデルを入力に条件付けし、最初のLM出力を出力し、改善を生成する。 理論的には、ILFは人間からのフィードバックによる強化学習と同様、ベイズ推論とみなすことができる。
  論文  参考訳（メタデータ） (2023-03-28T17:04:15Z)
• Evaluating Human-Language Model Interaction [79.33022878034627]
  我々は,対話型システムのコンポーネントを定義する,HALIE(Human-AI Language-based Interaction Evaluation)という新しいフレームワークを開発した。 ソーシャル対話,質問応答,クロスワードパズル,要約,メタファ生成という,対話のさまざまな形態をカバーする5つのタスクを設計する。 より優れた非対話的性能は、必ずしもより良い人間とLMの相互作用に必ずしも変換されない。
  論文  参考訳（メタデータ） (2022-12-19T18:59:45Z)
• OPAL: Ontology-Aware Pretrained Language Model for End-to-End Task-Oriented Dialogue [40.62090743056549]
  本稿では、エンドツーエンドタスク指向対話(TOD)のためのオントロジー対応事前学習言語モデル(OPAL)を提案する。 チャット型対話モデルとは異なり、タスク指向対話モデルは少なくとも2つのタスク固有モジュールを満たす:対話状態トラッカー(DST)と応答生成器(RG)。
  論文  参考訳（メタデータ） (2022-09-10T04:38:27Z)
• DialogVED: A Pre-trained Latent Variable Encoder-Decoder Model for Dialog Response Generation [80.45816053153722]
  DialogVEDは、拡張エンコーダデコーダ事前トレーニングフレームワークに連続潜伏変数を導入し、応答の関連性と多様性を高める。 我々は,PersonaChat,DailyDialog,DSTC7-AVSDベンチマークを用いて応答生成実験を行った。
  論文  参考訳（メタデータ） (2022-04-27T16:18:15Z)
• Commonsense-Focused Dialogues for Response Generation: An Empirical Study [39.49727190159279]
  対話応答生成におけるコモンセンスの実証的研究について述べる。 まず、ConceptNetを利用して既存の対話データセットから共通感覚対話を自動的に抽出する。 次に、対話的な環境での社会的常識を示すことを目的とした、25K対話を備えた対話データセットを新たに収集する。
  論文  参考訳（メタデータ） (2021-09-14T04:32:09Z)
• A Taxonomy of Empathetic Response Intents in Human Social Conversations [1.52292571922932]
  自然言語処理コミュニティでは、オープンドメインの会話エージェントがますます人気を高めている。 課題のひとつは、共感的な方法で会話できるようにすることです。 現在のニューラルレスポンス生成手法は、大規模な会話データからエンドツーエンドの学習のみに頼って対話を生成する。 近年,対話act/intentモデリングとニューラルレスポンス生成を組み合わせることが期待されている。
  論文  参考訳（メタデータ） (2020-12-07T21:56:45Z)
• TOD-BERT: Pre-trained Natural Language Understanding for Task-Oriented Dialogue [113.45485470103762]
  本研究では,言語モデリングのためのタスク指向対話データセットを,人間とマルチターンの9つに統合する。 事前学習時の対話動作をモデル化するために,ユーザトークンとシステムトークンをマスク付き言語モデルに組み込む。
  論文  参考訳（メタデータ） (2020-04-15T04:09:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。