論文の概要: SYNDICOM: Improving Conversational Commonsense with Error-Injection and Natural Language Feedback

• arxiv url: http://arxiv.org/abs/2309.10015v1
• Date: Mon, 18 Sep 2023 15:08:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-20 18:18:16.068410
• Title: SYNDICOM: Improving Conversational Commonsense with Error-Injection and Natural Language Feedback
• Title（参考訳）: SynDICOM: エラー注入と自然言語フィードバックによる会話コモンセンスの改善
• Authors: Christopher Richardson, Anirudh Sundar, Larry Heck
• Abstract要約: 対話応答生成におけるコモンセンス改善手法であるSynDICOMを紹介する。 最初のコンポーネントは知識グラフから生成され、自然言語に合成された常識対話からなるデータセットである。 2つ目のコントリビューションは、2段階の手順である: 自然言語フィードバック(NLF)を予測するためのモデルをトレーニングし、予測されたNLFに条件付けされた応答生成モデルをトレーニングする。
• 参考スコア（独自算出の注目度）: 3.642278451851518
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Commonsense reasoning is a critical aspect of human communication. Despite recent advances in conversational AI driven by large language models, commonsense reasoning remains a challenging task. In this work, we introduce SYNDICOM - a method for improving commonsense in dialogue response generation. SYNDICOM consists of two components. The first component is a dataset composed of commonsense dialogues created from a knowledge graph and synthesized into natural language. This dataset includes both valid and invalid responses to dialogue contexts, along with natural language feedback (NLF) for the invalid responses. The second contribution is a two-step procedure: training a model to predict natural language feedback (NLF) for invalid responses, and then training a response generation model conditioned on the predicted NLF, the invalid response, and the dialogue. SYNDICOM is scalable and does not require reinforcement learning. Empirical results on three tasks are evaluated using a broad range of metrics. SYNDICOM achieves a relative improvement of 53% over ChatGPT on ROUGE1, and human evaluators prefer SYNDICOM over ChatGPT 57% of the time. We will publicly release the code and the full dataset.
• Abstract（参考訳）: 常識推論は人間のコミュニケーションの重要な側面である。 大規模な言語モデルによって駆動される会話型AIの最近の進歩にもかかわらず、常識推論は難しい課題である。 本研究では,対話応答生成におけるコモンセンス向上手法であるSynDICOMを紹介する。 SynDICOMは2つのコンポーネントから構成される。 最初のコンポーネントは知識グラフから生成され、自然言語に合成された常識対話からなるデータセットである。 このデータセットには、対話コンテキストに対する有効応答と無効応答の両方と、無効応答に対する自然言語フィードバック(NLF)が含まれている。 第2の貢献は、無効な応答に対する自然言語フィードバック(nlf)を予測するモデルをトレーニングし、予測されたnlf、無効な応答、対話に基づく応答生成モデルをトレーニングする2段階の手順である。 SynDICOMはスケーラブルで、強化学習を必要としない。 3つのタスクに関する実験結果は、幅広いメトリクスを用いて評価される。 SynDICOMはROUGE1上でChatGPTよりも53%向上し、人間の評価者はChatGPTの57%よりもSynDICOMを好む。 コードと完全なデータセットを公開します。

関連論文リスト

• REALTALK: A 21-Day Real-World Dataset for Long-Term Conversation [51.97224538045096]
  本稿では、21日間のメッセージアプリ対話のコーパスであるREALTALKを紹介する。 EI属性とペルソナの整合性を比較し,現実世界の対話による課題を理解する。 その結果,モデルでは対話履歴のみからユーザをシミュレートすることが困難であり,特定のユーザチャットの微調整はペルソナのエミュレーションを改善することがわかった。
  論文  参考訳（メタデータ） (2025-02-18T20:29:01Z)
• CoPrUS: Consistency Preserving Utterance Synthesis towards more realistic benchmark dialogues [0.27309692684728604]
  自動パイプラインにおける合成通信エラーの生成について検討する。 実世界の対話では起こりうるが、ベンチマークデータセットでは表現できない3種類のコミュニケーションに焦点をあてる。 我々の2段階のアプローチは、最先端のLarge Language Model (LLM) を使用して、まずエラーを生成し、次に補修発話を作成します。
  論文  参考訳（メタデータ） (2024-12-10T13:51:55Z)
• Self-Directed Turing Test for Large Language Models [56.64615470513102]
  チューリングテストは、自然言語の会話においてAIが人間のような振る舞いを示すことができるかどうかを調べる。 従来のチューリングテストでは、各参加者が1回に1つのメッセージだけを送信する厳格な対話形式を採用している。 本稿では,バーストダイアログ形式を用いた自己指示チューリングテストを提案する。
  論文  参考訳（メタデータ） (2024-08-19T09:57:28Z)
• Learning From Free-Text Human Feedback -- Collect New Datasets Or Extend Existing Ones? [57.16050211534735]
  一般的な対話データセットにおける自由文フィードバックのタイプと頻度について検討する。 この結果から, エラータイプ, ユーザ応答タイプ, それらの関係性など, 調査したデータセットの構成に関する新たな知見が得られた。
  論文  参考訳（メタデータ） (2023-10-24T12:01:11Z)
• Evaluating Human-Language Model Interaction [79.33022878034627]
  我々は,対話型システムのコンポーネントを定義する,HALIE(Human-AI Language-based Interaction Evaluation)という新しいフレームワークを開発した。 ソーシャル対話,質問応答,クロスワードパズル,要約,メタファ生成という,対話のさまざまな形態をカバーする5つのタスクを設計する。 より優れた非対話的性能は、必ずしもより良い人間とLMの相互作用に必ずしも変換されない。
  論文  参考訳（メタデータ） (2022-12-19T18:59:45Z)
• OPAL: Ontology-Aware Pretrained Language Model for End-to-End Task-Oriented Dialogue [40.62090743056549]
  本稿では、エンドツーエンドタスク指向対話(TOD)のためのオントロジー対応事前学習言語モデル(OPAL)を提案する。 チャット型対話モデルとは異なり、タスク指向対話モデルは少なくとも2つのタスク固有モジュールを満たす:対話状態トラッカー(DST)と応答生成器(RG)。
  論文  参考訳（メタデータ） (2022-09-10T04:38:27Z)
• DialogVED: A Pre-trained Latent Variable Encoder-Decoder Model for Dialog Response Generation [80.45816053153722]
  DialogVEDは、拡張エンコーダデコーダ事前トレーニングフレームワークに連続潜伏変数を導入し、応答の関連性と多様性を高める。 我々は,PersonaChat,DailyDialog,DSTC7-AVSDベンチマークを用いて応答生成実験を行った。
  論文  参考訳（メタデータ） (2022-04-27T16:18:15Z)
• Commonsense-Focused Dialogues for Response Generation: An Empirical Study [39.49727190159279]
  対話応答生成におけるコモンセンスの実証的研究について述べる。 まず、ConceptNetを利用して既存の対話データセットから共通感覚対話を自動的に抽出する。 次に、対話的な環境での社会的常識を示すことを目的とした、25K対話を備えた対話データセットを新たに収集する。
  論文  参考訳（メタデータ） (2021-09-14T04:32:09Z)
• TOD-BERT: Pre-trained Natural Language Understanding for Task-Oriented Dialogue [113.45485470103762]
  本研究では,言語モデリングのためのタスク指向対話データセットを,人間とマルチターンの9つに統合する。 事前学習時の対話動作をモデル化するために,ユーザトークンとシステムトークンをマスク付き言語モデルに組み込む。
  論文  参考訳（メタデータ） (2020-04-15T04:09:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。