Fugu-MT 論文翻訳(概要): Jurassic is (almost) All You Need: Few-Shot Meaning-to-Text Generation for Open-Domain Dialogue

論文の概要: Jurassic is (almost) All You Need: Few-Shot Meaning-to-Text Generation for Open-Domain Dialogue

arxiv url: http://arxiv.org/abs/2110.08094v1
Date: Fri, 15 Oct 2021 13:42:25 GMT
ステータス: 処理完了
システム内更新日: 2021-10-18 18:22:32.525852
Title: Jurassic is (almost) All You Need: Few-Shot Meaning-to-Text Generation for Open-Domain Dialogue
Title（参考訳）: Jurassicは、オープン・ドメイン・ダイアログのためのFew-Shotのテキスト生成機能
Authors: Lena Reed, Cecilia Li, Angela Ramirez, Liren Wu, and Marilyn Walker (Natural Language and Dialogue Systems Lab, University of California, Santa Cruz)
Abstract要約: 我々は、Athenaの応答ジェネレータを使用して、2つの新しいニューラル平均テキストRGのトレーニングデータを作成する。私たちは、異なるチューニングセットサイズで、内部とクロスドメインの両方で、いくつかのショット実験を行います。 Athena-Jurassic の 10 ショットチューニングでは,コヒーレンスやセマンティックな精度が著しく向上することを示す。
参考スコア（独自算出の注目度）: 0.576178320759792
License: http://creativecommons.org/licenses/by/4.0/
Abstract: One challenge with open-domain dialogue systems is the need to produce high-quality responses on any topic. We aim to improve the quality and coverage of Athena, an Alexa Prize dialogue system. We utilize Athena's response generators (RGs) to create training data for two new neural Meaning-to-Text RGs, Athena-GPT-Neo and Athena-Jurassic, for the movies, music, TV, sports, and video game domains. We conduct few-shot experiments, both within and cross-domain, with different tuning set sizes (2, 3, 10), prompt formats, and meaning representations (MRs) for sets of WikiData KG triples, and dialogue acts with 14 possible attribute combinations. Our evaluation uses BLEURT and human evaluation metrics, and shows that with 10-shot tuning, Athena-Jurassic's performance is significantly better for coherence and semantic accuracy. Experiments with 2-shot tuning on completely novel MRs results in a huge performance drop for Athena-GPT-Neo, whose semantic accuracy falls to 0.41, and whose untrue hallucination rate increases to 12%. Experiments with dialogue acts for video games show that with 10-shot tuning, both models learn to control dialogue acts, but Athena-Jurassic has significantly higher coherence, and only 4% untrue hallucinations. Our results suggest that Athena-Jurassic can reliably produce outputs of high-quality for live systems with real users. To our knowledge, these are the first results demonstrating that few-shot tuning on a massive language model can create NLGs that generalize to new domains, and produce high-quality, semantically-controlled, conversational responses directly from MRs and KG triples.
Abstract（参考訳）: オープンドメイン対話システムの課題の1つは、あらゆるトピックに対して高品質な応答を生成する必要があることである。我々はalexa prize対話システムであるathenaの品質とカバレッジの向上を目指している。我々はAthenaのレスポンスジェネレータ(RG)を用いて、映画、音楽、テレビ、スポーツ、ビデオゲームの領域で、新しい2つのニューラル平均テキストRG、Athena-GPT-NeoとAthena-Jurassicのトレーニングデータを作成する。我々は,wikidata kgトリプルの組に対して,チューニングセットサイズ(2, 3, 10),プロンプトフォーマット,意味表現(2, mrs)の異なるドメイン内とクロスドメインの両方で,わずかなショット実験を行い,14の属性の組み合わせが可能な対話動作を行った。評価はBLEURTと人的評価指標を用い,10ショットのチューニングにより,アテナ・ジュラシックのパフォーマンスがコヒーレンスと意味的精度において有意に向上したことを示す。全く新しいmrsの2ショットチューニングによる実験では、athena-gpt-neoは、意味的正確さが0.11に低下し、幻覚率が12%に向上した。ビデオゲームにおける対話行為の実験では、両方のモデルが10ショットのチューニングで対話行為の制御を学ぶが、アテナ・ジュラシックのコヒーレンスは著しく高く、幻覚は4%に過ぎなかった。以上の結果から,Athena-Jurassicは実ユーザを持つライブシステムにおいて,高品質な出力を確実に生成できることが示唆された。私たちの知る限りでは、巨大な言語モデルでのわずかなチューニングによって、新しいドメインに一般化し、mrsとkgトリプルから直接高品質で意味的に制御された会話応答を生成するnlgが作成できることを示す最初の結果です。

関連論文リスト

Building Multimodal AI Chatbots [2.1987180245567246]
この研究の目的は、人間とチャットし、関連する写真を共有するマルチモーダルAIシステムを作ることだ。テキストを理解する画像検索器と、画像を理解する応答生成器の2つのマルチモーダルディープラーニングモデルを提案する。 2つのモデルは、各セッションで写真を共有するオープンドメインの対話データセットであるPhotoChatでトレーニングされ、評価される。
論文参考訳（メタデータ） (2023-04-21T16:43:54Z)
Let's Get Personal: Personal Questions Improve SocialBot Performance in the Alexa Prize [0.0]
音声対話コミュニティにおいて,対話型オープンドメイン対話システムの構築に焦点が当てられている。従来の対話システムとは異なり、これらの対話システムは特定の情報やドメインの制限を前提とすることはできない。我々は、Amazon Echoユーザーが大規模にアクセスし、評価する、堅牢なオープンドメイン会話システムであるAthenaを開発した。
論文参考訳（メタデータ） (2023-03-09T00:10:29Z)
A Transformer-based Response Evaluator for Open-Domain Spoken Conversation [1.0474108328884806]
本研究では,Alexa Prize SocialBotであるAthenaシステムにおける応答選択について検討する。オープンドメイン対話における既製の応答ランキング法をいくつか比較する。我々は、Recall@1の70.79%のAthena-RRが、Athena-Heuristicとオフザシェルフランクの全てを大きなマージンで上回っていることを発見した。
論文参考訳（メタデータ） (2023-02-09T03:38:07Z)
RHO ($\rho$): Reducing Hallucination in Open-domain Dialogues with Knowledge Grounding [57.46495388734495]
本稿では、知識グラフ(KG)からリンクされたエンティティと関係述語を表現したRHO(rho$)を提案する。本稿では,(1)テキスト埋め込みと対応するKG埋め込みを組み合わせるための局所知識基盤,(2)注目機構を介してRHOにマルチホップ推論能力を持たせるためのグローバル知識基盤を提案する。
論文参考訳（メタデータ） (2022-12-03T10:36:34Z)
Reranking Overgenerated Responses for End-to-End Task-Oriented Dialogue Systems [71.33737787564966]
エンド・ツー・エンド(E2E)タスク指向対話システム(ToD)は、いわゆる「いいね! 本稿では,システムによって当初過剰に生成された応答リストから高品質な項目を選択する方法を提案する。本研究では,最先端のE2E ToDシステムを2.4BLEU,3.2ROUGE,2.8 METEORで改善し,新たなピーク値を得た。
論文参考訳（メタデータ） (2022-11-07T15:59:49Z)
Fully Automated End-to-End Fake Audio Detection [57.78459588263812]
本稿では,完全自動エンドツーエンド音声検出手法を提案する。まず、wav2vec事前学習モデルを用いて、音声の高レベル表現を得る。ネットワーク構造には, Light-DARTS という異種アーキテクチャサーチ (DARTS) の修正版を用いる。
論文参考訳（メタデータ） (2022-08-20T06:46:55Z)
DialogVED: A Pre-trained Latent Variable Encoder-Decoder Model for Dialog Response Generation [80.45816053153722]
DialogVEDは、拡張エンコーダデコーダ事前トレーニングフレームワークに連続潜伏変数を導入し、応答の関連性と多様性を高める。我々は,PersonaChat,DailyDialog,DSTC7-AVSDベンチマークを用いて応答生成実験を行った。
論文参考訳（メタデータ） (2022-04-27T16:18:15Z)
CommonsenseQA 2.0: Exposing the Limits of AI through Gamification [126.85096257968414]
現代自然言語理解モデルの能力をテストするベンチマークを構築した。本研究では,データ構築の枠組みとしてゲーミフィケーションを提案する。
論文参考訳（メタデータ） (2022-01-14T06:49:15Z)
MERLOT Reserve: Neural Script Knowledge through Vision and Language and Sound [90.1857707251566]
MERLOT Reserveは、時間とともに動画を共同で表現するモデルである。我々は、テキストとオーディオのスニペットをMASKトークンに置き換え、正しいマスクアウトスニペットを選択して学習する。私たちの目標は代替手段よりも早く学習し、大規模に機能します。
論文参考訳（メタデータ） (2022-01-07T19:00:21Z)
Athena 2.0: Contextualized Dialogue Management for an Alexa Prize SocialBot [3.4000625471791577]
Athena 2.0はAlexa Prize SocialBotで、過去2回のAlexa Prize Grand Challengesでファイナリストを務めた。本稿では,20/21コンペティションにおけるアテナのシステム設計と性能について述べる。
論文参考訳（メタデータ） (2021-11-03T20:54:20Z)
Modeling Performance in Open-Domain Dialogue with PARADISE [7.516971632888974]
本研究では,実際のユーザと数千の会話に参加した対話システムであるAthenaの性能を予測するためのPARADISEモデルを開発した。私たちのゴールは、任意のAlexa Prizeシステムの対話選択をリアルタイムで最適化するために使用できる汎用関数を学習することです。
論文参考訳（メタデータ） (2021-10-21T14:17:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。