論文の概要: Large Scale Multi-Actor Generative Dialog Modeling
- arxiv url: http://arxiv.org/abs/2005.06114v1
- Date: Wed, 13 May 2020 01:56:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-03 13:09:22.709519
- Title: Large Scale Multi-Actor Generative Dialog Modeling
- Title（参考訳）: 大規模マルチアクタ生成ダイアログモデリング
- Authors: Alex Boyd, Raul Puri, Mohammad Shoeybi, Mostofa Patwary, and Bryan
Catanzaro
- Abstract要約: 本稿では,俳優のペルソナにおける複数回会話を確率的にモデル化するために,過去の参照会話を条件づけた言語モデルである生成会話制御モデルを紹介する。
モデルのサイズを117Mから8.3Bに拡大すると、1.7Mの会話で23.14から13.14に改善される。
過去の会話を条件付きでモデル化することで、自動評価において難易度が0.47向上することがわかった。
- 参考スコア（独自算出の注目度）: 22.286624163849893
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Non-goal oriented dialog agents (i.e. chatbots) aim to produce varying and
engaging conversations with a user; however, they typically exhibit either
inconsistent personality across conversations or the average personality of all
users. This paper addresses these issues by controlling an agent's persona upon
generation via conditioning on prior conversations of a target actor. In doing
so, we are able to utilize more abstract patterns within a person's speech and
better emulate them in generated responses. This work introduces the Generative
Conversation Control model, an augmented and fine-tuned GPT-2 language model
that conditions on past reference conversations to probabilistically model
multi-turn conversations in the actor's persona. We introduce an accompanying
data collection procedure to obtain 10.3M conversations from 6 months worth of
Reddit comments. We demonstrate that scaling model sizes from 117M to 8.3B
parameters yields an improvement from 23.14 to 13.14 perplexity on 1.7M held
out Reddit conversations. Increasing model scale yielded similar improvements
in human evaluations that measure preference of model samples to the held out
target distribution in terms of realism (31% increased to 37% preference),
style matching (37% to 42%), grammar and content quality (29% to 42%), and
conversation coherency (32% to 40%). We find that conditionally modeling past
conversations improves perplexity by 0.47 in automatic evaluations. Through
human trials we identify positive trends between conditional modeling and style
matching and outline steps to further improve persona control.
- Abstract（参考訳）: 非ゴール指向の対話エージェント(チャットボットなど)は、ユーザとのさまざまな会話を創造することを目的としているが、通常、会話間の一貫性のないパーソナリティか、すべてのユーザの平均的なパーソナリティのいずれかを示す。
本稿では,対象俳優の事前会話を条件づけてエージェントのペルソナを生成時に制御することで,これらの問題に対処する。
そうすることで、人間の発話の中でより抽象的なパターンを活用し、生成された応答でよりエミュレートすることができるのです。
本研究は,アクターのペルソナにおける多ターン会話を確率論的にモデル化するために,過去の参照会話を条件とした拡張および微調整gpt-2言語モデルであるジェネレーティブ会話制御モデルを紹介する。
6ヶ月分のredditコメントから10.3mの会話を得るためのデータ収集手順を導入する。
我々は1.7Mから8.3Bへのスケールモデルサイズが1.7Mの会話で23.14から13.14に改善されることを実証した。
モデルスケールの増大は、リアル性(31%が37%から42%に増加)、スタイルマッチング(37%から42%)、文法と内容の質(29%から42%)、会話の一貫性(32%から40%)でモデルサンプルの嗜好を測定する人間の評価に類似した改善をもたらした。
自動評価において,過去の会話を条件付きモデリングすることでパープレキシティが0.47向上することがわかった。
人間の試行を通じて,条件付きモデリングとスタイルマッチングの正の傾向を特定し,さらにペルソナ制御を改善するためのアウトラインステップを示す。
関連論文リスト
- Grounding Language in Multi-Perspective Referential Communication [16.421832484760987]
マルチエージェント環境における表現生成と理解のためのタスクとデータセットを提案する。
我々は2,970人の人間が書いた参照表現のデータセットを収集し、それぞれが人間の理解的判断と組み合わせる。
自動モデルの性能を人間のパートナーとペアリングした話者とリスナーとして評価し,人間のエージェントのペアよりも遅れた参照生成と理解の遅延の両方におけるモデル性能を確認した。
論文 参考訳（メタデータ） (2024-10-04T22:42:30Z) - Estimating Contribution Quality in Online Deliberations Using a Large Language Model [4.911986505938227]
8人のアノテータとともに大きな言語モデル(LLM)を用いて、正当化、新規性、会話の拡張、さらなる拡張の可能性に基づいて貢献度を評価する。
他のアノテータからの平均評価を根拠として、モデルが個々のアノテータより優れていることを発見した。
本研究は,ナッジが検討の質に与える影響を評価することによって,自動品質評価の有用性について述べる。
論文 参考訳（メタデータ） (2024-08-21T18:41:32Z) - Faithful Persona-based Conversational Dataset Generation with Large
Language Models [10.506653172302222]
高品質な会話データセットは、ユーザと通信可能なAIモデルを開発する上で不可欠である。
我々は,会話の質を向上しつつ,初期データセットを拡張するためのGenerator-Criticアーキテクチャフレームワークを提案する。
我々はPersona-Chatからシードされた20万の会話からなるSynthetic-Persona-Chatをリリースする。
論文 参考訳（メタデータ） (2023-12-15T18:23:50Z) - Enhancing Chat Language Models by Scaling High-quality Instructional
Conversations [91.98516412612739]
まず,UltraChatという,体系的に設計され,多様で,情報的,大規模な会話データセットを提供する。
我々の目標は、人間がAIアシスタントで持つであろう対話の幅を捉えることです。
我々はLLaMAモデルを微調整し、強力な対話モデルであるUltraLLaMAを作成する。
論文 参考訳（メタデータ） (2023-05-23T16:49:14Z) - A Model-Agnostic Data Manipulation Method for Persona-based Dialogue
Generation [107.82729587882397]
現在のペルソナベースの対話データセットのスケールアップには費用がかかる。
このタスクの各データサンプルは、従来の対話データよりも複雑である。
本稿では,ペルソナをベースとした対話生成モデルにおいて,モデルに依存しないデータ操作手法を提案する。
論文 参考訳（メタデータ） (2022-04-21T03:49:54Z) - Plug-and-Play Conversational Models [62.77150879036442]
我々はデコード時にさらなる計算を必要としないアプローチを導入し、また大きな言語モデルの微調整も必要としない。
我々は、広範囲な自動的・人的評価を通じて、複数の望ましい属性について、生成した会話応答に対する高い制御を実証する。
論文 参考訳（メタデータ） (2020-10-09T03:17:51Z) - Dialogue Response Ranking Training with Large-Scale Human Feedback Data [52.12342165926226]
ソーシャルメディアのフィードバックデータを利用して、フィードバック予測のための大規模なトレーニングデータセットを構築します。
我々は,1300万対の人間のフィードバックデータに基づくGPT-2モデルであるDialogRPTを訓練した。
我々のランキングは、Redditのフィードバックを予測する上で、従来のダイアログの難易度ベースラインよりも優れています。
論文 参考訳（メタデータ） (2020-09-15T10:50:05Z) - The Adapter-Bot: All-In-One Controllable Conversational Model [66.48164003532484]
本稿では、DialGPTなどの固定バックボーンモデルを用いて、異なるアダプタを介してオンデマンド対話スキルをトリガーする対話モデルを提案する。
スキルに応じて、モデルはテキスト、テーブル、強調応答などの複数の知識タイプを処理できる。
我々は,既存の会話モデルと比較し,自動評価を用いたモデルの評価を行った。
論文 参考訳（メタデータ） (2020-08-28T10:59:31Z) - Recipes for building an open-domain chatbot [44.75975649076827]
良い会話には、会話のポイントとパートナーに耳を傾け、知識、共感、パーソナリティを適切に表示する必要がある。
適切なトレーニングデータと生成戦略を選択すると、大規模なモデルでこれらのスキルを習得できることが示される。
私たちは90M、2.7B、9.4Bのパラメータモデルでこれらのレシピの変種を構築し、モデルとコードを公開しています。
論文 参考訳（メタデータ） (2020-04-28T16:33:25Z) - Modality-Balanced Models for Visual Dialogue [102.35406085738325]
Visual Dialogタスクは、対話に対する次の応答を生成するために、画像情報と会話コンテキスト情報の両方を利用するモデルを必要とする。
過去の共同モダリティ(歴史とイメージ)モデルが過度に再現され,対話履歴を記憶する傾向が強いことを示す。
本稿では,共有パラメータを用いたアンサンブルとコンセンサス・ドロップアウト融合による2つのモデルの統合手法を提案する。
論文 参考訳（メタデータ） (2020-01-17T14:57:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。