論文の概要: Towards a Human-like Open-Domain Chatbot
- arxiv url: http://arxiv.org/abs/2001.09977v3
- Date: Thu, 27 Feb 2020 07:36:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-06 07:23:57.954272
- Title: Towards a Human-like Open-Domain Chatbot
- Title(参考訳): 人間のようなオープンドメインチャットボットを目指して
- Authors: Daniel Adiwardana, Minh-Thang Luong, David R. So, Jamie Hall, Noah
Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng
Lu, Quoc V. Le
- Abstract要約: この2.6Bパラメータニューラルネットワークは、単に次のトークンのパープレキシティを最小限にするために訓練されている。
本研究では,人間のようなマルチターン会話の重要要素を抽出するSSA(Sensibleness and Specificity Average)という評価指標を提案する。
- 参考スコア(独自算出の注目度): 56.94906081225566
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present Meena, a multi-turn open-domain chatbot trained end-to-end on data
mined and filtered from public domain social media conversations. This 2.6B
parameter neural network is simply trained to minimize perplexity of the next
token. We also propose a human evaluation metric called Sensibleness and
Specificity Average (SSA), which captures key elements of a human-like
multi-turn conversation. Our experiments show strong correlation between
perplexity and SSA. The fact that the best perplexity end-to-end trained Meena
scores high on SSA (72% on multi-turn evaluation) suggests that a human-level
SSA of 86% is potentially within reach if we can better optimize perplexity.
Additionally, the full version of Meena (with a filtering mechanism and tuned
decoding) scores 79% SSA, 23% higher in absolute SSA than the existing chatbots
we evaluated.
- Abstract(参考訳): meenaというマルチターンのオープンドメインチャットボットは、パブリックドメインのソーシャルメディアの会話から抽出、フィルタリングされたデータをエンドツーエンドで訓練する。
この2.6bパラメータニューラルネットワークは、単に次のトークンのパープレキシティを最小化するために訓練される。
また,人間ライクなマルチターン会話の重要な要素を捉えたssa(sensibleness and specificity average)と呼ばれる人間評価指標を提案する。
本実験は, パープレキシティとSSAとの間に強い相関関係を示した。
最高のパープレキシティのエンドツーエンドトレーニングであるMeenaは、SSA(マルチターン評価では72%)に高いスコアを与えているという事実は、パープレキシティをより良く最適化できれば、人間レベルのSSAが86%に達する可能性があることを示唆している。
さらに、Meenaのフルバージョン(フィルタリング機構とチューニングされた復号化)では、SSAが79%、絶対SSAが23%向上しました。
関連論文リスト
- AudioInsight: Detecting Social Contexts Relevant to Social Anxiety from Speech [10.648118103594586]
本研究では,環境音節を利用して社会的脅威の文脈を検出する手法を提案する。
我々は、相互作用パートナーの数(ダイアディック対グループ)と評価脅威の度合いの2つの重要な側面に焦点を当てる。
試料幅5倍のCross Validation (CV) では,90%の精度でグループ間相互作用からDyadicを識別し,83%で評価的脅威を検出できた。
論文 参考訳(メタデータ) (2024-07-19T17:01:12Z) - From Words and Exercises to Wellness: Farsi Chatbot for Self-Attachment Technique [1.7592522344393486]
私たちはFarsiでセルフアタッチメント(SAT)を通じてユーザを誘導する音声対応ロボットを開発した。
6000以上の発話のデータセットを収集し、ユーザー感情を12クラスに分類する新しい感情分析モジュールを開発し、精度は92%以上である。
当社のプラットフォームは,ほとんどのユーザ(75%),72%がインタラクションの後に気分が良くなり,74%がSAT Teacherのパフォーマンスに満足していた。
論文 参考訳(メタデータ) (2023-10-13T19:09:31Z) - Unsupervised Sentiment Analysis of Plastic Surgery Social Media Posts [91.3755431537592]
ソーシャルメディアプラットフォームにまたがる膨大なユーザー投稿は、主に人工知能(AI)のユースケースに使われていない。
自然言語処理(NLP)は、コーパス(corpora)として知られるドキュメントの体系を利用して、人間のような言語理解でコンピュータを訓練するAIのサブフィールドである。
本研究は, 教師なし解析の応用により, コンピュータがプラスティック手術に対する否定的, 肯定的, 中立的なユーザ感情を予測できることを示した。
論文 参考訳(メタデータ) (2023-07-05T20:16:20Z) - Evaluating Human-Language Model Interaction [79.33022878034627]
我々は,対話型システムのコンポーネントを定義する,HALIE(Human-AI Language-based Interaction Evaluation)という新しいフレームワークを開発した。
ソーシャル対話,質問応答,クロスワードパズル,要約,メタファ生成という,対話のさまざまな形態をカバーする5つのタスクを設計する。
より優れた非対話的性能は、必ずしもより良い人間とLMの相互作用に必ずしも変換されない。
論文 参考訳(メタデータ) (2022-12-19T18:59:45Z) - Using Sampling to Estimate and Improve Performance of Automated Scoring
Systems with Guarantees [63.62448343531963]
本稿では,既存のパラダイムを組み合わせることで,人間が知能的に収集する応答をサンプリングする手法を提案する。
比較的少ない予算で精度(平均19.80%)と二次重み付きカッパ(平均25.60%)の顕著な増加を観察した。
論文 参考訳(メタデータ) (2021-11-17T05:00:51Z) - Training Conversational Agents with Generative Conversational Networks [74.9941330874663]
我々は、生成会話ネットワークを使用して、自動的にデータを生成し、社会的会話エージェントを訓練する。
自動メトリクスと人的評価器を用いてTopicalChatのアプローチを評価し、10%のシードデータで100%のデータを使用するベースラインに近いパフォーマンスを示す。
論文 参考訳(メタデータ) (2021-10-15T21:46:39Z) - Low-Resource Adaptation of Open-Domain Generative Chatbots [0.0]
低パラメータモデルは、特定の領域を改善しながら、会話能力の一般的な知識を維持することができることを示す。
本稿では,質問型の多様さを考慮し,マルチターン会話を通して参照を追跡し,不整合性や潜在的有害な応答を除去する汎用フレームワークを提案する。
われわれのフレームワークはチャットとトランザクションタスクをシームレスに移行し、最終的にはデジタルアシスタントとの対話をより人間らしくする。
論文 参考訳(メタデータ) (2021-08-13T17:40:30Z) - UniCon: Unified Context Network for Robust Active Speaker Detection [111.90529347692723]
我々は、堅牢なアクティブ話者検出(ASD)のための新しい効率的なフレームワークUnified Context Network(UniCon)を導入する。
私たちのソリューションは、複数の種類のコンテキスト情報を共同でモデリングすることに焦点を当てた、新しく統合されたフレームワークです。
異なる設定下で、いくつかの挑戦的なASDベンチマークで徹底的なアブレーション研究が実施されている。
論文 参考訳(メタデータ) (2021-08-05T13:25:44Z) - A Hybrid Solution to Learn Turn-Taking in Multi-Party Service-based Chat
Groups [2.943984871413744]
テキストベースのチャットグループでは、利用可能な情報は送信者、テキストの内容、対話履歴のみである。
本稿では,これらの情報をコーパスとアーキテクチャを用いて予測タスクでどのように利用することができるかについて述べる。
論文 参考訳(メタデータ) (2020-01-14T22:37:21Z) - Hyperparameters optimization for Deep Learning based emotion prediction
for Human Robot Interaction [0.2549905572365809]
インセプションモジュールをベースとした畳み込みニューラルネットワークアーキテクチャを提案する。
モデルは人型ロボットNAOにリアルタイムに実装され、モデルの堅牢性を評価する。
論文 参考訳(メタデータ) (2020-01-12T05:25:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。