論文の概要: Quality Assurance of Generative Dialog Models in an Evolving Conversational Agent Used for Swedish Language Practice

• arxiv url: http://arxiv.org/abs/2203.15414v1
• Date: Tue, 29 Mar 2022 10:25:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-30 12:55:04.839094
• Title: Quality Assurance of Generative Dialog Models in an Evolving Conversational Agent Used for Swedish Language Practice
• Title（参考訳）: スウェーデン語実践における進化型会話エージェントにおける生成対話モデルの品質保証
• Authors: Markus Borg and Johan Bengtsson and Harald \"Osterling and Alexander Hagelborn and Isabella Gagner and Piotr Tomaszewski
• Abstract要約: 提案する1つのソリューションは、人中心の対話型言語実践のためのAI対応の会話エージェントである。 仮想面接のために訓練された独自の生成ダイアログモデルの品質保証を目標とした行動研究の成果を報告する。
• 参考スコア（独自算出の注目度）: 59.705062519344
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to the migration megatrend, efficient and effective second-language acquisition is vital. One proposed solution involves AI-enabled conversational agents for person-centered interactive language practice. We present results from ongoing action research targeting quality assurance of proprietary generative dialog models trained for virtual job interviews. The action team elicited a set of 38 requirements for which we designed corresponding automated test cases for 15 of particular interest to the evolving solution. Our results show that six of the test case designs can detect meaningful differences between candidate models. While quality assurance of natural language processing applications is complex, we provide initial steps toward an automated framework for machine learning model selection in the context of an evolving conversational agent. Future work will focus on model selection in an MLOps setting.
• Abstract（参考訳）: 移民メガトレンドのため、効率的かつ効果的な第二言語習得が不可欠である。 提案する1つのソリューションは、人中心の対話型言語実践のためのAI対応の会話エージェントである。 仮想面接のために訓練されたプロプライエタリな生成ダイアログモデルの品質保証を目的とした活動研究の結果を報告する。 アクションチームは、進化するソリューションに特に関心のある15のケースに対応する自動テストケースを設計した、38の要件を導き出しました。 その結果,6つのテストケースが候補モデル間の有意義な差異を検知できることがわかった。 自然言語処理アプリケーションの品質保証は複雑であるが、進化する会話エージェントの文脈における機械学習モデル選択のための自動化フレームワークへの最初のステップを提供する。 今後の作業は、mlops設定でのモデル選択にフォーカスする。

関連論文リスト

• Towards Autonomous Agents: Adaptive-planning, Reasoning, and Acting in Language Models [3.8936716676293917]
  本稿では,自律型意思決定言語エージェント構築のためのコンテキスト内学習アルゴリズムを提案する。 選択した言語エージェントは,テキストベースのゲーム環境においてタスクを解く能力を示す。
  論文  参考訳（メタデータ） (2024-08-12T19:18:05Z)
• An Adapter-Based Unified Model for Multiple Spoken Language Processing Tasks [3.015760169663536]
  複数の音声言語処理タスクを処理可能な統一モデルの開発において,アダプタベースの微調整の可能性を検討する。 アダプタをベースとしたファインチューニングにより、単一エンコーダデコーダモデルにより、平均18.4%の精度で複数の音声処理タスクを実行できることを示す。
  論文  参考訳（メタデータ） (2024-06-20T21:39:04Z)
• Facilitating Multi-Role and Multi-Behavior Collaboration of Large Language Models for Online Job Seeking and Recruiting [51.54907796704785]
  既存の手法は履歴書とジョブ記述の潜在意味論をモデル化し、それらの間に一致する関数を学習することに依存している。 大規模言語モデル (LLM) の強力なロールプレイング能力に触発されて, LLM によるインタビュアーと候補者のモックインタビュープロセスを導入することを提案する。 そこで我々は,モックインタビュー生成とハンドシェイクプロトコルにおける双方向評価という2つのモジュールにパーソナライズされたマッチングプロセスを分割する,新しいフレームワークであるMockLLMを提案する。
  論文  参考訳（メタデータ） (2024-05-28T12:23:16Z)
• Learning Phonotactics from Linguistic Informants [54.086544221761486]
  本モデルでは,情報理論的なポリシーの1つに従って,データポイントを反復的に選択または合成する。 提案モデルでは,情報提供者を問う項目の選択に使用する情報理論のポリシーが,完全教師付きアプローチに匹敵する,あるいはそれ以上の効率性が得られることがわかった。
  論文  参考訳（メタデータ） (2024-05-08T00:18:56Z)
• Adapting Task-Oriented Dialogue Models for Email Conversations [4.45709593827781]
  本稿では,対話モデルの最新開発を長文会話に適用できる効果的な伝達学習フレームワーク(EMToD)を提案する。 提案するEMToDフレームワークは,事前学習した言語モデルに対する意図検出性能を45%向上し,タスク指向の電子メール会話において,事前学習した対話モデルに対する意図検出性能を30%向上することを示す。
  論文  参考訳（メタデータ） (2022-08-19T16:41:34Z)
• Learning an Effective Context-Response Matching Model with Self-Supervised Tasks for Retrieval-based Dialogues [88.73739515457116]
  我々は,次のセッション予測,発話復元,不整合検出,一貫性判定を含む4つの自己教師型タスクを導入する。 我々はPLMに基づく応答選択モデルとこれらの補助タスクをマルチタスク方式で共同で訓練する。 実験結果から,提案した補助的自己教師型タスクは,多ターン応答選択において大きな改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-09-14T08:44:46Z)
• Do Response Selection Models Really Know What's Next? Utterance Manipulation Strategies for Multi-turn Response Selection [11.465266718370536]
  本研究では,検索に基づく対話システムにおけるユーザとシステム発話履歴の最適応答を選択するタスクについて検討する。 この問題に対処するための発話操作戦略(UMS)を提案する。 UMSは、ダイアログコヒーレンスを維持するための応答選択モデルを支援するいくつかの戦略(挿入、削除、検索)から構成される。
  論文  参考訳（メタデータ） (2020-09-10T07:39:05Z)
• Modeling Long Context for Task-Oriented Dialogue State Generation [51.044300192906995]
  本稿では,シンプルで効果的な発話タグ付け手法と双方向言語モデルを用いたマルチタスク学習モデルを提案する。 提案手法は,入力対話コンテキストシーケンスが長い場合に,ベースラインの性能が著しく低下する,という問題を解決する。 本実験では,MultiWOZ 2.0データセットにおいて,ベースラインに対して7.03%の相対的改善を実現し,新しい最先端のジョイントゴール精度を52.04%に設定した。
  論文  参考訳（メタデータ） (2020-04-29T11:02:25Z)
• TOD-BERT: Pre-trained Natural Language Understanding for Task-Oriented Dialogue [113.45485470103762]
  本研究では,言語モデリングのためのタスク指向対話データセットを,人間とマルチターンの9つに統合する。 事前学習時の対話動作をモデル化するために,ユーザトークンとシステムトークンをマスク付き言語モデルに組み込む。
  論文  参考訳（メタデータ） (2020-04-15T04:09:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。