論文の概要: SWAN: A Generic Framework for Auditing Textual Conversational Systems

• arxiv url: http://arxiv.org/abs/2305.08290v1
• Date: Mon, 15 May 2023 01:17:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-16 16:27:04.935302
• Title: SWAN: A Generic Framework for Auditing Textual Conversational Systems
• Title（参考訳）: SWAN: テキスト会話システム監査のためのジェネリックフレームワーク
• Authors: Tetsuya Sakai
• Abstract要約: このフレームワークは、会話セッションから抽出されたナゲットシーケンスに基づいてSWANスコアを算出する。 SWANフレームワークに組み込む価値のある20の基準(+1)のスキーマを提案する。
• 参考スコア（独自算出の注目度）: 30.450355853947677
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We present a simple and generic framework for auditing a given textual conversational system, given some samples of its conversation sessions as its input. The framework computes a SWAN (Schematised Weighted Average Nugget) score based on nugget sequences extracted from the conversation sessions. Following the approaches of S-measure and U-measure, SWAN utilises nugget positions within the conversations to weight the nuggets based on a user model. We also present a schema of twenty (+1) criteria that may be worth incorporating in the SWAN framework. In our future work, we plan to devise conversation sampling methods that are suitable for the various criteria, construct seed user turns for comparing multiple systems, and validate specific instances of SWAN for the purpose of preventing negative impacts of conversational systems on users and society. This paper was written while preparing for the ICTIR 2023 keynote (to be given on July 23, 2023).
• Abstract（参考訳）: 本稿では,会話セッションのサンプルを入力として,テキスト対話システムの監査を行うためのシンプルで汎用的なフレームワークを提案する。 このフレームワークは、会話セッションから抽出されたナゲットシーケンスに基づいてSWAN(Schematized Weighted Average Nugget)スコアを算出する。 S尺度とU尺度のアプローチに従い、SWANは会話内のナゲット位置を利用してユーザモデルに基づくナゲットの重み付けを行う。 また、SWANフレームワークに組み込む価値がある20の基準(+1)のスキーマも提示する。 今後の課題として,様々な基準に適合する会話サンプリング手法を考案し,複数のシステムを比較するためのシードユーザターンを構築し,ユーザや社会に対する会話システムのネガティブな影響を防ぐために,SWANの特定の事例を検証することを計画している。 この論文はICTIR 2023の基調講演(2023年7月23日発表予定)の準備中に書かれた。

関連論文リスト

• Context and System Fusion in Post-ASR Emotion Recognition with Large Language Models [15.716741829130331]
  大規模言語モデル(LLM)は、音声とテキストのモデリングにおいて重要な役割を担っている。 我々は,ASR後の音声感情予測における文脈と複数のシステムのアウトプットの最適利用を探求するために,GenSEC というタスクの促進について検討した。
  論文  参考訳（メタデータ） (2024-10-04T10:50:18Z)
• Contextual Dynamic Prompting for Response Generation in Task-oriented Dialog Systems [8.419582942080927]
  応答生成はタスク指向対話システムにおいて重要なコンポーネントの1つである。 本稿では,対話コンテキストからプロンプトを学習するテキスト動的プロンプトを実現する手法を提案する。 文脈的動的プロンプトは,3つの絶対点で構造化されたテキスト合成スコア citemehri-etal 2019 を用いて応答生成を改善することを示す。
  論文  参考訳（メタデータ） (2023-01-30T20:26:02Z)
• DIONYSUS: A Pre-trained Model for Low-Resource Dialogue Summarization [127.714919036388]
  DIONYSUSは、任意の新しいドメインでの対話を要約するための訓練済みエンコーダデコーダモデルである。 実験の結果,DIONYSUSは6つのデータセット上で既存の手法よりも優れていた。
  論文  参考訳（メタデータ） (2022-12-20T06:21:21Z)
• In-Context Learning for Few-Shot Dialogue State Tracking [55.91832381893181]
  In-context (IC) Learning framework for few-shot dialogue state tracking (DST)を提案する。 大規模な事前訓練言語モデル(LM)は、テストインスタンスといくつかの注釈付き例を入力として取り、パラメータの更新なしに直接対話状態をデコードする。 これにより、LMは、新しいドメインやシナリオに適応する際の、以前の数ショットのDST作業と比べて、より柔軟でスケーラブルになります。
  論文  参考訳（メタデータ） (2022-03-16T11:58:24Z)
• Conversational Search with Mixed-Initiative -- Asking Good Clarification Questions backed-up by Passage Retrieval [9.078765961879467]
  我々は,対話型検索のシナリオを混合開始型で扱う。つまり,ユーザ回答,システム回答(明確化質問),ユーザ回答などである。 本研究は,会話の文脈に応じて,次の明確化問題を選択するタスクに焦点をあてる。 提案手法は,関係する候補の明確化質問の初期選択と,それらの候補を再評価するための2つのディープラーニングモデルの微調整に使用される経路探索を利用する。
  論文  参考訳（メタデータ） (2021-12-14T11:27:16Z)
• QAConv: Question Answering on Informative Conversations [85.2923607672282]
  ビジネスメールやパネルディスカッション,作業チャネルなど,情報的な会話に重点を置いています。 合計で、スパンベース、フリーフォーム、および回答不能な質問を含む34,204のQAペアを収集します。
  論文  参考訳（メタデータ） (2021-05-14T15:53:05Z)
• The Sequence-to-Sequence Baseline for the Voice Conversion Challenge 2020: Cascading ASR and TTS [66.06385966689965]
  本稿では,音声変換チャレンジ(VCC)2020におけるSequence-to-Sequence(seq2seq)ベースラインシステムを提案する。 本稿では,まず入力音声を自動音声認識 (ASR) モデルで書き起こす,音声変換 (VC) のナイーブなアプローチを検討する。 本手法を,オープンソースのエンドツーエンド音声処理ツールキットであるESPnetを用いて,シーケンス・ツー・シーケンス(seq2seq)フレームワークで再検討する。
  論文  参考訳（メタデータ） (2020-10-06T02:27:38Z)
• Conversational Semantic Parsing [50.954321571100294]
  共参照解決やコンテキスト転送といったセッションベースのプロパティは、パイプラインシステムで下流で処理される。 60kの発話からなる20kセッションからなる,セッションベースで構成型タスク指向構文解析データセットを新たにリリースする。 セッションベース解析のためのSeq2Seqモデルの新たなファミリーを提案し、ATIS, SNIPS, TOP, DSTC2における現在の最先端技術と同等の性能を実現する。
  論文  参考訳（メタデータ） (2020-09-28T22:08:00Z)
• Hierarchical Pre-training for Sequence Labelling in Spoken Dialog [10.216901061363641]
  音声対話に適応した汎用表現を学習するための新しい手法を提案する。 変換器アーキテクチャに基づく階層エンコーダを用いて表現を得る。 プレトレーニングはOpenSubtitles(英語版)で行われ、2.3億ドル以上のトークンを含む対話ダイアログの大規模なコーパスである。
  論文  参考訳（メタデータ） (2020-09-23T13:54:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。