論文の概要: Helpfulness and Fairness of Task-Oriented Dialogue Systems

• arxiv url: http://arxiv.org/abs/2205.12554v1
• Date: Wed, 25 May 2022 07:58:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-27 07:50:00.745442
• Title: Helpfulness and Fairness of Task-Oriented Dialogue Systems
• Title（参考訳）: タスク指向対話システムのヘルプネスと公正性
• Authors: Jiao Sun, Yu Hou, Jiin Kim and Nanyun Peng
• Abstract要約: タスク指向対話システムは,ユーザからの質問に答え,即時支援を提供することを目的としている。 対話応答は、クエリに関連があり、一貫性があり、有用で、有益なものであると定義する。 我々は,対話システムの公平性を評価するために,異なるグループの有用度レベルを用いる。
• 参考スコア（独自算出の注目度）: 35.135740285082356
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Task-oriented dialogue systems aim to answer questions from users and provide immediate help. Therefore, how humans perceive their helpfulness is important. However, neither the human-perceived helpfulness of task-oriented dialogue systems nor its fairness implication has been studied yet. In this paper, we define a dialogue response as helpful if it is relevant & coherent, useful, and informative to a query and study computational measurements of helpfulness. Then, we propose utilizing the helpfulness level of different groups to gauge the fairness of a dialogue system. To study this, we collect human annotations for the helpfulness of dialogue responses and build a classifier that can automatically determine the helpfulness of a response. We design experiments under 3 information-seeking scenarios and collect instances for each from Wikipedia. With collected instances, we use carefully-constructed questions to query the state-of-the-art dialogue systems. Through analysis, we find that dialogue systems tend to be more helpful for highly-developed countries than less-developed countries, uncovering a fairness issue underlying these dialogue systems.
• Abstract（参考訳）: タスク指向対話システムは,ユーザからの質問に答え,即座に支援することを目的としている。 したがって、人間がいかに役に立つかは重要である。 しかし、タスク指向対話システムの人間による有益さやその公平さは、まだ研究されていない。 本稿では,対話応答が関連性があり,一貫性があり,有用であり,有益なものであると定義し,有用性の計算的測定について検討する。 そこで,対話システムの公平性を評価するために,異なるグループの有益性レベルを活用することを提案する。 そこで本研究では,対話応答の有用性に関する人間のアノテーションを収集し,応答の有用性を自動的に判定できる分類器を構築する。 3つの情報検索シナリオの下で実験を設計し、Wikipediaから各事例を収集する。 収集されたインスタンスでは、注意深く構築された質問を使って最先端の対話システムをクエリします。 分析の結果, 対話システムは, 発展途上国よりも高度に発達した国に有用である傾向にあり, これらの対話システムの基礎となる公平性の問題が明らかになった。

関連論文リスト

• PK-Chat: Pointer Network Guided Knowledge Driven Generative Dialogue Model [79.64376762489164]
  PK-Chatは、知識グラフ上のポインタネットワークと、事前訓練された言語モデルを組み合わせた、ポインタネットワーク誘導生成対話モデルである。 PK-Chatが対話で生成した単語は、単語リストの予測と外部知識グラフ知識の直接予測から導かれる。 PK-Chatに基づく対話システムは、地球科学の学術シナリオ向けに構築されている。
  論文  参考訳（メタデータ） (2023-04-02T18:23:13Z)
• PK-ICR: Persona-Knowledge Interactive Context Retrieval for Grounded Dialogue [21.266410719325208]
  ペルソナとナレッジ デュアルコンテキスト識別(ペルソナとナレッジ コンテクストの同定)は、与えられた対話において、ペルソナとナレッジを共同で識別するタスクである。 我々は,対話のすべての文脈を同時に活用する新しい接地検索手法を開発した。
  論文  参考訳（メタデータ） (2023-02-13T20:27:26Z)
• Target-Guided Dialogue Response Generation Using Commonsense and Data Augmentation [32.764356638437214]
  ターゲット誘導応答生成のための新しい手法を提案する。 また,既存の対話データセットをターゲット誘導生成のために再利用する手法を提案する。 我々の作業は、一般的に、対話システムの設計者が、システムが生み出す会話をより制御できるようにします。
  論文  参考訳（メタデータ） (2022-05-19T04:01:40Z)
• Towards Large-Scale Interpretable Knowledge Graph Reasoning for Dialogue Systems [109.16553492049441]
  よりスケーラブルで一般化可能な対話システムに知識推論機能を組み込む新しい手法を提案する。 我々の知識を最大限に活用するために、変圧器モデルが微分可能な知識グラフを解析して応答を生成するのは、これが初めてである。
  論文  参考訳（メタデータ） (2022-03-20T17:51:49Z)
• Task-oriented Dialogue Systems: performance vs. quality-optima, a review [0.0]
  最先端のタスク指向対話システムは、まだその可能性を最大限に発揮できていない。 他の会話の品質特性は、会話の成功を示すもの、そうでなければ、無視されることがある。 本稿では,対話システムの評価枠組みと対話システムにおける会話品質特性の役割について考察する。
  論文  参考訳（メタデータ） (2021-12-21T13:16:24Z)
• A Review of Dialogue Systems: From Trained Monkeys to Stochastic Parrots [0.0]
  人工知能をデプロイして、人間と会話できる自動対話エージェントを構築することを目指している。 本稿では,長年にわたって対話システムを構築するために開発された手法について概説する。
  論文  参考訳（メタデータ） (2021-11-02T08:07:55Z)
• Natural Language Understanding for Argumentative Dialogue Systems in the Opinion Building Domain [6.951113351928047]
  本稿では,情報検索領域における議論的対話システムの枠組みを提案する。 提案手法は,複数のユーザの意図を識別し,ユーザが自然言語で参照するシステム引数を識別する。
  論文  参考訳（メタデータ） (2021-03-03T21:17:24Z)
• Rethinking Dialogue State Tracking with Reasoning [76.0991910623001]
  本稿では, 対話状態の段階的追跡を, バックエンドデータの助けを借りて行うことを提案する。 実験の結果,MultiWOZ 2.1の連立信条精度は38.6%向上した。
  論文  参考訳（メタデータ） (2020-05-27T02:05:33Z)
• You Impress Me: Dialogue Generation via Mutual Persona Perception [62.89449096369027]
  認知科学の研究は、理解が高品質なチャット会話に不可欠なシグナルであることを示唆している。 そこで我々は,P2 Botを提案する。このP2 Botは,理解を明示的にモデル化することを目的とした送信機受信者ベースのフレームワークである。
  論文  参考訳（メタデータ） (2020-04-11T12:51:07Z)
• Recent Advances and Challenges in Task-oriented Dialog System [63.82055978899631]
  課題指向対話システムは、学術・産業社会でますます注目を集めている。 タスク指向ダイアログシステムにおける3つの重要なトピックについて論じる。(1)低リソース環境でのダイアログモデリングを容易にするデータ効率の改善、(2)ダイアログポリシー学習のためのマルチターンダイナミクスのモデリング、(3)ダイアログモデルへのドメイン知識の統合。
  論文  参考訳（メタデータ） (2020-03-17T01:34:56Z)
• Attention over Parameters for Dialogue Systems [69.48852519856331]
  我々は,異なる対話スキルを個別にパラメータ化する対話システムを学び,AoP(Attention over Parameters)を通じてそれぞれを選択し,組み合わせることを学ぶ。 実験の結果,MultiWOZ,In-Car Assistant,Persona-Chatの複合データセット上での競合性能が得られた。
  論文  参考訳（メタデータ） (2020-01-07T03:10:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。