論文の概要: What Would You Ask the Machine Learning Model? Identification of User Needs for Model Explanations Based on Human-Model Conversations

• arxiv url: http://arxiv.org/abs/2002.05674v3
• Date: Fri, 31 Jul 2020 13:49:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-03 03:32:56.132845
• Title: What Would You Ask the Machine Learning Model? Identification of User Needs for Model Explanations Based on Human-Model Conversations
• Title（参考訳）: 機械学習モデルに何を尋ねますか? 人文モデル対話に基づくモデル記述のためのユーザニーズの同定
• Authors: Micha{\l} Ku\'zba, Przemys{\l}aw Biecek
• Abstract要約: 本研究は,対話的かつ反復的な対話探索から人間の操作者のニーズを予測モデルから収集するために,会話システムを用いた最初の試みである。 我々は、タイタニック号の生存確率を予測するために訓練された機械学習モデルについて話すためにDr_antを開発した。 1000以上の対話のコーパスを収集した上で、ユーザが聞きたいと思う最も一般的な質問を分析します。
• 参考スコア（独自算出の注目度）: 5.802346990263708
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently we see a rising number of methods in the field of eXplainable Artificial Intelligence. To our surprise, their development is driven by model developers rather than a study of needs for human end users. The analysis of needs, if done, takes the form of an A/B test rather than a study of open questions. To answer the question "What would a human operator like to ask the ML model?" we propose a conversational system explaining decisions of the predictive model. In this experiment, we developed a chatbot called dr_ant to talk about machine learning model trained to predict survival odds on Titanic. People can talk with dr_ant about different aspects of the model to understand the rationale behind its predictions. Having collected a corpus of 1000+ dialogues, we analyse the most common types of questions that users would like to ask. To our knowledge, it is the first study which uses a conversational system to collect the needs of human operators from the interactive and iterative dialogue explorations of a predictive model.
• Abstract（参考訳）: 最近、eXplainable Artificial Intelligenceの分野では、メソッドが増えている。 驚いたことに、彼らの開発は、エンドユーザーのニーズの研究ではなく、モデル開発者によって進められます。 ニーズの分析は、完了すれば、オープンな質問の研究ではなく、A/Bテストの形式を取る。 人間のオペレータはmlモデルに何を尋ねるのか?」という問いに答えるために,予測モデルの決定を説明する会話システムを提案する。 本研究では,タイタニック号の生存確率を予測するための機械学習モデルについて,Dr_antというチャットボットを開発した。 モデルのさまざまな側面についてDr_ant氏と話し、予測の背後にある根拠を理解することができます。 1000以上の対話のコーパスを収集し、ユーザが聞きたい最も一般的なタイプの質問を分析します。 我々の知る限り、これは人間の操作者のニーズを予測モデルの対話的かつ反復的な対話探索から収集する会話システムを用いた最初の研究である。

関連論文リスト

• Human Learning by Model Feedback: The Dynamics of Iterative Prompting with Midjourney [28.39697076030535]
  本稿では,そのようなイテレーションに沿ってユーザプロンプトのダイナミクスを解析する。 これらのイテレーションに沿った特定の特性に対して、プロンプトが予測通りに収束することを示します。 ユーザがモデルの好みに適応する可能性は、さらなるトレーニングのためにユーザデータの再利用に関する懸念を提起する。
  論文  参考訳（メタデータ） (2023-11-20T19:28:52Z)
• The System Model and the User Model: Exploring AI Dashboard Design [79.81291473899591]
  高度なAIシステムは、他の複雑なデバイスと同じようにダッシュボードを持つべきだ、と私たちは主張する。 多くのシステムにおいて、最も重要な2つのモデルはユーザーとシステム自体のものであると推測する。 これら2つのモデルを識別し、解釈し、表示する方法を見つけることは、AIのためのインターフェース研究のコア部分であるべきです。
  論文  参考訳（メタデータ） (2023-05-04T00:22:49Z)
• Robots-Dont-Cry: Understanding Falsely Anthropomorphic Utterances in Dialog Systems [64.10696852552103]
  非常に人為的な反応は、ユーザーが人間と対話していると考えることを不快に、あるいは暗黙的に騙すかもしれない。 9つの異なるデータソースからサンプリングした約900の2ターンダイアログの実現可能性に関する人間の評価を収集する。
  論文  参考訳（メタデータ） (2022-10-22T12:10:44Z)
• TalkToModel: Understanding Machine Learning Models With Open Ended Dialogues [45.25552547278378]
  TalkToModelは、機械学習モデルを理解するためのオープンな対話システムである。 1)対話を行う自然言語インタフェース,2)自然言語を解釈する対話エンジン,3)操作を実行し説明を確実にする実行コンポーネントの3つの重要なコンポーネントから構成される。
  論文  参考訳（メタデータ） (2022-07-08T23:42:56Z)
• Ditch the Gold Standard: Re-evaluating Conversational Question Answering [9.194536300785481]
  我々は,最先端CQAシステムの大規模評価を行う。 その結果,人間と機械の会話の分布は人間と機械の会話とは大きく異なることがわかった。 本研究では,予測履歴に基づく質問書き直し機構を提案する。
  論文  参考訳（メタデータ） (2021-12-16T11:57:56Z)
• Model Elicitation through Direct Questioning [22.907680615911755]
  ロボットが人間のモデルをモデルからローカライズする方法を示す。 ロボットのチームメイトモデルに対する理解を深めるための質問を生成する方法を示す。
  論文  参考訳（メタデータ） (2020-11-24T18:17:16Z)
• The Adapter-Bot: All-In-One Controllable Conversational Model [66.48164003532484]
  本稿では、DialGPTなどの固定バックボーンモデルを用いて、異なるアダプタを介してオンデマンド対話スキルをトリガーする対話モデルを提案する。 スキルに応じて、モデルはテキスト、テーブル、強調応答などの複数の知識タイプを処理できる。 我々は,既存の会話モデルと比較し,自動評価を用いたモデルの評価を行った。
  論文  参考訳（メタデータ） (2020-08-28T10:59:31Z)
• Investigation of Sentiment Controllable Chatbot [50.34061353512263]
  本稿では,反応の感情をスケールまたは調整する4つのモデルについて検討する。 モデルはペルソナベースのモデル、強化学習、プラグアンドプレイモデル、CycleGANである。 入力に対して応答が妥当かどうかを推定するために,機械評価メトリクスを開発する。
  論文  参考訳（メタデータ） (2020-07-11T16:04:30Z)
• Knowledge Injection into Dialogue Generation via Language Models [85.65843021510521]
  InjKは対話生成モデルに知識を注入するための2段階のアプローチである。 まず、大規模言語モデルをトレーニングし、テキスト知識としてクエリする。 次に、対話生成モデルを作成し、テキスト知識と対応する応答を逐次生成する。
  論文  参考訳（メタデータ） (2020-04-30T07:31:24Z)
• Recipes for building an open-domain chatbot [44.75975649076827]
  良い会話には、会話のポイントとパートナーに耳を傾け、知識、共感、パーソナリティを適切に表示する必要がある。 適切なトレーニングデータと生成戦略を選択すると、大規模なモデルでこれらのスキルを習得できることが示される。 私たちは90M、2.7B、9.4Bのパラメータモデルでこれらのレシピの変種を構築し、モデルとコードを公開しています。
  論文  参考訳（メタデータ） (2020-04-28T16:33:25Z)
• Learning Predictive Models From Observation and Interaction [137.77887825854768]
  世界との相互作用から予測モデルを学ぶことで、ロボットのようなエージェントが世界がどのように働くかを学ぶことができる。 しかし、複雑なスキルのダイナミクスを捉えるモデルを学ぶことは大きな課題である。 本研究では,人間などの他のエージェントの観察データを用いて,トレーニングセットを増強する手法を提案する。
  論文  参考訳（メタデータ） (2019-12-30T01:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。