論文の概要: TalkToModel: Understanding Machine Learning Models With Open Ended Dialogues

• arxiv url: http://arxiv.org/abs/2207.04154v1
• Date: Fri, 8 Jul 2022 23:42:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-12 13:07:43.615967
• Title: TalkToModel: Understanding Machine Learning Models With Open Ended Dialogues
• Title（参考訳）: TalkToModel: オープンエンドダイアログによる機械学習モデル理解
• Authors: Dylan Slack and Satyapriya Krishna and Himabindu Lakkaraju and Sameer Singh
• Abstract要約: TalkToModelは、機械学習モデルを理解するためのオープンな対話システムである。 1)対話を行う自然言語インタフェース,2)自然言語を解釈する対話エンジン,3)操作を実行し説明を確実にする実行コンポーネントの3つの重要なコンポーネントから構成される。
• 参考スコア（独自算出の注目度）: 45.25552547278378
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine Learning (ML) models are increasingly used to make critical decisions in real-world applications, yet they have also become more complex, making them harder to understand. To this end, several techniques to explain model predictions have been proposed. However, practitioners struggle to leverage explanations because they often do not know which to use, how to interpret the results, and may have insufficient data science experience to obtain explanations. In addition, most current works focus on generating one-shot explanations and do not allow users to follow up and ask fine-grained questions about the explanations, which can be frustrating. In this work, we address these challenges by introducing TalkToModel: an open-ended dialogue system for understanding machine learning models. Specifically, TalkToModel comprises three key components: 1) a natural language interface for engaging in dialogues, making understanding ML models highly accessible, 2) a dialogue engine that adapts to any tabular model and dataset, interprets natural language, maps it to appropriate operations (e.g., feature importance explanations, counterfactual explanations, showing model errors), and generates text responses, and 3) an execution component that run the operations and ensures explanations are accurate. We carried out quantitative and human subject evaluations of TalkToModel. We found the system understands user questions on novel datasets and models with high accuracy, demonstrating the system's capacity to generalize to new situations. In human evaluations, 73% of healthcare workers (e.g., doctors and nurses) agreed they would use TalkToModel over baseline point-and-click systems, and 84.6% of ML graduate students agreed TalkToModel was easier to use.
• Abstract（参考訳）: 機械学習(ML)モデルは、現実世界のアプリケーションにおいて重要な決定を下すためにますます使われていますが、さらに複雑になり、理解が難しくなっています。 この目的のために,モデル予測を説明するいくつかの手法が提案されている。 しかし、実践者は、どちらを使うべきか、結果をどう解釈するかを知らないことが多く、説明を得るためにデータサイエンスの経験が不足しているため、説明を活用するのに苦労する。 さらに、現在のほとんどの作業はワンショットの説明の生成に重点を置いており、ユーザがフォローアップしたり、説明に関するきめ細かい質問をしたりすることができない。 本研究では,機械学習モデルを理解するための対話システムであるTalkToModelを導入することで,これらの課題に対処する。 具体的には、talktomodelには3つの重要なコンポーネントがある。 1)対話に携わる自然言語インタフェースにより,MLモデルの理解を高度に活用する。 2)任意の表型モデルとデータセットに適応し,自然言語を解釈し,適切な操作(特徴重要説明,反事実説明,モデルエラー表示など)にマップし,テキスト応答を生成する対話エンジン 3) 操作を実行し、説明が正確であることを保証する実行コンポーネント。 我々はtalktomodelの定量的・人的評価を行った。 そこで本システムでは,新しいデータセットやモデルに対するユーザの質問を高精度に理解し,新たな状況への一般化能力を示す。 人間の評価では、医療従事者の73%(医師や看護師など)がベースラインのポイント・アンド・クリックシステム上でTalkToModelを使用することに同意し、84.6%の大学院生がTalkToModelの使用に同意した。

関連論文リスト

• InterroLang: Exploring NLP Models and Datasets through Dialogue-based Explanations [8.833264791078825]
  我々は,対話型説明フレームワークTalkToModelをNLPドメインに適用し,自由文合理化などの新たなNLP固有の操作を追加する。 説明のためのユーザクエリを識別するために、微調整および少数ショットプロンプトモデルの評価を行った。 本研究は,(1) 対話の正当性と有用性,(2) 再現性に関する2つのユーザスタディである。
  論文  参考訳（メタデータ） (2023-10-09T10:27:26Z)
• Learn to Explain: Multimodal Reasoning via Thought Chains for Science Question Answering [124.16250115608604]
  本稿では,SQA(Science Question Answering)について紹介する。SQA(Science Question Answering)は,21万のマルチモーダルな複数選択質問と多様な科学トピックと,それに対応する講義や説明による回答の注釈からなる新しいベンチマークである。 また,SQAでは,数ショットのGPT-3では1.20%,微調整のUnifiedQAでは3.99%の改善が見られた。 我々の分析は、人間に似た言語モデルは、より少ないデータから学習し、わずか40%のデータで同じパフォーマンスを達成するのに、説明の恩恵を受けることを示している。
  論文  参考訳（メタデータ） (2022-09-20T07:04:24Z)
• NLX-GPT: A Model for Natural Language Explanations in Vision and Vision-Language Tasks [18.13793282306575]
  自然言語説明(NLE)モデルは、ブラックボックスシステムの意思決定プロセスを説明することを目的としている。 NLX-GPTは汎用的でコンパクトで忠実な言語モデルであり,回答を同時に予測し,それを説明できる。 次に、多回に渡り、汎用的で、データバイアスがあり、複数の形式で説明を評価できる問題に対処する。
  論文  参考訳（メタデータ） (2022-03-09T22:57:15Z)
• Rethinking Explainability as a Dialogue: A Practitioner's Perspective [57.87089539718344]
  医師、医療専門家、政策立案者に対して、説明を求めるニーズと欲求について尋ねる。 本研究は, 自然言語対話の形での対話的説明を, 意思決定者が強く好むことを示唆する。 これらのニーズを考慮して、インタラクティブな説明を設計する際に、研究者が従うべき5つの原則を概説する。
  論文  参考訳（メタデータ） (2022-02-03T22:17:21Z)
• GreaseLM: Graph REASoning Enhanced Language Models for Question Answering [159.9645181522436]
  GreaseLMは、事前訓練されたLMとグラフニューラルネットワークの符号化された表現を、複数の層にわたるモダリティ相互作用操作で融合する新しいモデルである。 GreaseLMは、状況制約と構造化知識の両方の推論を必要とする問題に、より確実に答えることができる。
  論文  参考訳（メタデータ） (2022-01-21T19:00:05Z)
• Reason first, then respond: Modular Generation for Knowledge-infused Dialogue [43.64093692715295]
  大規模な言語モデルは、流動的な対話を生成できるが、しばしば事実の不正確さを幻覚させる。 本稿では,会話エージェントに知識を組み込むモジュールモデルであるKnowledge to Responseを提案する。 詳細な実験では、そのようなモデルが知識に基づく対話作業において幻覚を弱めることが判明した。
  論文  参考訳（メタデータ） (2021-11-09T15:29:43Z)
• When Can Models Learn From Explanations? A Formal Framework for Understanding the Roles of Explanation Data [84.87772675171412]
  個々のデータポイントの説明がモデリング性能を向上させる状況について検討する。 e-SNLI、TACRED、SemEvalの3つの既存のデータセットを使って説明します。
  論文  参考訳（メタデータ） (2021-02-03T18:57:08Z)
• Fusing Context Into Knowledge Graph for Commonsense Reasoning [21.33294077354958]
  外部エンティティ記述を利用して,グラフエンティティのコンテキスト情報を提供する。 CommonsenseQAタスクでは、まず質問と選択から概念を抽出し、これらの概念の間に関連するトリプルを見つけます。 CommonsenseQAデータセットでは、80.7%(シングルモデル)と83.3%(アンサンブルモデル)の精度で最新の結果を達成しています。
  論文  参考訳（メタデータ） (2020-12-09T00:57:49Z)
• An Information-Theoretic Approach to Personalized Explainable Machine Learning [92.53970625312665]
  本稿では,予測とユーザ知識のための簡易確率モデルを提案する。 説明と予測の間の条件付き相互情報による説明の効果を定量化する。
  論文  参考訳（メタデータ） (2020-03-01T13:06:29Z)
• What Would You Ask the Machine Learning Model? Identification of User Needs for Model Explanations Based on Human-Model Conversations [5.802346990263708]
  本研究は,対話的かつ反復的な対話探索から人間の操作者のニーズを予測モデルから収集するために,会話システムを用いた最初の試みである。 我々は、タイタニック号の生存確率を予測するために訓練された機械学習モデルについて話すためにDr_antを開発した。 1000以上の対話のコーパスを収集した上で、ユーザが聞きたいと思う最も一般的な質問を分析します。
  論文  参考訳（メタデータ） (2020-02-07T15:59:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。