論文の概要: InterroLang: Exploring NLP Models and Datasets through Dialogue-based Explanations

• arxiv url: http://arxiv.org/abs/2310.05592v2
• Date: Mon, 23 Oct 2023 14:01:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 06:48:01.651811
• Title: InterroLang: Exploring NLP Models and Datasets through Dialogue-based Explanations
• Title（参考訳）: InterroLang: 対話ベースの説明によるNLPモデルとデータセットの探索
• Authors: Nils Feldhus, Qianli Wang, Tatiana Anikina, Sahil Chopra, Cennet Oguz, Sebastian M\"oller
• Abstract要約: 我々は,対話型説明フレームワークTalkToModelをNLPドメインに適用し,自由文合理化などの新たなNLP固有の操作を追加する。 説明のためのユーザクエリを識別するために、微調整および少数ショットプロンプトモデルの評価を行った。 本研究は,(1) 対話の正当性と有用性,(2) 再現性に関する2つのユーザスタディである。
• 参考スコア（独自算出の注目度）: 8.833264791078825
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While recently developed NLP explainability methods let us open the black box in various ways (Madsen et al., 2022), a missing ingredient in this endeavor is an interactive tool offering a conversational interface. Such a dialogue system can help users explore datasets and models with explanations in a contextualized manner, e.g. via clarification or follow-up questions, and through a natural language interface. We adapt the conversational explanation framework TalkToModel (Slack et al., 2022) to the NLP domain, add new NLP-specific operations such as free-text rationalization, and illustrate its generalizability on three NLP tasks (dialogue act classification, question answering, hate speech detection). To recognize user queries for explanations, we evaluate fine-tuned and few-shot prompting models and implement a novel Adapter-based approach. We then conduct two user studies on (1) the perceived correctness and helpfulness of the dialogues, and (2) the simulatability, i.e. how objectively helpful dialogical explanations are for humans in figuring out the model's predicted label when it's not shown. We found rationalization and feature attribution were helpful in explaining the model behavior. Moreover, users could more reliably predict the model outcome based on an explanation dialogue rather than one-off explanations.
• Abstract（参考訳）: 最近開発されたNLP説明可能性法では様々な方法でブラックボックスを開くことができるが(Madsenら、2022年)、この取り組みに欠けている要素は対話型インタフェースを提供する対話型ツールである。 このような対話システムは、例えば、明確化やフォローアップ質問を通じて、自然言語インターフェイスを通じて、コンテキスト化された方法でデータセットやモデルを探索するのに役立つ。 対話型説明フレームワークTalkToModel(Slackなど2022)をNLPドメインに適用し、自由文合理化などの新たなNLP固有の操作を追加し、3つのNLPタスク(対話行動分類、質問応答、ヘイトスピーチ検出)にその一般化性を示す。 説明のためのユーザクエリを認識するために,微調整および少数ショットプロンプトモデルを評価し,新しいアダプタベースアプローチを実装した。 次に,(1)対話の正当性と有用性を認識するための2つのユーザ研究を行い,(2)シミュレーション可能性,すなわち,モデルが示されていないときの予測ラベルの把握において,人間がいかに客観的に有用な対話的説明を行うかを明らかにする。 モデル行動の説明には合理化と特徴属性が有効であることがわかった。 さらに、ユーザーは1対1の説明よりも説明対話に基づいてモデル結果をより確実に予測できる。

関連論文リスト

• What if you said that differently?: How Explanation Formats Affect Human Feedback Efficacy and User Perception [53.4840989321394]
  我々は,QAモデルが生成した有理性の効果を分析し,その答えを支持する。 ユーザに対して,様々な形式で誤った回答とそれに対応する有理性を提示する。 このフィードバックの有効性を,文脈内学習を通じて評価する。
  論文  参考訳（メタデータ） (2023-11-16T04:26:32Z)
• Towards LLM-guided Causal Explainability for Black-box Text Classifiers [16.36602400590088]
  我々は,近年の大規模言語モデルにおける命令追従とテキスト理解機能を活用して,因果的説明可能性を高めることを目指している。 提案する3ステップパイプラインは,既製のLCMを用いて,入力テキスト中の潜時的・未観測な特徴を識別する。 我々は,複数のNLPテキスト分類データセットを用いたパイプライン実験を行い,興味深い,有望な結果を示した。
  論文  参考訳（メタデータ） (2023-09-23T11:22:28Z)
• SSP: Self-Supervised Post-training for Conversational Search [63.28684982954115]
  本稿では,対話型検索モデルを効率的に初期化するための3つの自己教師型タスクを備えた学習後パラダイムであるフルモデル(モデル)を提案する。 提案手法の有効性を検証するために,CAsT-19 と CAsT-20 の2つのベンチマークデータセットを用いて,会話検索タスクにモデルにより訓練後の会話エンコーダを適用した。
  論文  参考訳（メタデータ） (2023-07-02T13:36:36Z)
• APOLLO: A Simple Approach for Adaptive Pretraining of Language Models for Logical Reasoning [73.3035118224719]
  本稿では,論理的推論能力を改善した適応事前学習型言語モデルAPOLLOを提案する。 APOLLOはReClorで比較可能であり、LogiQAでベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-12-19T07:40:02Z)
• GRASP: Guiding model with RelAtional Semantics using Prompt [3.1275060062551208]
  本稿では Prompt (GRASP) を用いたRelAtional Semantics を用いた誘導モデルを提案する。 我々は、プロンプトベースの微調整アプローチを採用し、引数を意識したプロンプトマーカー戦略を用いて、ある対話における関係意味的手がかりをキャプチャする。 実験では、DialogREデータセット上でのF1とF1cのスコアの観点から、GRASPの最先端のパフォーマンスが評価された。
  論文  参考訳（メタデータ） (2022-08-26T08:19:28Z)
• Emotion Recognition in Conversation using Probabilistic Soft Logic [17.62924003652853]
  会話における感情認識(英: emotion recognition in conversation、ERC)とは、2つ以上の発話を含む会話に焦点を当てた感情認識のサブフィールドである。 我々は,宣言的テンプレート言語である確率的ソフト論理(PSL)にアプローチを実装した。 PSLは、ニューラルモデルからPSLモデルへの結果の取り込みのための機能を提供する。 提案手法を最先端の純粋ニューラルネットワークERCシステムと比較した結果,約20%の改善が得られた。
  論文  参考訳（メタデータ） (2022-07-14T23:59:06Z)
• TalkToModel: Understanding Machine Learning Models With Open Ended Dialogues [45.25552547278378]
  TalkToModelは、機械学習モデルを理解するためのオープンな対話システムである。 1)対話を行う自然言語インタフェース,2)自然言語を解釈する対話エンジン,3)操作を実行し説明を確実にする実行コンポーネントの3つの重要なコンポーネントから構成される。
  論文  参考訳（メタデータ） (2022-07-08T23:42:56Z)
• Learning Reasoning Paths over Semantic Graphs for Video-grounded Dialogues [73.04906599884868]
  対話文脈(PDC)における推論経路の新しい枠組みを提案する。 PDCモデルは、各質問と回答の語彙成分に基づいて構築されたセマンティックグラフを通じて、対話間の情報フローを発見する。 本モデルでは,この推論経路を通じて視覚情報とテキスト情報を逐次的に処理し,提案する特徴を用いて回答を生成する。
  論文  参考訳（メタデータ） (2021-03-01T07:39:26Z)
• Leakage-Adjusted Simulatability: Can Models Generate Non-Trivial Explanations of Their Behavior in Natural Language? [86.60613602337246]
  我々はNL説明を評価するためのリーク調整シミュラビリティ(LAS)指標を提案する。 LASは、どのように説明が直接アウトプットをリークするかを制御しながら、オブザーバがモデルのアウトプットを予測するのに役立つかを計測する。 マルチエージェントゲームとしての説明文生成を行い、ラベルリークをペナライズしながら、シミュラビリティの説明を最適化する。
  論文  参考訳（メタデータ） (2020-10-08T16:59:07Z)
• The Adapter-Bot: All-In-One Controllable Conversational Model [66.48164003532484]
  本稿では、DialGPTなどの固定バックボーンモデルを用いて、異なるアダプタを介してオンデマンド対話スキルをトリガーする対話モデルを提案する。 スキルに応じて、モデルはテキスト、テーブル、強調応答などの複数の知識タイプを処理できる。 我々は,既存の会話モデルと比較し,自動評価を用いたモデルの評価を行った。
  論文  参考訳（メタデータ） (2020-08-28T10:59:31Z)
• Generating Hierarchical Explanations on Text Classification via Feature Interaction Detection [21.02924712220406]
  特徴的相互作用を検出することによって階層的な説明を構築する。 このような説明は、単語とフレーズが階層の異なるレベルでどのように結合されるかを視覚化する。 実験は、モデルに忠実であり、人間に解釈可能な説明を提供する上で、提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2020-04-04T20:56:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。