論文の概要: Explanation Needs in App Reviews: Taxonomy and Automated Detection
- arxiv url: http://arxiv.org/abs/2307.04367v1
- Date: Mon, 10 Jul 2023 06:48:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 17:52:23.977855
- Title: Explanation Needs in App Reviews: Taxonomy and Automated Detection
- Title(参考訳): アプリレビューにおける説明の必要性:分類と自動検出
- Authors: Max Unterbusch, Mersedeh Sadeghi, Jannik Fischbach, Martin Obaidi,
Andreas Vogelsang
- Abstract要約: アプリレビューでユーザによって表現される説明の必要性について検討する。
8つのアプリから1,730のアプリレビューを手作業でコーディングし、説明要求の分類を導きました。
ベスト分類器は、4つの異なるアプリの486種類の説明の必要性を認識し、重み付けされたFスコアは86%である。
- 参考スコア(独自算出の注目度): 2.545133021829296
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Explainability, i.e. the ability of a system to explain its behavior to
users, has become an important quality of software-intensive systems. Recent
work has focused on methods for generating explanations for various algorithmic
paradigms (e.g., machine learning, self-adaptive systems). There is relatively
little work on what situations and types of behavior should be explained. There
is also a lack of support for eliciting explainability requirements. In this
work, we explore the need for explanation expressed by users in app reviews. We
manually coded a set of 1,730 app reviews from 8 apps and derived a taxonomy of
Explanation Needs. We also explore several approaches to automatically identify
Explanation Needs in app reviews. Our best classifier identifies Explanation
Needs in 486 unseen reviews of 4 different apps with a weighted F-score of 86%.
Our work contributes to a better understanding of users' Explanation Needs.
Automated tools can help engineers focus on these needs and ultimately elicit
valid Explanation Needs.
- Abstract(参考訳): システムの振る舞いをユーザに説明できる機能である説明可能性(Explainability)は、ソフトウェア集約システムの重要な品質となっている。
最近の研究は、様々なアルゴリズムパラダイム(機械学習、自己適応システムなど)の説明を生成する手法に焦点を当てている。
どのような状況や振る舞いを説明すべきかについては,比較的少ない作業です。
また、説明可能性要件を引き出すためのサポートがない。
本稿では,アプリレビューにおけるユーザによる説明の必要性について検討する。
8つのアプリから1,730のアプリレビューを手作業でコーディングし、説明要求の分類を導きました。
また、アプリレビューで説明のニーズを自動的に識別するいくつかのアプローチも検討しています。
当社のベスト分類器は、重み付きf-scoreが86%の4つの異なるアプリの486の未確認レビューにおける説明ニーズを特定します。
私たちの仕事は、ユーザの説明ニーズをよりよく理解するのに役立ちます。
自動化ツールは、エンジニアがこれらのニーズに集中し、最終的に有効な説明ニーズを導き出すのに役立つ。
関連論文リスト
- Explanations in Everyday Software Systems: Towards a Taxonomy for Explainability Needs [1.4503034354870523]
参加者84名を対象にオンライン調査を行った。
調査回答から315の説明可能性要件を特定し,分類した。
本研究の主な貢献は2つある。
論文 参考訳(メタデータ) (2024-04-25T14:34:10Z) - Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。
驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。
以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
論文 参考訳(メタデータ) (2023-12-10T23:13:23Z) - Explaining Explanation: An Empirical Study on Explanation in Code Reviews [17.005837826213416]
コードレビューで使用される説明の種類を調査し,Large Language Models(LLMs)の可能性を探る。
Gerrit氏から733のコードレビューコメントを抽出し、提案や説明、あるいはその両方を含むかどうかに基づいて、手動でラベル付けしました。
分析の結果、コメントの42%は説明のない提案しか含んでいないことがわかった。
論文 参考訳(メタデータ) (2023-11-15T15:08:38Z) - Explaining $\mathcal{ELH}$ Concept Descriptions through Counterfactual
Reasoning [3.5323691899538128]
分類を本質的に透過的に行う方法は、記述論理の概念を使用することである。
一つの解決策は、「異なる分類を得るために特徴値をどう変えなければならないか」という疑問に答えるために反事実を用いることである。
論文 参考訳(メタデータ) (2023-01-12T16:06:06Z) - ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
本稿では,フィードバックを数発の分類として提供するという課題について考察する。
メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。
本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
論文 参考訳(メタデータ) (2021-07-23T22:41:28Z) - Search Methods for Sufficient, Socially-Aligned Feature Importance
Explanations with In-Distribution Counterfactuals [72.00815192668193]
特徴重要度(FI)推定は一般的な説明形式であり、テスト時に特定の入力特徴を除去することによって生じるモデル信頼度の変化を計算し、評価することが一般的である。
FIに基づく説明の未探索次元についていくつかの考察を行い、この説明形式に対する概念的および実証的な改善を提供する。
論文 参考訳(メタデータ) (2021-06-01T20:36:48Z) - Brain-inspired Search Engine Assistant based on Knowledge Graph [53.89429854626489]
developerbotは脳にインスパイアされた、knowledge graphの名前の検索エンジンアシスタントだ。
複雑なマルチ制約クエリを複数の順序制約に分割することで、多層クエリグラフを構築する。
次に、制約推論プロセスを認知科学の拡散活性化モデルに触発されたサブグラフ探索プロセスとしてモデル化する。
論文 参考訳(メタデータ) (2020-12-25T06:36:11Z) - This is not the Texture you are looking for! Introducing Novel
Counterfactual Explanations for Non-Experts using Generative Adversarial
Learning [59.17685450892182]
反実用説明システムは、入力画像を変更して反実用推論を可能にする。
本稿では, 対向画像から画像への変換技術に基づく, 対向画像の説明を新たに生成する手法を提案する。
その結果,我々のアプローチは,2つの最先端技術システムよりも,メンタルモデル,説明満足度,信頼度,感情,自己効力に関して有意に優れた結果をもたらすことがわかった。
論文 参考訳(メタデータ) (2020-12-22T10:08:05Z) - A Knowledge Driven Approach to Adaptive Assistance Using Preference
Reasoning and Explanation [3.8673630752805432]
本稿では,ユーザが何をしようとしているのかを推測するために,Analogical Theory of Mindを用いたロボットを提案する。
ユーザーが不確実か混乱している場合、ロボットはユーザーに説明を与える。
論文 参考訳(メタデータ) (2020-12-05T00:18:43Z) - Comparative Sentiment Analysis of App Reviews [0.0]
本研究は,アプリレビューの感情分類を行い,大学生のアプリ市場に対する行動を特定することを目的とする。
TF-IDFテキスト表現方式を用いて機械学習アルゴリズムを適用し,アンサンブル学習法の性能評価を行った。
論文 参考訳(メタデータ) (2020-06-17T09:28:07Z) - An Information-Theoretic Approach to Personalized Explainable Machine
Learning [92.53970625312665]
本稿では,予測とユーザ知識のための簡易確率モデルを提案する。
説明と予測の間の条件付き相互情報による説明の効果を定量化する。
論文 参考訳(メタデータ) (2020-03-01T13:06:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。