論文の概要: Modeling and Evaluating Personas with Software Explainability
Requirements
- arxiv url: http://arxiv.org/abs/2108.04640v1
- Date: Tue, 10 Aug 2021 12:43:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-18 21:30:08.633713
- Title: Modeling and Evaluating Personas with Software Explainability
Requirements
- Title（参考訳）: ソフトウェア説明可能性要件によるペルソナのモデリングと評価
- Authors: Henrique Ramos, Mateus Fonseca, Lesandro Ponciano
- Abstract要約: 本研究では,ユーザの説明責任感やニーズに関する情報を含むペルソナ作成プロセスについて検討する。
経験的調査では、61人のユーザの回答データからペルソナが作成される。
その結果、ユーザーは5人中3.7人の平均的なレベルでそれらの代表者として評価する5つの異なるペルソナ、そしてデザイナーは5人中3.5人の品質を持つと評価する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This work focuses on the context of software explainability, which is the
production of software capable of explaining to users the dynamics that govern
its internal functioning. User models that include information about their
requirements and their perceptions of explainability are fundamental when
building software with such capability. This study investigates the process of
creating personas that include information about users' explainability
perceptions and needs. The proposed approach is based on data collection with
questionnaires, modeling of empathy maps, grouping the maps, generating
personas from them and evaluation employing the Persona Perception Scale
method. In an empirical study, personas are created from 61 users' response
data to a questionnaire. The generated personas are evaluated by 60 users and
38 designers considering attributes of the Persona Perception Scale method. The
results include a set of 5 distinct personas that users rate as representative
of them at an average level of 3.7 out of 5, and designers rate as having
quality 3.5 out of 5. The median rate is 4 out of 5 in the majority of criteria
judged by users and designers. Both the personas and their creation and
evaluation approach are contributions of this study to the design of software
that satisfies the explainability requirement.
- Abstract（参考訳）: この研究は、ソフトウェア説明可能性(Software explainability)の文脈に焦点をあて、内部機能を管理するダイナミクスをユーザに説明できるソフトウェアの生産である。
要求に関する情報と説明可能性の認識を含むユーザモデルは、そのような能力を持つソフトウェアを構築する際に基本的なものである。
本研究では,ユーザの説明責任感やニーズに関する情報を含むペルソナ作成プロセスについて検討する。
提案手法は,質問票を用いたデータ収集,共感マップのモデル化,地図のグループ化,ペルソナの生成,ペルソナ知覚尺度を用いた評価に基づく。
経験的調査では、61人のユーザの回答データからペルソナが作成される。
生成したペルソナは,ペルソナ知覚尺度の属性を考慮したユーザ60名とデザイナ38名によって評価される。
結果には、5人中3.7人が代表として評価する5人のパーソナリティが含まれ、デザイナーは5人中3.5人の品質を評価できる。
中央値は、ユーザーやデザイナーが判断する基準の大部分で5つ中4つである。
ペルソナとそれらの作成および評価アプローチは、説明可能性要件を満たすソフトウェアの設計にこの研究の貢献である。
関連論文リスト
- Prometheus 2: An Open Source Language Model Specialized in Evaluating Other Language Models [92.66784679667441]
プロメテウス2は、人間とGPT-4の判断を密接に反映するより強力な評価器である。
ユーザ定義評価基準でグループ化された、直接評価とペアのランキングフォーマットの両方を処理できる。
4つの直接評価ベンチマークと4つのペアのランキングベンチマークで、Prometheus 2は人間と独自のLM判事との相関と合意を最も高く評価している。
論文 参考訳（メタデータ） (2024-05-02T17:59:35Z) - Towards Personalized Evaluation of Large Language Models with An
Anonymous Crowd-Sourcing Platform [64.76104135495576]
大規模言語モデルのための匿名クラウドソーシング評価プラットフォームであるBingJianを提案する。
このプラットフォームを通じて、ユーザーは質問を提出し、パーソナライズされ、潜在的に幅広い機能でモデルをテストできる。
論文 参考訳（メタデータ） (2024-03-13T07:31:20Z) - Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。
驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。
以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
論文 参考訳（メタデータ） (2023-12-10T23:13:23Z) - Exploring the Relationship Between Personality Traits and User Feedback [9.289846887298852]
本稿では,人格特性がユーザのフィードバックに及ぼす影響について予備的検討を行う。
56人の大学生が、コースで使用されるeラーニングツールの異なるソフトウェア機能についてフィードバックを提供した。
その結果,フラストレーションに対する感受性やストレス耐性の低下がユーザのフィードバックに悪影響を及ぼす可能性が示唆された。
論文 参考訳（メタデータ） (2023-07-22T10:10:27Z) - PersonaGen: A Tool for Generating Personas from User Feedback [16.4134789911217]
我々は、GPT-4モデルと知識グラフを用いて、よく処理されたユーザフィードバックからペルソナテンプレートを生成する新しいツールを提案する。
学生ソフトウェアプロジェクトに関わる小規模なユーザスタディから質的なフィードバックを用いてPersonaGenを評価した。
論文 参考訳（メタデータ） (2023-07-01T17:34:08Z) - Creating user stereotypes for persona development from qualitative data
through semi-automatic subspace clustering [0.0]
本稿では,ペルソナ作成プロセスの一部を自動化するために,ユーザステレオタイプをモデル化する手法を提案する。
結果は、人格設計者と人格設計者との違いが、異なる結果をもたらすことを示している。
提案アルゴリズムはパラメータ入力に基づいて同様の結果を与えるが、より厳密で最適なクラスタを見つけることができる。
論文 参考訳（メタデータ） (2023-06-26T09:49:51Z) - Assisting Human Decisions in Document Matching [52.79491990823573]
我々は,意思決定者のパフォーマンスを向上する支援情報の種類を評価するためのプロキシマッチングタスクを考案した。
ブラックボックスモデルによる説明を提供することで,マッチング作業におけるユーザの精度が低下することが判明した。
一方,タスク固有のデシラタに密接に対応するように設計されたカスタムメソッドは,ユーザのパフォーマンス向上に有効であることが判明した。
論文 参考訳（メタデータ） (2023-02-16T17:45:20Z) - ROSCOE: A Suite of Metrics for Scoring Step-by-Step Reasoning [63.77667876176978]
大規模言語モデルでは、最終回答を正当化するためにステップバイステップの推論を生成するように促された場合、ダウンストリームタスクの解釈可能性が改善されている。
これらの推論ステップは、モデルの解釈可能性と検証を大幅に改善するが、客観的にそれらの正確性を研究することは困難である。
本稿では、従来のテキスト生成評価指標を改善し拡張する、解釈可能な教師なし自動スコアのスイートであるROSを提案する。
論文 参考訳（メタデータ） (2022-12-15T15:52:39Z) - Micro-entries: Encouraging Deeper Evaluation of Mental Models Over Time
for Interactive Data Systems [7.578368459974474]
本稿では,ユーザによるシステム論理のメンタルモデルの評価について論じる。
メンタルモデルは、キャプチャと分析が難しい。
ユーザーが何を知り、どのように知っているかを説明することで、研究者は構造化された時間順の洞察を集めることができる。
論文 参考訳（メタデータ） (2020-09-02T18:27:04Z) - A Neural Topical Expansion Framework for Unstructured Persona-oriented
Dialogue Generation [52.743311026230714]
Persona Exploration and Exploitation (PEE)は、事前に定義されたユーザペルソナ記述を意味論的に相関したコンテンツで拡張することができる。
PEEはペルソナ探索とペルソナ搾取という2つの主要なモジュールで構成されている。
提案手法は, 自動評価と人的評価の両面で, 最先端のベースラインを上回っている。
論文 参考訳（メタデータ） (2020-02-06T08:24:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。