論文の概要: Automated User Experience Testing through Multi-Dimensional Performance
Impact Analysis
- arxiv url: http://arxiv.org/abs/2104.03453v1
- Date: Thu, 8 Apr 2021 01:18:01 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-10 01:11:45.206176
- Title: Automated User Experience Testing through Multi-Dimensional Performance
Impact Analysis
- Title(参考訳): 多次元性能影響分析によるユーザエクスペリエンス自動テスト
- Authors: Chidera Biringa, Gokhan Kul
- Abstract要約: 新規な自動ユーザエクスペリエンステスト手法を提案する。
コードの変更が時間単位とシステムテストにどう影響するかを学び、この情報に基づいてユーザエクスペリエンスの変更を推定します。
当社のオープンソースツールは,ランダムフォレストレグレッサで絶対誤差率3.7%を達成した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Although there are many automated software testing suites, they usually focus
on unit, system, and interface testing. However, especially software updates
such as new security features have the potential to diminish user experience.
In this paper, we propose a novel automated user experience testing methodology
that learns how code changes impact the time unit and system tests take, and
extrapolate user experience changes based on this information. Such a tool can
be integrated into existing continuous integration pipelines, and it provides
software teams immediate user experience feedback. We construct a feature set
from lexical, layout, and syntactic characteristics of the code, and using
Abstract Syntax Tree-Based Embeddings, we can calculate the approximate
semantic distance to feed into a machine learning algorithm. In our
experiments, we use several regression methods to estimate the time impact of
software updates. Our open-source tool achieved 3.7% mean absolute error rate
with a random forest regressor.
- Abstract(参考訳): 自動化されたソフトウェアテストスイートは数多く存在するが、通常はユニット、システム、インターフェーステストに重点を置いている。
しかし、特に新しいセキュリティ機能のようなソフトウェアアップデートは、ユーザーエクスペリエンスを低下させる可能性がある。
本稿では,コード変更が時間単位とシステムテストにどのように影響するかを学習し,その情報に基づいてユーザエクスペリエンスの変化を概説する,新しいユーザエクスペリエンステスト手法を提案する。
このようなツールは既存の継続的インテグレーションパイプラインに統合することができ、ソフトウェアチームが即座にユーザエクスペリエンスのフィードバックを提供する。
我々は,構文的,レイアウト,構文的特徴からなる特徴セットを構築し,抽象構文木ベース埋め込みを用いて,近似意味距離を計算し,機械学習アルゴリズムに入力する。
実験では,ソフトウェア更新の時間的影響を推定するために,いくつかの回帰手法を用いた。
当社のオープンソースツールは,ランダムフォレストレグレッサで絶対誤差率3.7%を達成した。
関連論文リスト
- MINT: Evaluating LLMs in Multi-turn Interaction with Tools and Language
Feedback [78.60644407028022]
我々は,大規模言語モデルのマルチターンインタラクションによる課題解決能力を評価するベンチマークであるMINTを紹介する。
LLMは一般的に、ツールと言語フィードバックの恩恵を受けます。
LLMの評価、教師あり指導ファインタニング(SIFT)、人間からのフィードバックからの強化学習(RLHF)は、一般的にマルチターン能力を損なう。
論文 参考訳(メタデータ) (2023-09-19T15:25:42Z) - TestLab: An Intelligent Automated Software Testing Framework [0.0]
TestLabは、一連のテストメソッドを収集し、人工知能を使ってそれらを自動化しようとする自動ソフトウェアテストフレームワークである。
最初の2つのモジュールは、異なる視点から脆弱性を特定することを目的としており、3番目のモジュールは、テストケースを自動的に生成することで、従来の自動ソフトウェアテストを強化する。
論文 参考訳(メタデータ) (2023-06-06T11:45:22Z) - ConvLab-3: A Flexible Dialogue System Toolkit Based on a Unified Data
Format [88.33443450434521]
タスク指向対話(TOD)システムはデジタルアシスタントとして機能し、フライトの予約やレストランの検索といった様々なタスクを通じてユーザを誘導する。
TODシステムを構築するための既存のツールキットは、データ、モデル、実験環境の包括的な配列を提供するのに不足することが多い。
本稿では,このギャップを埋めるための多面的対話システムツールキットConvLab-3を紹介する。
論文 参考訳(メタデータ) (2022-11-30T16:37:42Z) - ALBench: A Framework for Evaluating Active Learning in Object Detection [102.81795062493536]
本稿では、オブジェクト検出におけるアクティブラーニングを評価するために、ALBenchという名前のアクティブラーニングベンチマークフレームワークをコントリビュートする。
自動深層モデルトレーニングシステム上で開発されたこのALBenchフレームワークは、使いやすく、さまざまなアクティブな学習アルゴリズムと互換性があり、同じトレーニングおよびテストプロトコルを保証する。
論文 参考訳(メタデータ) (2022-07-27T07:46:23Z) - SUPERNOVA: Automating Test Selection and Defect Prevention in AAA Video
Games Using Risk Based Testing and Machine Learning [62.997667081978825]
従来の手法では、成長するソフトウェアシステムではスケールできないため、ビデオゲームのテストはますます難しいタスクになります。
自動化ハブとして機能しながら,テスト選択と欠陥防止を行うシステム SUPERNOVA を提案する。
この直接的な影響は、未公表のスポーツゲームタイトルの55%以上のテスト時間を減らすことが観察されている。
論文 参考訳(メタデータ) (2022-03-10T00:47:46Z) - Engineering the Neural Automatic Passenger Counter [0.0]
我々は、信頼性、性能、そして品質のカウントを向上させるために、機械学習の様々な側面を探求し、活用する。
アンサンブル量子化のようなアグリゲーション技術がバイアスを減少させる方法を示し、その結果の全体的拡散について考察する。
論文 参考訳(メタデータ) (2022-03-02T14:56:11Z) - Nirikshak: A Clustering Based Autonomous API Testing Framework [0.0]
Nirikshakは、REST APIテストのための自立テストフレームワークである。
REST APIテスト手順の実行において、レベル2の自律性を達成する。
Nirikshakはコミュニティ向けのオープンソースソフトウェアとしてhttps://github.com/yashmahalwal/nirikshakで公開されている。
論文 参考訳(メタデータ) (2021-12-15T18:05:27Z) - Agents for Automated User Experience Testing [4.6453787256723365]
自動UXテストのためのエージェントベースのアプローチを提案する。
我々は,基本問題解決スキルと中核的影響モデルを備えたエージェントを開発した。
この研究はまだ原始的な状態にあるが、この結果が知的エージェントの使用に強く影響していると我々は信じている。
論文 参考訳(メタデータ) (2021-04-13T14:13:28Z) - Scaling Systematic Literature Reviews with Machine Learning Pipelines [57.82662094602138]
体系的なレビューは、科学的文書からデータを抽出する。
これらの側面をそれぞれ自動化するパイプラインを構築し、多くの人間時間対システム品質トレードオフを実験します。
人間の専門的アノテーションの2週間だけで、パイプラインシステム全体の驚くほどの精度と一般性が得られることが分かりました。
論文 参考訳(メタデータ) (2020-10-09T16:19:42Z) - Integrated Benchmarking and Design for Reproducible and Accessible
Evaluation of Robotic Agents [61.36681529571202]
本稿では,開発とベンチマークを統合した再現性ロボット研究の新しい概念について述べる。
このセットアップの中心的なコンポーネントの1つはDuckietown Autolabであり、これは比較的低コストで再現可能な標準化されたセットアップである。
本研究では,インフラを用いて実施した実験の再現性を解析し,ロボットのハードウェアや遠隔実験室間でのばらつきが低いことを示す。
論文 参考訳(メタデータ) (2020-09-09T15:31:29Z) - PHOTONAI -- A Python API for Rapid Machine Learning Model Development [2.414341608751139]
PHOTONAIは、機械学習モデル開発の簡素化と高速化を目的とした、ハイレベルなPython APIである。
これは統一フレームワークとして機能し、ユーザーは異なるツールボックスからのアルゴリズムをカスタムのアルゴリズムシーケンスに簡単にアクセスし、組み合わせることができる。
論文 参考訳(メタデータ) (2020-02-13T10:33:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。