論文の概要: Automated User Experience Testing through Multi-Dimensional Performance Impact Analysis

• arxiv url: http://arxiv.org/abs/2104.03453v1
• Date: Thu, 8 Apr 2021 01:18:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-10 01:11:45.206176
• Title: Automated User Experience Testing through Multi-Dimensional Performance Impact Analysis
• Title（参考訳）: 多次元性能影響分析によるユーザエクスペリエンス自動テスト
• Authors: Chidera Biringa, Gokhan Kul
• Abstract要約: 新規な自動ユーザエクスペリエンステスト手法を提案する。 コードの変更が時間単位とシステムテストにどう影響するかを学び、この情報に基づいてユーザエクスペリエンスの変更を推定します。 当社のオープンソースツールは,ランダムフォレストレグレッサで絶対誤差率3.7%を達成した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although there are many automated software testing suites, they usually focus on unit, system, and interface testing. However, especially software updates such as new security features have the potential to diminish user experience. In this paper, we propose a novel automated user experience testing methodology that learns how code changes impact the time unit and system tests take, and extrapolate user experience changes based on this information. Such a tool can be integrated into existing continuous integration pipelines, and it provides software teams immediate user experience feedback. We construct a feature set from lexical, layout, and syntactic characteristics of the code, and using Abstract Syntax Tree-Based Embeddings, we can calculate the approximate semantic distance to feed into a machine learning algorithm. In our experiments, we use several regression methods to estimate the time impact of software updates. Our open-source tool achieved 3.7% mean absolute error rate with a random forest regressor.
• Abstract（参考訳）: 自動化されたソフトウェアテストスイートは数多く存在するが、通常はユニット、システム、インターフェーステストに重点を置いている。 しかし、特に新しいセキュリティ機能のようなソフトウェアアップデートは、ユーザーエクスペリエンスを低下させる可能性がある。 本稿では,コード変更が時間単位とシステムテストにどのように影響するかを学習し,その情報に基づいてユーザエクスペリエンスの変化を概説する,新しいユーザエクスペリエンステスト手法を提案する。 このようなツールは既存の継続的インテグレーションパイプラインに統合することができ、ソフトウェアチームが即座にユーザエクスペリエンスのフィードバックを提供する。 我々は,構文的,レイアウト,構文的特徴からなる特徴セットを構築し,抽象構文木ベース埋め込みを用いて,近似意味距離を計算し,機械学習アルゴリズムに入力する。 実験では,ソフトウェア更新の時間的影響を推定するために,いくつかの回帰手法を用いた。 当社のオープンソースツールは,ランダムフォレストレグレッサで絶対誤差率3.7%を達成した。

関連論文リスト

• Towards Realistic Evaluation of Commit Message Generation by Matching Online and Offline Settings [77.20838441870151]
  コミットメッセージ生成は、ソフトウェアエンジニアリングにおいて重要なタスクであり、正しく評価することが難しい。 オンラインメトリック - VCSに生成されたメッセージをコミットする前にユーザが導入する編集回数 - を使用して、オフライン実験用のメトリクスを選択します。 その結果,編集距離が最も高い相関を示すのに対し,BLEUやMETEORなどの類似度は低い相関を示すことがわかった。
  論文  参考訳（メタデータ） (2024-10-15T20:32:07Z)
• Which Combination of Test Metrics Can Predict Success of a Software Project? A Case Study in a Year-Long Project Course [1.553083901660282]
  テストはソフトウェア開発プロジェクトの成功を保証する上で重要な役割を担います。 種々のテストが機能的適合性に与える影響を定量化できるかどうかを検討する。
  論文  参考訳（メタデータ） (2024-08-22T04:23:51Z)
• A Comprehensive Study on Automated Testing with the Software Lifecycle [0.6144680854063939]
  この研究は、自動テストがソフトウェアの品質を評価するのをいかに簡単にするか、手動テストと比べてどのように時間を節約するか、そして利点と欠点の観点から、それぞれのテストとどのように違うかを調べる。 ソフトウェアアプリケーションのテストプロセスは、単純化され、特定のテスト状況に合わせてカスタマイズされ、自動テストツールを使用してうまく実行される。
  論文  参考訳（メタデータ） (2024-05-02T06:30:37Z)
• Artificial intelligence for context-aware visual change detection in software test automation [5.174422378856116]
  本稿では,ソフトウェアテスト自動化における視覚的変化検出のためのグラフベースの新しい手法を提案する。 本手法は,ソフトウェアスクリーンショットからUI制御を正確に識別し,制御間の文脈的・空間的関係を表すグラフを構築する。 様々な単純で複雑なテストシナリオにおいて、視覚的ソフトウェアの変更を正確に検出できる。
  論文  参考訳（メタデータ） (2024-05-01T21:22:33Z)
• MINT: Evaluating LLMs in Multi-turn Interaction with Tools and Language Feedback [78.60644407028022]
  我々は,大規模言語モデルのマルチターンインタラクションによる課題解決能力を評価するベンチマークであるMINTを紹介する。 LLMは一般的に、ツールと言語フィードバックの恩恵を受けます。 LLMの評価、教師あり指導ファインタニング(SIFT)、人間からのフィードバックからの強化学習(RLHF)は、一般的にマルチターン能力を損なう。
  論文  参考訳（メタデータ） (2023-09-19T15:25:42Z)
• TestLab: An Intelligent Automated Software Testing Framework [0.0]
  TestLabは、一連のテストメソッドを収集し、人工知能を使ってそれらを自動化しようとする自動ソフトウェアテストフレームワークである。 最初の2つのモジュールは、異なる視点から脆弱性を特定することを目的としており、3番目のモジュールは、テストケースを自動的に生成することで、従来の自動ソフトウェアテストを強化する。
  論文  参考訳（メタデータ） (2023-06-06T11:45:22Z)
• ConvLab-3: A Flexible Dialogue System Toolkit Based on a Unified Data Format [88.33443450434521]
  タスク指向対話(TOD)システムはデジタルアシスタントとして機能し、フライトの予約やレストランの検索といった様々なタスクを通じてユーザを誘導する。 TODシステムを構築するための既存のツールキットは、データ、モデル、実験環境の包括的な配列を提供するのに不足することが多い。 本稿では,このギャップを埋めるための多面的対話システムツールキットConvLab-3を紹介する。
  論文  参考訳（メタデータ） (2022-11-30T16:37:42Z)
• ALBench: A Framework for Evaluating Active Learning in Object Detection [102.81795062493536]
  本稿では、オブジェクト検出におけるアクティブラーニングを評価するために、ALBenchという名前のアクティブラーニングベンチマークフレームワークをコントリビュートする。 自動深層モデルトレーニングシステム上で開発されたこのALBenchフレームワークは、使いやすく、さまざまなアクティブな学習アルゴリズムと互換性があり、同じトレーニングおよびテストプロトコルを保証する。
  論文  参考訳（メタデータ） (2022-07-27T07:46:23Z)
• SUPERNOVA: Automating Test Selection and Defect Prevention in AAA Video Games Using Risk Based Testing and Machine Learning [62.997667081978825]
  従来の手法では、成長するソフトウェアシステムではスケールできないため、ビデオゲームのテストはますます難しいタスクになります。 自動化ハブとして機能しながら,テスト選択と欠陥防止を行うシステム SUPERNOVA を提案する。 この直接的な影響は、未公表のスポーツゲームタイトルの55%以上のテスト時間を減らすことが観察されている。
  論文  参考訳（メタデータ） (2022-03-10T00:47:46Z)
• Agents for Automated User Experience Testing [4.6453787256723365]
  自動UXテストのためのエージェントベースのアプローチを提案する。 我々は,基本問題解決スキルと中核的影響モデルを備えたエージェントを開発した。 この研究はまだ原始的な状態にあるが、この結果が知的エージェントの使用に強く影響していると我々は信じている。
  論文  参考訳（メタデータ） (2021-04-13T14:13:28Z)
• Integrated Benchmarking and Design for Reproducible and Accessible Evaluation of Robotic Agents [61.36681529571202]
  本稿では,開発とベンチマークを統合した再現性ロボット研究の新しい概念について述べる。 このセットアップの中心的なコンポーネントの1つはDuckietown Autolabであり、これは比較的低コストで再現可能な標準化されたセットアップである。 本研究では,インフラを用いて実施した実験の再現性を解析し,ロボットのハードウェアや遠隔実験室間でのばらつきが低いことを示す。
  論文  参考訳（メタデータ） (2020-09-09T15:31:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。