論文の概要: Semantic GUI Scene Learning and Video Alignment for Detecting Duplicate Video-based Bug Reports
- arxiv url: http://arxiv.org/abs/2407.08610v1
- Date: Thu, 11 Jul 2024 15:48:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-12 16:50:17.842908
- Title: Semantic GUI Scene Learning and Video Alignment for Detecting Duplicate Video-based Bug Reports
- Title（参考訳）: 重複映像に基づくバグレポート検出のための意味的GUIシーン学習とビデオアライメント
- Authors: Yanfu Yan, Nathan Cooper, Oscar Chaparro, Kevin Moran, Denys Poshyvanyk,
- Abstract要約: ビデオベースのバグレポートは、グラフィカルユーザインタフェース(GUI)を中心としたプログラムのバグの文書化にますます利用されている。
我々は、視覚変換器のシーン学習機能に適応して、アプリUI画面に現れる微妙な視覚的およびテキスト的パターンをキャプチャする、JANUSと呼ばれる新しいアプローチを導入する。
Janus氏はまた、ビデオフレームの適応重み付けが可能なビデオアライメント技術を使用して、典型的なバグ発生パターンを考慮している。
- 参考スコア（独自算出の注目度）: 16.45808969240553
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video-based bug reports are increasingly being used to document bugs for programs centered around a graphical user interface (GUI). However, developing automated techniques to manage video-based reports is challenging as it requires identifying and understanding often nuanced visual patterns that capture key information about a reported bug. In this paper, we aim to overcome these challenges by advancing the bug report management task of duplicate detection for video-based reports. To this end, we introduce a new approach, called JANUS, that adapts the scene-learning capabilities of vision transformers to capture subtle visual and textual patterns that manifest on app UI screens - which is key to differentiating between similar screens for accurate duplicate report detection. JANUS also makes use of a video alignment technique capable of adaptive weighting of video frames to account for typical bug manifestation patterns. In a comprehensive evaluation on a benchmark containing 7,290 duplicate detection tasks derived from 270 video-based bug reports from 90 Android app bugs, the best configuration of our approach achieves an overall mRR/mAP of 89.8%/84.7%, and for the large majority of duplicate detection tasks, outperforms prior work by around 9% to a statistically significant degree. Finally, we qualitatively illustrate how the scene-learning capabilities provided by Janus benefits its performance.
- Abstract（参考訳）: ビデオベースのバグレポートは、グラフィカルユーザインタフェース(GUI)を中心としたプログラムのバグの文書化にますます利用されている。
しかし、ビデオベースのレポートを管理する自動化技術の開発は、報告されたバグに関する重要な情報をキャプチャする、しばしば曖昧な視覚パターンを特定し理解する必要があるため、難しい。
本稿では,ビデオレポートの重複検出のバグレポート管理タスクを推進し,これらの課題を克服することを目的とする。
この目的のために、私たちはJANUSと呼ばれる新しいアプローチを導入しました。これは、視覚変換器のシーン学習機能を適用して、アプリのUI画面に現れる微妙な視覚的およびテキスト的パターンをキャプチャします。
JANUSはまた、ビデオフレームの適応重み付けが可能なビデオアライメント技術を使用して、典型的なバグの出現パターンを考慮している。
90のAndroidアプリバグから270の動画ベースのバグレポートから引き出された7,290の重複検出タスクを含むベンチマークの総合的な評価では、我々のアプローチの最良の構成は、全体のmRR/mAPが89.8%/84.7%に達し、重複検出タスクの大多数では、前処理を約9%、統計的に有意な程度に上回っている。
最後に、Janusが提供するシーン学習能力がパフォーマンスにどのような影響を与えるかを質的に説明します。
関連論文リスト
- VANE-Bench: Video Anomaly Evaluation Benchmark for Conversational LMMs [64.60035916955837]
VANE-Benchはビデオの異常や矛盾を検出するためのビデオLMMの熟練度を評価するために設計されたベンチマークである。
我々のデータセットは、既存の最先端のテキスト・ビデオ生成モデルを用いて合成された一連のビデオから構成される。
我々は、このベンチマークタスクにおいて、オープンソースとクローズドソースの両方で既存の9つのビデオLMMを評価し、ほとんどのモデルが微妙な異常を効果的に識別するのに困難に直面することを発見した。
論文 参考訳（メタデータ） (2024-06-14T17:59:01Z) - Finding the Needle in a Haystack: Detecting Bug Occurrences in Gameplay
Videos [10.127506928281413]
本稿では、機械学習を用いて、ゲームプレイビデオの一部にバグの描写が含まれているかどうかを予測する自動化アプローチを提案する。
我々は、198本のゲームプレイビデオの4,412のセグメントを分析し、あるセグメントがバグのインスタンスを含んでいるかどうかを予測する。
本手法は, バグを含む映像のセグメント検出に有効であり, F1スコア0.88を達成し, バグ分類の最先端技術よりも優れていた。
論文 参考訳（メタデータ） (2023-11-18T01:14:18Z) - On Using GUI Interaction Data to Improve Text Retrieval-based Bug
Localization [10.717184444794505]
エンドユーザー向けアプリケーションでは、バグレポート内の情報とGUIの情報とを結びつけることにより、既存のバグローカライゼーション技術を改善することができるという仮説を考察する。
当社は,Androidアプリの完全ローカライズおよび再現可能な真のバグに関する現在の最大のデータセットを,対応するバグレポートとともに公開しています。
論文 参考訳（メタデータ） (2023-10-12T07:14:22Z) - Towards Video Anomaly Retrieval from Video Anomaly Detection: New
Benchmarks and Model [70.97446870672069]
ビデオ異常検出(VAD)はその潜在的な応用により注目されている。
Video Anomaly Retrieval (VAR)は、関連のある動画をモダリティによって実用的に検索することを目的としている。
一般的な異常データセットの上に構築されたUCFCrime-ARとXD-Violenceの2つのベンチマークを示す。
論文 参考訳（メタデータ） (2023-07-24T06:22:37Z) - Auto-labelling of Bug Report using Natural Language Processing [0.0]
ルールとクエリベースのソリューションは、明確なランキングのない、潜在的な類似バグレポートの長いリストを推奨します。
本論文では,NLP手法の組み合わせによる解を提案する。
カスタムデータトランスフォーマー、ディープニューラルネットワーク、および非汎用機械学習メソッドを使用して、既存の同一バグレポートを検索する。
論文 参考訳（メタデータ） (2022-12-13T02:32:42Z) - Reliable Shot Identification for Complex Event Detection via
Visual-Semantic Embedding [72.9370352430965]
本稿では,映像中の事象検出のための視覚的意味的誘導損失法を提案する。
カリキュラム学習に動機付け,高い信頼性の事例で分類器の訓練を開始するために,負の弾性正規化項を導入する。
提案する非ネット正規化問題の解法として,代替最適化アルゴリズムを開発した。
論文 参考訳（メタデータ） (2021-10-12T11:46:56Z) - ASCNet: Self-supervised Video Representation Learning with
Appearance-Speed Consistency [62.38914747727636]
本研究では,1)明示的な監督のためのラベルの欠如,2)構造化されていない,ノイズの多い視覚情報による自己指導型映像表現学習について検討する。
既存の方法は、主にビデオクリップをインスタンスとしてコントラスト損失を使用し、互いにインスタンスを識別することで視覚的表現を学ぶ。
本稿では,ロバストな映像表現を学ぶ上で,正のサンプル間の一貫性が鍵となることを観察する。
論文 参考訳（メタデータ） (2021-06-04T08:44:50Z) - Semi-Supervised Action Recognition with Temporal Contrastive Learning [50.08957096801457]
2つの異なる速度でラベル付きビデオを用いて2経路の時間的コントラストモデルを学習する。
我々は最先端の半教師付き画像認識手法の映像拡張性能を著しく向上させた。
論文 参考訳（メタデータ） (2021-02-04T17:28:35Z) - It Takes Two to Tango: Combining Visual and Textual Information for
Detecting Duplicate Video-Based Bug Reports [19.289285682720177]
本稿では,ビデオベースのバグレポートに基づく重複検出手法であるtangoを提案する。
4,860件の重複検出タスクを総合的に評価し、タンゴの複数の構成を評価します。
平均して、Tangoは開発者の労力を60%以上削減し、実用性を示している。
論文 参考訳（メタデータ） (2021-01-22T16:36:19Z) - Dense-Caption Matching and Frame-Selection Gating for Temporal
Localization in VideoQA [96.10612095576333]
本稿では,マルチモーダルな入力源を効果的に統合し,時間的関連情報から質問に答えるビデオ質問応答モデルを提案する。
また,2レベルアテンション(単語・オブジェクト・フレームレベル),異なるソース(ビデオ・高密度キャプション)に対するマルチヘッド自己統合,ゲートへのより関連性の高い情報伝達などで構成されている。
当社のモデルは,各モデルコンポーネントが大きな利益をもたらす,難易度の高いTVQAデータセット上で評価され,全体的なモデルでは,最先端のモデルよりも大きなマージンで優れています。
論文 参考訳（メタデータ） (2020-05-13T16:35:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。