論文の概要: ViBR: Automated Bug Replay from Video-based Reports using Vision-Language Models
- arxiv url: http://arxiv.org/abs/2604.19905v1
- Date: Tue, 21 Apr 2026 18:28:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-23 15:36:10.74709
- Title: ViBR: Automated Bug Replay from Video-based Reports using Vision-Language Models
- Title（参考訳）: ViBR:視覚言語モデルを用いたビデオベースレポートからのバグ自動リプレイ
- Authors: Sidong Feng, Dingbang Wang, Nikola Tomic, Tingting Yu, Aldeida Aleti, Chunyang Chen,
- Abstract要約: ViBRは軽量で完全に自動化されたアプローチで、GUI記録から直接バグを再現する。
その結果、ViBRは72%のバグ記録を再現し、最先端のベースラインとアブレーションの変異を著しく上回った。
- 参考スコア（独自算出の注目度）: 17.094299668194378
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Bug reports play a critical role in software maintenance by helping users convey encountered issues to developers. Recently, GUI screen capture videos have gained popularity as a bug reporting artifact due to their ease of use and ability to retain rich contextual information. However, automatically reproducing bugs from such recordings remains a significant challenge. Existing methods often rely on fragile image-processing heuristics, explicit touch indicators, or pre-constructed UI transition graphs, which require non-trivial instrumentation and app-specific setup. This paper presents ViBR, a lightweight and fully automated approach that reproduces bugs directly from GUI recordings. Specifically, ViBR combines CLIP-based embedding similarity for action boundary segmentation with Vision-Language Models (VLMs) for region-aware GUI state comparison and guided bug replay. Experimental results show that ViBR successfully reproduces 72% of bug recordings, significantly outperforming state-of-the-art baselines and ablation variants.
- Abstract（参考訳）: バグレポートは、ユーザが問題に遭遇した問題を開発者に伝えるのを支援することで、ソフトウェアのメンテナンスにおいて重要な役割を果たす。
近年、GUI画面キャプチャービデオは、使いやすさとリッチなコンテキスト情報を維持する能力により、バグ報告の成果物として人気を集めている。
しかし、このような録音から自動的にバグを再現することは大きな課題である。
既存のメソッドは、脆弱な画像処理ヒューリスティック、明示的なタッチインジケータ、あるいは非自明なインスツルメンテーションとアプリ固有のセットアップを必要とする事前に構築されたUIトランジショングラフに依存していることが多い。
本稿では,GUI記録から直接バグを再現する軽量で完全に自動化されたアプローチであるViBRを提案する。
具体的には、アクション境界セグメンテーションのためのCLIPベースの埋め込み類似性と、地域対応GUI状態比較とガイド付きバグリプレイのためのビジョンランゲージモデル(VLM)を組み合わせる。
実験の結果、ViBRは72%のバグ記録を再現し、最先端のベースラインとアブレーションの変異を著しく上回った。
関連論文リスト
- SVRepair: Structured Visual Reasoning for Automated Program Repair [17.545585659174773]
大規模言語モデル(LLM)は、最近、APR(Automated Program repair)の強力な可能性を示している。
構造化された視覚表現を持つマルチモーダルAPRフレームワークである textbfSVRepair を提案する。
SVRepairはまず視覚言語モデルであるtextbfStructured Visual Representation (SVR) を微調整し、不均一な視覚的アーティファクトをアンフェマティックなシーングラフに変換する。
論文 参考訳（メタデータ） (2026-02-05T06:26:46Z) - BugRepro: Enhancing Android Bug Reproduction with Domain-Specific Knowledge Integration [4.833035081314386]
BugReproは、バグ再現の正確性と効率を高めるために、ドメイン固有の知識を統合する新しいテクニックである。
BugReproは2つの最先端メソッドを著しく上回っている。
論文 参考訳（メタデータ） (2025-05-20T15:48:34Z) - DIFFVSGG: Diffusion-Driven Online Video Scene Graph Generation [61.59996525424585]
DIFFVSGGはオンラインのVSGGソリューションで、このタスクを反復的なシーングラフ更新問題とみなしている。
オブジェクト分類の復号化、境界ボックス回帰、グラフ生成の3つのタスクを1つの共有特徴埋め込みを用いて統合する。
DIFFVSGGはさらに、後続のフレームの予測が過去のフレームの結果をLCMの条件入力として活用する継続的時間的推論を促進する。
論文 参考訳（メタデータ） (2025-03-18T06:49:51Z) - Semantic GUI Scene Learning and Video Alignment for Detecting Duplicate Video-based Bug Reports [16.45808969240553]
ビデオベースのバグレポートは、グラフィカルユーザインタフェース(GUI)を中心としたプログラムのバグの文書化にますます利用されている。
我々は、視覚変換器のシーン学習機能に適応して、アプリUI画面に現れる微妙な視覚的およびテキスト的パターンをキャプチャする、JANUSと呼ばれる新しいアプローチを導入する。
Janus氏はまた、ビデオフレームの適応重み付けが可能なビデオアライメント技術を使用して、典型的なバグ発生パターンを考慮している。
論文 参考訳（メタデータ） (2024-07-11T15:48:36Z) - Seeing is Believing: Vision-driven Non-crash Functional Bug Detection for Mobile Apps [26.96558418166514]
本稿では,非クラッシュな機能的バグを検出するための,視覚駆動型多エージェント協調GUIテスト手法を提案する。
590の非クラッシュバグに対してTridentを評価し,12のベースラインと比較したところ,平均リコールと精度が14%-112%,108%-147%向上した。
論文 参考訳（メタデータ） (2024-07-03T11:58:09Z) - VCR: A Task for Pixel-Level Complex Reasoning in Vision Language Models via Restoring Occluded Text [80.24176572093512]
画像内の画素レベルのヒントを用いて、部分的に隠されたテキストを正確に復元するモデルに挑戦する視覚言語タスクであるVisual Caption Restoration (VCR)を導入する。
この課題は、画像に埋め込まれたテキストは、視覚、テキスト、および画像に埋め込まれたテキストのモダリティを整合させる必要があるため、共通の視覚要素や自然言語とは本質的に異なるという観察に由来する。
論文 参考訳（メタデータ） (2024-06-10T16:58:48Z) - Using Developer Discussions to Guide Fixing Bugs in Software [51.00904399653609]
我々は,タスク実行前に利用可能であり,また自然発生しているバグレポートの議論を,開発者による追加情報の必要性を回避して利用することを提案する。
このような議論から派生したさまざまな自然言語コンテキストがバグ修正に役立ち、オラクルのバグ修正コミットに対応するコミットメッセージの使用よりもパフォーマンスの向上につながることを実証する。
論文 参考訳（メタデータ） (2022-11-11T16:37:33Z) - GLIB: Towards Automated Test Oracle for Graphically-Rich Applications [26.940850357831657]
我々は,ゲームGUIの不具合を検出するためのコードベースのデータ拡張技術に基づくtextttGLIBを提案する。
textttGLIBは、ゲームGUIグリッチのような非クラッシングバグを検出する際に、100%の精度と99.5%のリコールを達成することができる。
論文 参考訳（メタデータ） (2021-06-19T14:50:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。