論文の概要: It Takes Two to Tango: Combining Visual and Textual Information for
Detecting Duplicate Video-Based Bug Reports
- arxiv url: http://arxiv.org/abs/2101.09194v2
- Date: Fri, 5 Feb 2021 16:55:22 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-20 17:20:05.171034
- Title: It Takes Two to Tango: Combining Visual and Textual Information for
Detecting Duplicate Video-Based Bug Reports
- Title（参考訳）: 画像とテキストの情報を組み合わせることで、重複したビデオベースのバグレポートを検出する
- Authors: Nathan Cooper, Carlos Bernal-C\'ardenas, Oscar Chaparro, Kevin Moran,
Denys Poshyvanyk
- Abstract要約: 本稿では,ビデオベースのバグレポートに基づく重複検出手法であるtangoを提案する。
4,860件の重複検出タスクを総合的に評価し、タンゴの複数の構成を評価します。
平均して、Tangoは開発者の労力を60%以上削減し、実用性を示している。
- 参考スコア（独自算出の注目度）: 19.289285682720177
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When a bug manifests in a user-facing application, it is likely to be exposed
through the graphical user interface (GUI). Given the importance of visual
information to the process of identifying and understanding such bugs, users
are increasingly making use of screenshots and screen-recordings as a means to
report issues to developers. However, when such information is reported en
masse, such as during crowd-sourced testing, managing these artifacts can be a
time-consuming process. As the reporting of screen-recordings in particular
becomes more popular, developers are likely to face challenges related to
manually identifying videos that depict duplicate bugs. Due to their graphical
nature, screen-recordings present challenges for automated analysis that
preclude the use of current duplicate bug report detection techniques. To
overcome these challenges and aid developers in this task, this paper presents
Tango, a duplicate detection technique that operates purely on video-based bug
reports by leveraging both visual and textual information. Tango combines
tailored computer vision techniques, optical character recognition, and text
retrieval. We evaluated multiple configurations of Tango in a comprehensive
empirical evaluation on 4,860 duplicate detection tasks that involved a total
of 180 screen-recordings from six Android apps. Additionally, we conducted a
user study investigating the effort required for developers to manually detect
duplicate video-based bug reports and compared this to the effort required to
use Tango. The results reveal that Tango's optimal configuration is highly
effective at detecting duplicate video-based bug reports, accurately ranking
target duplicate videos in the top-2 returned results in 83% of the tasks.
Additionally, our user study shows that, on average, Tango can reduce developer
effort by over 60%, illustrating its practicality.
- Abstract（参考訳）: ユーザが対象とするアプリケーションにバグが現れると、グラフィカルユーザインターフェース(GUI)を通じて公開される可能性が高い。
このようなバグを特定して理解するプロセスにおける視覚的情報の重要性を考えると、ユーザに問題を伝える手段として、スクリーンショットやスクリーンレコーダーの利用が増えている。
しかし、クラウドソーステストなどの大量の情報を報告する場合、これらのアーティファクトの管理には時間がかかる可能性がある。
特に画面記録の報告が普及するにつれ、開発者は重複したバグを描写したビデオの手動識別に関する課題に直面する傾向にある。
グラフィカルな性質のため、画面記録は、現在の重複バグレポート検出技術の使用を妨げる自動解析の課題を示す。
そこで本稿では,これらの課題を克服し,開発者を支援するために,視覚情報とテキスト情報の両方を活用することで,ビデオベースのバグレポートを純粋に操作する重複検出手法であるtangoを提案する。
tangoは、カスタマイズされたコンピュータビジョン技術、光学式文字認識、テキスト検索を組み合わせる。
6つのAndroidアプリから180の画面記録を含む4,860の重複検出タスクに対して,Tangoの複数の構成を評価した。
さらに、ビデオベースのバグレポートの重複を開発者が手動で検出するために必要な労力を調査し、tangoの使用に要する労力と比較した。
その結果、tangoの最適な構成は、ビデオベースのバグレポートの重複検出に非常に効果的であり、返された上位2の重複動画を83%のタスクで正確にランク付けすることが判明した。
さらに,ユーザ調査の結果から,Tangoは開発者の労力を60%以上削減し,実用性を実証した。
関連論文リスト
- Semantic GUI Scene Learning and Video Alignment for Detecting Duplicate Video-based Bug Reports [16.45808969240553]
ビデオベースのバグレポートは、グラフィカルユーザインタフェース(GUI)を中心としたプログラムのバグの文書化にますます利用されている。
我々は、視覚変換器のシーン学習機能に適応して、アプリUI画面に現れる微妙な視覚的およびテキスト的パターンをキャプチャする、JANUSと呼ばれる新しいアプローチを導入する。
Janus氏はまた、ビデオフレームの適応重み付けが可能なビデオアライメント技術を使用して、典型的なバグ発生パターンを考慮している。
論文 参考訳（メタデータ） (2024-07-11T15:48:36Z) - VDebugger: Harnessing Execution Feedback for Debugging Visual Programs [103.61860743476933]
V Debuggerは、視覚プログラムのローカライズとデバッギングのために、段階的に実行を追跡することで訓練された、批評家とリファインダーのフレームワークである。
Vデバッガは、詳細な実行フィードバックを活用してプログラムエラーを特定し、修正する。
6つのデータセットの評価は、Vデバッガの有効性を示し、ダウンストリームタスクの精度が最大3.2%向上したことを示している。
論文 参考訳（メタデータ） (2024-06-19T11:09:16Z) - VANE-Bench: Video Anomaly Evaluation Benchmark for Conversational LMMs [64.60035916955837]
VANE-Benchはビデオの異常や矛盾を検出するためのビデオLMMの熟練度を評価するために設計されたベンチマークである。
我々のデータセットは、既存の最先端のテキスト・ビデオ生成モデルを用いて合成された一連のビデオから構成される。
我々は、このベンチマークタスクにおいて、オープンソースとクローズドソースの両方で既存の9つのビデオLMMを評価し、ほとんどのモデルが微妙な異常を効果的に識別するのに困難に直面することを発見した。
論文 参考訳（メタデータ） (2024-06-14T17:59:01Z) - Toward Rapid Bug Resolution for Android Apps [0.4759142872591625]
本稿では,既存のバグレポートの限界について述べるとともに,それに対応するための潜在的戦略を明らかにする。
私たちのビジョンは、これらの制限の緩和と、提案された新しい研究の方向性の実行が、レポーターと開発者の両方に利益をもたらす、未来を包含しています。
論文 参考訳（メタデータ） (2023-12-23T18:29:06Z) - Uncovering Hidden Connections: Iterative Search and Reasoning for Video-grounded Dialog [83.63849872250651]
ビデオグラウンドダイアログは、正確な応答生成のために、ダイアログ履歴とビデオコンテンツの両方を深く理解する必要がある。
本稿では,テキストエンコーダ,ビジュアルエンコーダ,ジェネレータで構成される反復探索・推論フレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-11T07:37:13Z) - FacTool: Factuality Detection in Generative AI -- A Tool Augmented
Framework for Multi-Task and Multi-Domain Scenarios [87.12753459582116]
より広い範囲のタスクは、生成モデルによって処理されると、事実エラーを含むリスクが増大する。
大規模言語モデルにより生成されたテキストの事実誤りを検出するためのタスクおよびドメインに依存しないフレームワークであるFacToolを提案する。
論文 参考訳（メタデータ） (2023-07-25T14:20:51Z) - Auto-labelling of Bug Report using Natural Language Processing [0.0]
ルールとクエリベースのソリューションは、明確なランキングのない、潜在的な類似バグレポートの長いリストを推奨します。
本論文では,NLP手法の組み合わせによる解を提案する。
カスタムデータトランスフォーマー、ディープニューラルネットワーク、および非汎用機械学習メソッドを使用して、既存の同一バグレポートを検索する。
論文 参考訳（メタデータ） (2022-12-13T02:32:42Z) - ASCNet: Self-supervised Video Representation Learning with
Appearance-Speed Consistency [62.38914747727636]
本研究では,1)明示的な監督のためのラベルの欠如,2)構造化されていない,ノイズの多い視覚情報による自己指導型映像表現学習について検討する。
既存の方法は、主にビデオクリップをインスタンスとしてコントラスト損失を使用し、互いにインスタンスを識別することで視覚的表現を学ぶ。
本稿では,ロバストな映像表現を学ぶ上で,正のサンプル間の一貫性が鍵となることを観察する。
論文 参考訳（メタデータ） (2021-06-04T08:44:50Z) - Video Exploration via Video-Specific Autoencoders [60.256055890647595]
ヒト制御可能なビデオ探索を可能にするビデオ固有オートエンコーダを提案する。
特定のビデオの複数のフレームで訓練された単純なオートエンコーダは、さまざまなビデオ処理および編集タスクを実行できることを観察します。
論文 参考訳（メタデータ） (2021-03-31T17:56:13Z) - Translating Video Recordings of Mobile App Usages into Replayable
Scenarios [24.992877070869177]
V2Sは、Androidアプリのビデオ録画を再生可能なシナリオに変換するための、軽量で自動化されたアプローチである。
機能を実行するユーザから収集した3,534個のGUIベースのアクションと,80以上のAndroidアプリのバグを再現した175本のビデオを含む,V2Sの広範な評価を行った。
論文 参考訳（メタデータ） (2020-05-18T20:11:36Z) - Advaita: Bug Duplicity Detection System [1.9624064951902522]
重複バグ率(重複バグの%)は、製品の成熟度、コードのサイズ、プロジェクトに取り組んでいるエンジニアの数に基づいて、1桁(1～9%)から2桁(40%)の範囲にある。
重複の検出は、2つのバグが同じ意味を持つかどうかを識別する。
このアプローチでは、基本的なテキスト統計的特徴、意味的特徴、文脈的特徴など、複数の機能セットを考慮に入れている。
論文 参考訳（メタデータ） (2020-01-24T04:48:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。