論文の概要: Repository-Context-Guided Image Understanding for Agentic Software Development
- arxiv url: http://arxiv.org/abs/2611.13026v1
- Date: Mon, 09 Nov 2026 08:33:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-12 04:24:43.523131
- Title: Repository-Context-Guided Image Understanding for Agentic Software Development
- Title(参考訳): エージェントソフトウェア開発のためのリポジトリ-コンテキストガイド画像理解
- Abstract要約: コーディングエージェントは、バグレポートの一部として、UIスクリーンショットを受け取るようになっている。
画質の低下により、関連するUI要素やソースファイルの特定が不可能になる。
本稿では,レポジトリレンダリングされた参照画像を用いた符号化エージェントの拡張を提案する。
- 参考スコア(独自算出の注目度): 2.840315030821458
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Coding agents increasingly receive UI screenshots as part of bug reports, yet degraded image quality - caused by low resolution, compression artifacts, or small rendered text - can prevent them from identifying the relevant UI elements and source files. Vision-language models become less reliable as image quality deteriorates, while OCR-assisted approaches may propagate recognition errors from degraded inputs. Both approaches are limited when the visual evidence required for localization is no longer clearly observable in the query screenshot. We propose augmenting coding agents with repository-rendered reference images: crisp screenshots generated from the same codebase that the agent is tasked with modifying. These references provide readable visual evidence of the application's UI while preserving the current, potentially bug-containing implementation state. Because they are generated from the available repository rather than requiring a known bug-free version, they can be produced automatically for reproducible application states without manual image annotation. We evaluate the approach on a controlled benchmark derived from SWE-bench Multimodal by injecting visual UI bugs into a real web application. We vary screenshot degradation and reference-image provision and measure whether the coding agent identifies the correct source file. The results show that reference images improve file localization especially for degraded image quality, increasing the gold file match rate under fourfold downsampling with JPEG compression. We confirmed with further analysis that the proposed approach recognizes text approximately 12 percentage points better than language biased OCR under the same degradation.
- Abstract(参考訳): コーディングエージェントは、バグレポートの一部としてUIスクリーンショットを受け取ることが多いが、低解像度、圧縮アーティファクト、あるいは小さなテキストによる画質低下は、関連するUI要素やソースファイルの特定を妨げている。
画像品質が劣化するにつれて、視覚言語モデルは信頼性が低下し、OCR支援アプローチは劣化した入力からの認識誤りを伝播する可能性がある。
両方のアプローチは、ローカライゼーションに必要な視覚的エビデンスがクエリのスクリーンショットではっきりと観察できない場合に限られる。
本稿では,リポジトリレンダリングされた参照イメージを用いたコーディングエージェントの拡張を提案する。
これらの参照は、現在のバグを含む可能性のある実装状態を保持しながら、アプリケーションのUIの可読性のある視覚的証拠を提供する。
バグのない既知のバージョンではなく、利用可能なリポジトリから生成されるので、手動のイメージアノテーションなしで再現可能なアプリケーション状態のために、自動的に生成することができる。
実Webアプリケーションに視覚的UIバグを注入することで、SWE-bench Multimodalから派生した制御ベンチマークに対するアプローチを評価する。
我々は、スクリーンショットの劣化と参照イメージのプロビジョニングを変化させ、コーディングエージェントが正しいソースファイルを識別するかどうかを測定する。
その結果、参照画像はファイルのローカライゼーションを特に改善し、JPEG圧縮による4倍のダウンサンプリングでゴールドファイルのマッチング率が向上した。
提案手法は,同じ劣化下での言語偏差OCRよりも約12パーセントのテキストを認識できることを確認した。
関連論文リスト
- Can Coding Agents Solve Repository-Level Issues with Rendered Code? An Exploratory Study of Visual Representations [30.48772161139388]
本稿では,画像のレンダリングがエージェントコーディングの運用コンテキストとして機能するかどうかを検討する。
レンダリングされたコードは、プロンプトトーケンコストを一貫して削減するが、その節約率は、ビジュアル圧縮比と直線的に増加しない。
主にエンドツーエンドの修理精度を保っていますが、基盤となるモデルやエージェントアーキテクチャのパフォーマンス制限を克服することはできません。
論文 参考訳(メタデータ) (2026-08-10T08:24:19Z) - Beyond Pixel Diffs: Benchmarking Image Change Captioning for Web UI Visual Regression Testing [31.52236297268213]
ビジュアル回帰テスト(VRT)は、現代のソフトウェアリリースパイプラインにおける標準的な品質保証ステップである。
ピクセルレベルの比較は意味的に盲目であり、レンダリングノイズと真の欠陥を同一に扱う。
UI変更の自然言語記述をサポートするデータセットやベンチマークは存在しない。
本稿では,VRT と画像差分キャプションの交差点に位置する WUICC (Web UI Image Change Captioning) を提案する。
論文 参考訳(メタデータ) (2026-07-02T05:33:57Z) - Quality-Aware Calibration for AI-Generated Image Detection in the Wild [13.4681679159494]
QuAD(Quality-Aware calibration with near-duplicates)は、同じ画像のすべての利用可能なニア・ドプリケートに基づいて決定を行う新しいフレームワークである。
オンライン再投稿のダイナミクスをシミュレートする分解木で編成された136kのイメージのラベル付きデータセットであるAncesTreeと、バイラルWebコンテンツから収集された約10kに近い画像の実際のデータセットであるReWINDの2つのデータセットを紹介した。
論文 参考訳(メタデータ) (2026-04-16T13:56:52Z) - Mitigating Memorization in Text-to-Image Diffusion via Region-Aware Prompt Augmentation and Multimodal Copy Detection [53.789057575175065]
領域認識型prompt Augmentation(RAPTA)とAttention-Driven Multimodal Copy Detection(ADMCD)を示す。
RAPTAはオブジェクト検出器を使用して、正常な領域を見つけ、それらを意味論的に接地したプロンプトの変種に変換する。
ADMCDは、ローカルパッチ、グローバルセマンティック、テクスチャキューを軽量トランスフォーマーで集約し、融合表現を生成する。
実験により、RAPTAは高い合成品質を維持しながら過度な適合を減少させ、ADMCDはコピーを確実に検出し、単一モードの指標より優れることが示された。
論文 参考訳(メタデータ) (2026-03-13T15:16:27Z) - Semantic-Aware Reconstruction Error for Detecting AI-Generated Images [22.83053631078616]
本稿では,画像とキャプション誘導再構成のセマンティック・アウェア・リコンストラクション・エラー(SARE)を計測する新しい表現を提案する。
SAREは、さまざまな生成モデル間で偽画像を検出するための堅牢で差別的な機能を提供する。
また,SAREを背骨検出器に統合する融合モジュールを,クロスアテンション機構を介して導入する。
論文 参考訳(メタデータ) (2025-08-13T04:37:36Z) - BRIDGE: Bridging Gaps in Image Captioning Evaluation with Stronger Visual Cues [47.213906345208315]
本稿では,新たな学習可能かつ参照不要な画像キャプション指標BRIDGEを提案する。
提案手法は,既存の基準フリー評価スコアと比較して,最先端の結果が得られる。
論文 参考訳(メタデータ) (2024-07-29T18:00:17Z) - Breaking the Frame: Visual Place Recognition by Overlap Prediction [53.17564423756082]
本稿では,重なり合う予測に基づく新しい視覚的位置認識手法 VOP を提案する。
VOPは、Vision Transformerのバックボーンを使用してパッチレベルの埋め込みを取得することで、コビジュアブルなイメージセクションを進める。
提案手法では,データベース画像の重複点の評価に投票機構を用いる。
論文 参考訳(メタデータ) (2024-06-23T20:00:20Z) - iEdit: Localised Text-guided Image Editing with Weak Supervision [53.082196061014734]
テキスト誘導画像編集のための新しい学習法を提案する。
ソースイメージに条件付けされた画像とテキスト編集プロンプトを生成する。
画像の忠実度、CLIPアライメントスコア、および生成された画像と実際の画像の両方を定性的に編集する点において、画像に対して好ましい結果を示す。
論文 参考訳(メタデータ) (2023-05-10T07:39:14Z) - Re-Imagen: Retrieval-Augmented Text-to-Image Generator [58.60472701831404]
検索用テキスト・ツー・イメージ・ジェネレータ(再画像)
検索用テキスト・ツー・イメージ・ジェネレータ(再画像)
論文 参考訳(メタデータ) (2022-09-29T00:57:28Z) - Learning Conditional Knowledge Distillation for Degraded-Reference Image
Quality Assessment [157.1292674649519]
劣化参照IQA(DR-IQA)という実用的な解を提案する。
DR-IQAはIRモデルの入力、劣化したイメージを参照として利用する。
私たちの結果は、フル参照設定のパフォーマンスに近いものもあります。
論文 参考訳(メタデータ) (2021-08-18T02:35:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。