論文の概要: SWE-PolyVision: Benchmarking Cross-Image Abductive Reasoning for Repository-Level Software Engineering
- arxiv url: http://arxiv.org/abs/2609.29754v1
- Date: Thu, 24 Sep 2026 13:04:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:09.942444
- Title: SWE-PolyVision: Benchmarking Cross-Image Abductive Reasoning for Repository-Level Software Engineering
- Title（参考訳）: SWE-PolyVision:リポジトリレベルソフトウェアエンジニアリングのためのクロスイメージ・アブダクティブ推論のベンチマーク
- Abstract要約: SWE-PolyVisionは、36のオープンソース組織による92の実際のタスクの実行可能なベンチマークである。
各タスクは、固定プレフィックスリポジトリと独立した検証ツールをペアリングし、サポートされた条件下で評価される。
トレースリンクされた2つのNative Visionケースは、補完的な視覚的およびテキスト的ヒントが、ソースローカライズされ、検証された修復につながることを示す。
- 参考スコア（独自算出の注目度）: 27.5408805687601
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Current multimodal software-engineering benchmarks expose images as additional context, but do not test whether an agent can integrate evidence distributed across images into a verified repository-level repair. We present SWE-PolyVision, an executable benchmark of 92 real tasks from 36 open-source organizations, with 48 public tasks and 44 private holdouts. The release contains 402 static images and 6 videos, with at least two visual inputs per task. Each task pairs a fixed pre-fix repository with an isolated verifier and is evaluated under the supported conditions among three access modes: Text-only, Native Vision, and Tool-mediated Vision. Across eleven coding models, visual access changes which tasks are solved, but effects depend on both model and task. Two trace-linked Native Vision cases illustrate how complementary visual and textual clues can lead to source-localized, verified repairs; controlled interventions show that this conversion is not yet stable across inputs. SWE-PolyVision thus separates the availability of multi-image evidence from its successful use in repository-level repair, without treating patch success alone as proof of explicit reasoning.
- Abstract（参考訳）: 現在のマルチモーダルソフトウェアエンジニアリングベンチマークでは、イメージを追加のコンテキストとして公開しているが、エージェントがイメージに分散したエビデンスを検証されたリポジトリレベルの修復に統合できるかどうかを検証していない。
SWE-PolyVisionは、36のオープンソース組織による92の実際のタスクの実行可能なベンチマークであり、48の公開タスクと44のプライベートホールドアウトがある。
リリースには402の静的イメージと6つのビデオが含まれており、タスク毎に少なくとも2つのビジュアルインプットがある。
各タスクは、固定されたプレフィックスリポジトリと独立した検証ツールをペアリングし、3つのアクセスモード(テキストオンリー、ネイティブビジョン、ツール介在ビジョン)でサポートされている条件で評価される。
11のコーディングモデルにまたがって、タスクが解決される視覚的なアクセス変更を行うが、効果はモデルとタスクの両方に依存する。
トレースリンクされたNative Visionの2つのケースは、補完的な視覚的およびテキスト的ヒントがソースローカル化され、検証された修復につながることを示している。
したがって、SWE-PolyVisionは、パッチ成功を明示的な推論の証明として扱うことなく、リポジトリレベルの修復で成功しているマルチイメージエビデンスを分離する。
関連論文リスト
- TwinICL: Diagnosing Multimodal In-Context Learning through Paired Counterfactuals [49.800443965874756]
インコンテキスト学習(ICL)は、モデルがデモからタスクを推論することを可能にする。
既存のベンチマークでは、モダリティ間でICLのパフォーマンスを比較するのに必要なテキストと画像のバージョンが一致していないのが一般的である。
我々は、プロシージャで生成されたベンチマークであるTwinICLを紹介し、このようなペアを制御された比較のために提供する。
論文 参考訳（メタデータ） (2026-09-14T04:42:42Z) - WeAgent-MMGenEdit: A Full-Stack Recipe for Multimodal Agentic Image Generation and Editing [51.8784267764917]
WeAgent-MMGenEditはマルチモーダルハーネス、スケーラブルなデータ構築パイプライン、包括的なベンチマーク、エージェントポリシーとイメージバックエンドのためのポストトレーニングメソッドを含むフルスタックのレシピである。
最初にWeAgent-Harnessを紹介した。これは、永続的なエビデンス管理と、検索したマルチモーダルエビデンスを高密度キャリアにまとめる専用の検証と統合ツールである。これを用いて、高速な合成とエージェント軌道収集のためのスケーラブルなパイプラインを開発し、23Kの教師付きトラジェクトリと14.7KのRLタスクを3層検証チェックリストで生成する。
論文 参考訳（メタデータ） (2026-09-04T14:12:03Z) - Beyond NL2Code: A Structured Survey of Multimodal Code Intelligence [31.954261925882452]
このサーベイは、視覚的に接地された入力と出力の下でコードを生成し、編集し、洗練し、理屈を定めているシステムを調べます。
まず、コードが各タスクで果たす役割によってフィールドを定式化します。
次に、ベンチマークとメソッドをグラフィカルユーザインタフェース、システミックビジュアライゼーション、構造化グラフィックス、フロンティアタスクとフレームワークの4つのドメインにまとめます。
論文 参考訳（メタデータ） (2026-06-14T17:21:43Z) - FailureMem: A Failure-Aware Multimodal Framework for Autonomous Software Repair [45.42550492783294]
MAPR(Multimodal Automated Program repair)は、ソースコード、テキストのイシュー記述、GUIスクリーンショットなどのビジュアルアーティファクトを共同で推論することを要求することで、従来のプログラム修復を拡張している。
我々は,3つの主要なメカニズムを統合したマルチモーダル修復フレームワークであるFailureMemを提案する。これは,構造的ローカライゼーションとフレキシブルな推論とをバランスさせるハイブリッドワークフローエージェントアーキテクチャ,領域レベルの視覚的接地を可能にするアクティブな認識ツール,過去の修復の試みを再利用可能なガイダンスに変換するFailure Memory Bankである。
論文 参考訳（メタデータ） (2026-03-18T15:24:22Z) - How Well Do Models Follow Visual Instructions? VIBE: A Systematic Benchmark for Visual Instruction-Driven Image Editing [56.60465182650588]
我々は,3段階の相互作用階層を導入し,決定的接地,形態的操作,因果推論を捉える。
本稿では,スケーラブルできめ細かい評価を実現するために,タスク固有のメトリクスを備えた堅牢なLMM-as-a-judge評価フレームワークを提案する。
プロプライエタリなモデルは早期の視覚指示追従能力を示し、一貫してオープンソースモデルを上回っていることがわかった。
論文 参考訳（メタデータ） (2026-02-02T09:24:45Z) - Training Multi-Image Vision Agents via End2End Reinforcement Learning [51.81337984526068]
我々は、エンドツーエンドの強化学習によって訓練されたオープンソースの視覚エージェントであるIMAgentを提案する。
マルチエージェントシステムを利用することで、困難かつ視覚的にリッチなマルチイメージQAペアを生成する。
我々は、視覚的反射と確認のための2つの特別なツールを開発し、モデルが積極的に画像コンテンツに注意を向けることを可能にする。
論文 参考訳（メタデータ） (2025-12-05T10:02:38Z) - OmniFD: A Unified Model for Versatile Face Forgery Detection [45.17431538516313]
OmniFDは、単一のモデル内で4つのコアフォージェリ検出タスクを共同で処理する統合フレームワークである。
本アーキテクチャは,(1)画像と映像の両方から統合された4次元時間表現を抽出する共有スウィン変換器,(2)学習可能なクエリを持つクロスタスクインタラクションモジュール,(3)洗練された表現を対応する予測に変換する軽量デコードヘッドの3つの主要コンポーネントから構成される。
論文 参考訳（メタデータ） (2025-11-30T22:36:42Z) - Breaking the Visual Shortcuts in Multimodal Knowledge-Based Visual Question Answering [29.782721931657544]
視覚的ショートカット」に苦しむマルチモーダル知識に基づく視覚的質問応答
関連エンティティの画像を拡大することにより文書埋め込みを充実させるマルチイメージMultImodal Retriever(MIMIR)を導入する。
本実験は,既存のベンチマークの限界を検証し,MIMIRの有効性を実証するものである。
論文 参考訳（メタデータ） (2025-11-28T02:22:06Z) - Exploring a Unified Vision-Centric Contrastive Alternatives on Multi-Modal Web Documents [99.62178668680578]
本稿では,単一の視覚変換器を用いてテキスト,画像,それらの組み合わせをモデル化する統合フレームワークであるビジョン中心コントラスト学習(VC2L)を提案する。
VC2Lは完全にピクセル空間で動作し、テキスト、ビジュアル、または組み合わせのいずれでも、すべての入力を画像として描画する。
ウェブ文書における複雑なクロスモーダル関係を捉えるため、VC2Lは連続するマルチモーダルセグメントを整列するスニペットレベルのコントラスト学習目標を採用している。
論文 参考訳（メタデータ） (2025-10-21T14:59:29Z) - VisRet: Visualization Improves Knowledge-Intensive Text-to-Image Retrieval [56.12310817934239]
クロスモーダルな埋め込みは概念の袋として振る舞うが、ポーズや視点のような構造的な視覚的関係が不足している。
この制限を緩和するT2I検索のための新しいパラダイムであるVisualize-then-Retrieve (VisRet)を提案する。
VisRetは、T2I検索をテキスト間類似性マッチングとして再キャストする、モーダル間の類似性マッチングとベースラインを大幅に上回る。
論文 参考訳（メタデータ） (2025-05-26T17:59:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。