論文の概要: MM-IssueLoc: A Controlled Benchmark for Evaluating Visual Evidence in Multimodal Repository-Level Issue Localization
- arxiv url: http://arxiv.org/abs/2607.15205v1
- Date: Thu, 16 Jul 2026 17:02:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-17 17:01:33.180865
- Title: MM-IssueLoc: A Controlled Benchmark for Evaluating Visual Evidence in Multimodal Repository-Level Issue Localization
- Title（参考訳）: MM-IssueLoc:マルチモーダルリポジトリ-レベル問題ローカライゼーションにおける視覚的エビデンス評価のための制御ベンチマーク
- Abstract要約: 視覚的証拠を伴うリポジトリレベルのローカライゼーションのためのベンチマークおよび評価プロトコルである textbfMM-IssueLoc を紹介する。
MM-IssueLocには23言語にわたる652のイシューPRインスタンスがあり、7つのイメージカテゴリと4つの関連レベルに対するアノテーションがある。
MM-IssueLoc-VL-Emb を含む LLM ベースおよび検索ベースシステムについて,制御型マルチモーダル検索システムとして評価する。
- 参考スコア（独自算出の注目度）: 23.593113134912688
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Real repository issues routinely include visual evidence such as screenshots, error dialogs, rendered UI states, and logs, yet repository-level issue localization is evaluated mostly as a text-only task. Existing multimodal SE benchmarks evaluate end-to-end repair, entangling localization with patch synthesis and obscuring whether visual input helped, hurt, or was ignored. We introduce \textbf{MM-IssueLoc}, a controlled benchmark and evaluation protocol for repository-level localization with visual evidence. MM-IssueLoc contains 652 issue-PR instances across 23 languages, with annotations for 7 image categories and 4 relevance levels. It provides file-level and function-level gold labels, paired text-only and with-image evaluation, and VCE-based diagnostics that convert images into structured textual evidence. We evaluate LLM-based and retrieval-based systems, including MM-IssueLoc-VL-Emb as a controlled multimodal retriever. Results show that existing systems remain far from reliable multimodal repository localization: the strongest agent reaches 38.96 file Acc@5 and 22.45 function Acc@10, while the strongest retriever reaches 33.86 function Acc@10. Cross-benchmark comparisons show that high localization scores on text-dominant SWE benchmarks do not transfer cleanly to multimodal issue localization. MM-IssueLoc turns visual evidence into an explicit evaluation variable, enabling future work to test whether systems improve by using visual evidence for localization, rather than by relying on text-only cues or downstream patch-generation effects.
- Abstract（参考訳）: 実際のリポジトリ問題は、スクリーンショット、エラーダイアログ、レンダリングされたUI状態、ログなどの視覚的なエビデンスを含むことが多いが、リポジトリレベルの問題ローカライゼーションは、主にテキストのみのタスクとして評価されている。
既存のマルチモーダルSEベンチマークでは、エンドツーエンドの修復、パッチ合成によるローカライゼーションの強化、視覚入力が役立ったか、傷ついたか、無視されたかの確認が評価されている。
視覚的証拠を伴うリポジトリレベルのローカライゼーションのための,制御されたベンチマークおよび評価プロトコルである。
MM-IssueLocには23言語にわたる652のイシューPRインスタンスがあり、7つのイメージカテゴリと4つの関連レベルに対するアノテーションがある。
ファイルレベルおよび機能レベルのゴールドラベル、ペア付きテキストのみおよび画像評価、画像を構造化されたテキストエビデンスに変換するVCEベースの診断を提供する。
MM-IssueLoc-VL-Emb を含む LLM ベースおよび検索ベースシステムについて,制御型マルチモーダル検索システムとして評価する。
最強のエージェントは38.96ファイルのAcc@5と22.45関数のAcc@10、最強のレトリバーは33.86関数のAcc@10である。
クロスベンチマーク比較では、テキスト優位なSWEベンチマークにおける高いローカライゼーションスコアは、マルチモーダル問題ローカライゼーションにきれいに転送されない。
MM-IssueLocは視覚的エビデンスを明示的な評価変数に変換し、テキストのみのキューやダウンストリームのパッチ生成効果に頼るのではなく、視覚的エビデンスを使用してローカライゼーションを改善することで、将来の作業を可能にする。
関連論文リスト
- Beyond Scene Priors: Fine-Grained Traffic Scene Reasoning with Benchmarking and Query-Guided Small-Object Focus [21.376452292092836]
我々は、FGTR-BenchとTSR-MLLM(Text-Guided Small-Object Reasoning MLLM)を提案する。
FGTR-Benchは、マルチエージェント生成、一貫性チェック、専門家監査を通じて作成される40,236のシングルイメージのMultiple-Choice Questions (MCQ)で構成されている。
Qwen3-VL-4B上に構築されたTSR-MLLMは、クエリ条件付きテキストガイド型小型オブジェクトフォーカス(TG-SOF)マップを使用して証拠の希釈を解決する。
論文 参考訳（メタデータ） (2026-07-05T07:27:02Z) - FindIt: A Format-Informed Visual Detection Benchmark for Generalist Multimodal LLMs [37.64883536754805]
本稿では,ジェネラリストMLLMの迅速なローカライゼーション能力を評価するために設計された,最初の包括的なベンチマークを紹介する。
我々のベンチマークは、オブジェクト検出、参照式検出、インスタンスレベルの検出、ビデオベースの検出の4つの中核的なタスクカテゴリにまたがっている。
オープンソースとプロプライエタリなMLLMの多種多様なセットを評価し,その性能と限界を詳細に分析する。
論文 参考訳（メタデータ） (2026-06-02T23:14:46Z) - MultiHaystack: Benchmarking Multimodal Retrieval and Reasoning over 40K Images, Videos, and Documents [57.32877731797049]
MultiHaystackは、大規模なクロスモーダル条件下での検索と推論の両方を評価するために設計された最初のベンチマークである。
モデルが対応するエビデンスを付与した場合,その性能は,全コーパスからそのエビデンスを取得するために必要な場合,急激に低下することがわかった。
論文 参考訳（メタデータ） (2026-03-05T21:43:02Z) - Retrieval or Representation? Reassessing Benchmark Gaps in Multilingual and Visually Rich RAG [1.4425299138308667]
BM25の文書は、コーパスレベルの重み付けと重なり合う。
大規模なクエリドキュメントデータセットでトレーニングされたエンドツーエンドのマルチモーダルレトリバーは、これらのアプローチよりも大幅に改善されている。
より優れたドキュメント表現がベンチマーク改善の原動力であることを実証する。
論文 参考訳（メタデータ） (2026-03-04T16:21:20Z) - MARA: A Multimodal Adaptive Retrieval-Augmented Framework for Document Question Answering [51.19392014547221]
検索型マルチモーダル文書QAは,視覚的にリッチな文書から複雑なマルチモーダル構造を持つ関連情報を識別し,統合することを目的としている。
現在のアプローチは、サージェントなコンテンツを見渡すクエリに依存しないドキュメント表現に依存しています。
本稿では,クエリ適応生成を導入したMultimodal Adaptive Retrieval-Augmented (MARA)フレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-01T12:27:40Z) - Towards Fine-Grained Vision-Language Alignment for Few-Shot Anomaly Detection [65.29550320117526]
我々はFinGrainedADという新しいフレームワークを提案し、異常なローカライゼーション性能を改善する。
実験により、提案されたFinGrainedADは、数ショット設定で全体的なパフォーマンスが優れていることが示された。
論文 参考訳（メタデータ） (2025-10-30T13:09:00Z) - UNIDOC-BENCH: A Unified Benchmark for Document-Centric Multimodal RAG [82.84014669683863]
マルチモーダル検索拡張生成(MM-RAG)は,大規模言語モデルを現実世界の知識ベースに適用するための重要なアプローチである。
UniDoc-Benchは、70万の現実世界のPDFページから構築されたMM-RAGのための最初の大規模で現実的なベンチマークである。
実験により,マルチモーダルテキスト画像融合RAGシステムは,非モーダルおよび共同マルチモーダル埋め込みに基づく検索において一貫して優れていた。
論文 参考訳（メタデータ） (2025-10-04T04:30:13Z) - Benchmarking Retrieval-Augmented Multimodal Generation for Document Question Answering [60.062194349648195]
Document Visual Question Answering (DocVQA)は、長いマルチモーダル文書の処理において2つの課題に直面している。
現在の文書検索拡張生成法(DocRAG)はテキスト中心のアプローチによって制限されている。
MMDocRAGは,多ページのクロスモーダルエビデンスチェーンを持つ4,055のエキスパートアノテーション付きQAペアを特徴とする総合ベンチマークである。
論文 参考訳（メタデータ） (2025-05-22T09:52:57Z) - OCRBench v2: An Improved Benchmark for Evaluating Large Multimodal Models on Visual Text Localization and Reasoning [72.57452266982642]
OCRBench v2は、大規模なバイリンガルテキスト中心のベンチマークである。
さまざまなシナリオ31、人間検証された質問回答ペア1万、詳細な評価指標をカバーしている。
LMMのスコアは50未満(合計100点)で、5種類の制限に悩まされている。
論文 参考訳（メタデータ） (2024-12-31T07:32:35Z) - Toward Robust Hyper-Detailed Image Captioning: A Multiagent Approach and Dual Evaluation Metrics for Factuality and Coverage [50.84150600032693]
MLLM(Multimodal large language model)は、非常に詳細なキャプションを生成するのに優れるが、幻覚を引き起こすことが多い。
我々は,LLM-MLLM協調を利用して与えられたキャプションを補正するマルチエージェント手法を提案する。
提案手法は, キャプションの精度を向上し, GPT-4Vによるキャプションの精度を向上する。
論文 参考訳（メタデータ） (2024-12-20T01:37:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。