論文の概要: PixelEyes: Decoupling Perception and Reasoning for Pinpoint Visual Evidence Seeking
- arxiv url: http://arxiv.org/abs/2607.00115v1
- Date: Tue, 30 Jun 2026 19:51:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-02 19:56:07.612579
- Title: PixelEyes: Decoupling Perception and Reasoning for Pinpoint Visual Evidence Seeking
- Title（参考訳）: PixelEyes:ピンポイントによる視覚的エビデンス検索の認識と推論の分離
- Abstract要約: 本稿では,複数ターンの視覚的推論を探索し,MLLMが目標のローカライズに失敗するのを観察する。
我々は、認識から推論を明示的に分離する視覚的推論エージェントであるPixelEyesを提案する。
- 参考スコア（独自算出の注目度）: 63.574885296709716
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper explores multi-turn visual reasoning and observes that MLLMs repeatedly fail to localize the target, leading to long, redundant trajectories. We attribute this failure to the entanglement of reasoning and perception within a single model, the MLLM reasons and localizes simultaneously, and inaccurate localization triggers additional reasoning turns that bloat the trajectory. To solve this problem, we propose PixelEyes, a multi-turn visual reasoning agent that explicitly decouples reasoning from perception, i.e., the reasoner decides what to look for, while a specialized perception tool answers where it is. Specifically, PixelEyes introduces 1) Mask-guided Visual Search. A referring segmentation model is invoked to provide mask-precise localization, freeing the reasoner from the need to compensate for imprecise grounding. 2) Semantic-region Breadth-first Search (BFS). To eliminate redundant loops caused by repeatedly cropping incorrect sub-regions, we organize exploration as a breadth-first search over semantic regions. To internalize these capabilities, we construct the PixelEyes-6K dataset by resynthesizing expert trajectories from existing data. This explicitly embeds our mask-guided search and BFS logic into the model. We further introduce Pinpoint-Bench, a zero-hint visual search benchmark, i.e., no location cues are provided in the question, with instance-level masks and bounding boxes that separate localization failures from reasoning failures, enabling fine-grained analysis of failure modes such as inattentional blindness. Recent state-of-the-art MLLMs and visual reasoning agents leave large headroom on Pinpoint-Bench, demonstrating its quality and difficulty. Code and models are open-sourced.
- Abstract（参考訳）: 本稿では,複数ターンの視覚的推論を探索し,MLLMが繰り返しターゲットの局所化に失敗し,長い冗長な軌跡が生じることを観察する。
この失敗は、一つのモデル内での推論と知覚の絡み合い、MLLMの理由とローカライズを同時に行うことによるものであり、不正確なローカライゼーションは軌道を膨らませる追加の推論回転を引き起こす。
この問題を解決するために,PixelEyesという,知覚から推論を明示的に分離する多ターン視覚推論エージェントを提案する。
具体的にはPixelEyesが紹介
1)マスク誘導ビジュアル検索。
参照セグメンテーションモデルが起動され、マスク精度の局所化が実現され、不正確な接地を補う必要がなくなる。
2)セマンティック・リージョン・ブレッドス・ファースト・サーチ(BFS)。
本研究では,不正確な部分領域の繰り返し収穫による余分なループを排除し,意味領域を探索する手法として探索を整理する。
これらの機能を内部化するために、既存のデータから専門家の軌跡を再合成することでPixelEyes-6Kデータセットを構築する。
これにより、マスク誘導検索とBFSロジックをモデルに明示的に組み込むことができます。
さらに、ゼロヒント視覚検索ベンチマークであるピンポイントベンチ(Pinpoint-Bench)を導入し、例えば、インスタンスレベルのマスクとバウンディングボックスにより、ローカライズ障害と推論障害を分離し、意図しない盲点などの障害モードのきめ細かい分析を可能にする。
近年の最先端MLLMと視覚的推論エージェントは、ピンポイントベンチに大きなヘッドルームを残し、その品質と難しさを実証している。
コードとモデルはオープンソースである。
関連論文リスト
- LARAD: Layout-Aware Road Anomaly Detection via Spatial-Logic Reasoning [16.92190487823839]
本稿では,外見整合から空間論理的推論へパラダイムをシフトさせるレイアウトアウェア道路異常検出(LARAD)を提案する。
まず、テクスチャに一貫性があるが空間的に無効なトレーニングサンプルを生成するSpatial-Logic Violation Synthesis Pipelineを紹介する。
第二に、OoD誘導の軽量なアテンションブランチにより、標準的なクローズドセットセグメンテーションネットワークを増強する。
論文 参考訳（メタデータ） (2026-07-14T15:09:00Z) - LADBench: A Benchmark for Logical Fault Detection in Images [1.6882040908691864]
視覚言語モデル(VLM)は視覚的質問応答とセマンティックグラウンドティングに優れるが、自律的な論理的推論の能力はいまだ探索されていない。
既存の異常ベンチマークでは、オープンワールド展開に必要な物理的、社会的常識よりも、視覚的エラーや直接的なプロンプトが強調されている。
LAD-benchは4つの領域にまたがる論理異常を持つ1,000以上のキュレートされた合成画像のベンチマークである。
論文 参考訳（メタデータ） (2026-06-16T02:32:38Z) - Reasoning-Driven Anomaly Detection and Localization with Image-Level Supervision [41.94832792442927]
本研究では,MLLMの本質的推論能力を活性化し,画像レベルの監視のみから異常検出,画素レベルのローカライゼーション,解釈可能な推論を行う。
具体的には,Reasoning-Driven Anomaly Localization (ReAL)を提案する。これは自己回帰推論プロセスから異常関連トークンを抽出し,その注意応答を集約して画素レベルの異常マップを生成する。
論文 参考訳（メタデータ） (2026-03-28T07:34:33Z) - Context-Nav: Context-Driven Exploration and Viewpoint-Aware 3D Spatial Reasoning for Instance Navigation [4.039245878626346]
Text-goal instance navigation (TGIN)は、エージェントに単一の自由形式の記述を正しいオブジェクトインスタンスに到達するアクションに解決するよう要求する。
局所的なキューからグローバルな探索までの長い文脈的キャプションを増大させるtextitContext-Navを提案する。
論文 参考訳（メタデータ） (2026-03-10T11:08:35Z) - Seeing Before Reasoning: A Unified Framework for Generalizable and Explainable Fake Image Detection [58.82268659497348]
この失敗の根源は、根本的なミスマッチにある、と私たちは主張する。
本稿では,偽画像検出のための汎用的で説明可能な,会話型アシスタントであるForensic-Chatを提案する。
論文 参考訳（メタデータ） (2025-09-29T20:59:19Z) - ERGO: Efficient High-Resolution Visual Understanding for Vision-Language Models [11.263321053154364]
ERGOは推論駆動の知覚平均化マルチモーダルコンテキストで、どこにフォーカスするかを決定する。
我々は、粗大な知覚のための強化学習フレームワークにおいて、単純で効果的な報酬成分を開発する。
提案手法は,従来のモデルや競合手法よりも精度が高く,効率が向上する。
論文 参考訳（メタデータ） (2025-09-26T07:15:19Z) - Can MLLMs Guide Me Home? A Benchmark Study on Fine-Grained Visual Reasoning from Transit Maps [56.76175383189738]
MLLMの詳細な視覚的理解と空間的推論能力を評価するためのベンチマークであるReasonMapを紹介する。
ReasonMapには、13か国30都市からの高解像度のトランジットマップが含まれており、2つの質問タイプと3つのテンプレートにまたがる1008の質問応答ペアが含まれている。
基本および推論変種を含む15種類のMLLMの包括的評価は、直感的パターンを示す。
論文 参考訳（メタデータ） (2025-05-24T12:33:52Z) - Are Multimodal Large Language Models Ready for Omnidirectional Spatial Reasoning? [66.88619941063048]
MLLM(Multimodal large language model)は全方向空間推論に対応しているのか?
OSR-Benchはこの設定のために特別に設計された最初のベンチマークである。
高忠実度パノラマ屋内シーンマップには、153,000以上の多様な質問応答ペアが含まれている。
GPT-4o, Gemini 1.5 Proを含む8つの最先端MLLMを評価し, ゼロショット設定で主要なオープンソースモデルを評価した。
論文 参考訳（メタデータ） (2025-05-17T08:48:40Z) - Exposing Attention Glitches with Flip-Flop Language Modeling [55.0688535574859]
この研究は、大きな言語モデルにおける注意点の現象を特定し、分析する。
ニューラルネットワークモデルの外挿挙動を探索するために設計された,合成ベンチマークのファミリであるフリップフロップ言語モデリング(FFLM)を導入する。
その結果,Transformer FFLM は散発的推論誤差の長い尾に悩まされていることがわかった。
論文 参考訳（メタデータ） (2023-06-01T17:44:35Z) - Reference-based Defect Detection Network [57.89399576743665]
最初の問題はテクスチャシフトであり、これはトレーニングされた欠陥検出モデルが目に見えないテクスチャの影響を受けやすいことを意味する。
第2の問題は部分的な視覚的混乱であり、部分的な欠陥ボックスが完全なボックスと視覚的に類似していることを示している。
本稿では,これら2つの問題に対処する参照型欠陥検出ネットワーク(RDDN)を提案する。
論文 参考訳（メタデータ） (2021-08-10T05:44:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。