論文の概要: From Web to Pixels: Bringing Agentic Search into Visual Perception

• arxiv url: http://arxiv.org/abs/2605.12497v1
• Date: Tue, 12 May 2026 17:59:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:57.087127
• Title: From Web to Pixels: Bringing Agentic Search into Visual Perception
• Title（参考訳）: WebからPixelへ: 視覚的知覚にエージェント検索をもたらす
• Authors: Bokang Yang, Xinyi Sun, Kaituo Feng, Xingping Dong, Dongming Wu, Xiangyu Yue,
• Abstract要約: 我々は、視覚的対象を、外的事実、最近の出来事、ロングテールエンティティ、あるいはマルチホップ関係から最初に解決しなければならない、より実用的で難しいオープンワールドのケースについて研究する。 我々は、この課題をパーセプションディープリサーチとして形式化し、検証された証拠、知識集約的なクエリ、および3つのタスクビューを備えたオブジェクト指向ベンチマークであるWebEyeを紹介する。 実験の結果,Pixel-Searcherは3つのタスクビューすべてで最強のオープンソースパフォーマンスを達成した。
• 参考スコア（独自算出の注目度）: 25.410634873647187
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual perception connects high-level semantic understanding to pixel-level perception, but most existing settings assume that the decisive evidence for identifying a target is already in the image or frozen model knowledge. We study a more practical yet harder open-world case where a visible object must first be resolved from external facts, recent events, long-tail entities, or multi-hop relations before it can be localized. We formalize this challenge as Perception Deep Research and introduce WebEye, an object-anchored benchmark with verifiable evidence, knowledge-intensive queries, precise box/mask annotations, and three task views: Search-based Grounding, Search-based Segmentation, and Search-based VQA. WebEyes contains 120 images, 473 annotated object instances, 645 unique QA pairs, and 1,927 task samples. We further propose Pixel-Searcher, an agentic search-to-pixel workflow that resolves hidden target identities and binds them to boxes, masks, or grounded answers. Experiments show that Pixel-Searcher achieves the strongest open-source performance across all three task views, while failures mainly arise from evidence acquisition, identity resolution, and visual instance binding.
• Abstract（参考訳）: 視覚知覚は、高レベルのセマンティック理解とピクセルレベルの認識を結びつけるが、既存のほとんどの設定では、ターゲットを特定する決定的な証拠は、既に画像や凍結モデル知識にあると仮定している。 我々は、視覚的対象を、外的事実、最近の出来事、ロングテールエンティティ、あるいはマルチホップ関係から最初に解決しなければならない、より実用的で難しいオープンワールドのケースについて研究する。 私たちはこの課題をパーセプションディープリサーチとして形式化し、検証可能なエビデンス、知識集約型クエリ、正確なボックス/マスクアノテーション、検索ベースのグラウンド、検索ベースのセグメンテーション、検索ベースのVQAの3つのタスクビューを備えた、オブジェクト指向ベンチマークであるWebEyeを紹介します。 WebEyesには120の画像、473のアノテーション付きオブジェクトインスタンス、645のユニークなQAペア、1,927のタスクサンプルが含まれている。 さらに、隠れたターゲットのアイデンティティを解決し、それらをボックス、マスク、接地された回答にバインドする、エージェントによる検索とピクセルのワークフローであるPixel-Searcherを提案する。 実験の結果,Pixel-Searcherは3つのタスクビューすべてで最強のオープンソースパフォーマンスを達成した。

関連論文リスト

• InSight-o3: Empowering Multimodal Foundation Models with Generalized Visual Search [48.79494320593913]
  O3-Benchは、視覚的詳細に注意を払ってマルチモーダル推論を評価するために設計された新しいベンチマークである。 O3-Benchは、エージェントが複数のステップの推論を通じて、異なる画像領域から微妙な視覚情報をまとめることを必要とする、困難な問題を特徴としている。 視覚推論エージェント(vReasoner)と視覚検索エージェント(vSearcher)からなるマルチエージェントフレームワークであるInSight-o3を提案する。
  論文  参考訳（メタデータ） (2025-12-21T14:23:07Z)
• ReSeDis: A Dataset for Referring-based Object Search across Large-Scale Image Collections [14.076781094343362]
  Referring Search and Discovery (ReSeDis) は,コーパスレベルの検索と画素レベルのグラウンド化を統合化する最初のタスクである。 厳密な研究を可能にするために、我々は、全ての記述が大きな多様なコーパスに散在するオブジェクトインスタンスに一意にマッピングされるベンチマークをキュレートする。 ReSeDisは、次世代の堅牢でスケーラブルなマルチモーダル検索システムを構築するための、現実的でエンドツーエンドのテストベッドを提供する。
  論文  参考訳（メタデータ） (2025-06-18T06:52:10Z)
• Detect2Interact: Localizing Object Key Field in Visual Question Answering (VQA) with LLMs [5.891295920078768]
  本稿では,物体の視覚的フィールド検出のための高度な手法を提案する。 まず,画像中の物体の詳細な空間地図を生成するために,SAMモデルを用いた。 次に、Vision Studioを使用してセマンティックオブジェクト記述を抽出する。 第3に、GPT-4の常識知識を用いて、オブジェクトの意味論と空間マップとのギャップを埋める。
  論文  参考訳（メタデータ） (2024-04-01T14:53:36Z)
• SHIELD : An Evaluation Benchmark for Face Spoofing and Forgery Detection with Multimodal Large Language Models [61.8876114116716]
  MLLM(Multimodal large language model)は、視覚関連タスクにおいて強力な機能を示す。 しかし、顔攻撃検出タスクにおける微妙な視覚的偽造や偽造の手がかりを検出する能力は、まだ探索されていない。 フェーススプーフィングと偽造検出のためのMLLM評価のためのベンチマークShiELDを導入する。
  論文  参考訳（メタデータ） (2024-02-06T17:31:36Z)
• Generalizable Person Search on Open-world User-Generated Video Content [93.72028298712118]
  人物の検索は、大量の露骨なシーン画像から個人を検索する、困難な作業である。 既存の人検索アプリケーションは、ほとんどトレーニングされ、同じシナリオにデプロイされます。 本稿では,任意のシナリオにおける下流タスクを容易にするために,特徴レベルとデータレベルの両方の一般化可能なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-16T04:59:50Z)
• CoTDet: Affordance Knowledge Prompting for Task Driven Object Detection [42.2847114428716]
  タスク駆動オブジェクト検出は、イメージ内のタスクを提供するのに適したオブジェクトインスタンスを検出することを目的としている。 その課題は、従来のオブジェクト検出のためのクローズドなオブジェクト語彙に制限されるほど多様すぎるタスクのために利用できるオブジェクトカテゴリにある。 本稿では,オブジェクトカテゴリではなく,異なるオブジェクトが同じタスクを達成できる共通属性について検討する。
  論文  参考訳（メタデータ） (2023-09-03T06:18:39Z)
• Exposing Query Identification for Search Transparency [69.06545074617685]
  本稿では,検索システムの2つのクラスにおいて,クエリとドキュメントの役割を逆転させることにより,検索タスクとしてのEQIの実現可能性について検討する。 本研究では,クエリのランク付けの質を評価するための評価基準を導出するとともに,近似EQIの様々な実践的側面に着目した経験的分析を行う。
  論文  参考訳（メタデータ） (2021-10-14T20:19:27Z)
• One-Shot Object Affordance Detection in the Wild [76.46484684007706]
  Affordance Detectionは、画像内のオブジェクトの潜在的なアクション可能性を特定することを指す。 我々は、人間の行動目的を推定し、それを転送して、すべての候補画像から共通価格を検出するワンショットアフォーダンス検出ネットワーク(OSAD-Net)を考案する。 複雑なシーンと豊富なアノテーションによって、当社のPADv2データセットは、アベイランス検出メソッドをベンチマークするためのテストベッドとして使用することができます。
  論文  参考訳（メタデータ） (2021-08-08T14:53:10Z)
• Tasks Integrated Networks: Joint Detection and Retrieval for Image Search [99.49021025124405]
  多くの現実世界の探索シナリオ(例えばビデオ監視)では、オブジェクトは正確に検出または注釈付けされることはめったにない。 まず、エンド・ツー・エンド統合ネット(I-Net)を紹介します。 さらに,2つの新しいコントリビューションを行うDC-I-Netという改良されたI-Netを提案する。
  論文  参考訳（メタデータ） (2020-09-03T03:57:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。