論文の概要: Learning to Route in Visual Space via Multi-Step Embedding Retrieval

• arxiv url: http://arxiv.org/abs/2609.38743v1
• Date: Wed, 30 Sep 2026 01:28:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.954229
• Title: Learning to Route in Visual Space via Multi-Step Embedding Retrieval
• Title（参考訳）: マルチステップ埋め込み検索による視覚空間の経路学習
• Abstract要約: VHOPは自動回帰多段階検索のためのエンドツーエンドのトレーニングパイプラインである。 VHOPは、中間テキストクエリを定式化することなく、単一のツールコールでリンクされたイメージチェーンを検索する。 VHOPコンテキストは、検索性能を5%未満から76.3%に向上させる。
• 参考スコア（独自算出の注目度）: 57.56937837326161
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM agents rely on retrieval tools to access external knowledge, yet visual agentic search remains severely bottlenecked by standard single-step retrievers. In current pipelines, the agent must issue text queries for every intermediate step, struggling when visual clues are difficult to describe or when the retriever fails to surface necessary intermediate evidence within its top results. We hypothesize that offloading multi-step navigation across the entire embedding space directly to the retrieval tool resolves this performance bottleneck. To study this systematically, we introduce VHOP, a flexible data generation framework and benchmark with five core difficulty levels testing both visual matching and search planning. Using this framework, we develop VHOP-Router, an end-to-end training pipeline---combining supervised fine-tuning, online imitation learning, and reinforcement learning---that transforms a standard embedding model into an autoregressive multi-step retriever. Operating directly in the visual latent space, VHOP-Router retrieves linked image chains in a single tool call without requiring the agent to formulate intermediate text queries. Experiments show VHOP-Router boosts retrieval performance from under 5\% to 76.3\%. In agentic search, it improves task success rates by 52.7\% and reduces the average token length by 61\% from 1886 to 728, whereas upgrading the agent yields only a 3.7\% gain. Compared to a strong baseline where the agent retrieves the top 50 results per step, VHOP-Router maintains superior performance while reducing in-context images by $23\times$ and cutting the cumulative API payload by $35\times$. The models also generalize robustly to unseen difficulty levels and realistic test sets. Ultimately, VHOP and VHOP-Router provide an efficient and effective solution for visual agentic search that leaves native LLM capabilities entirely intact.
• Abstract（参考訳）: LLMエージェントは外部知識にアクセスするための検索ツールに頼っているが、視覚エージェント検索は標準のシングルステップレトリバーによって著しくボトルネックを被っている。 現在のパイプラインでは、エージェントは中間ステップごとにテキストクエリを発行し、視覚的な手がかりが説明が難しい場合や、検索者がその上位結果の中で必要な中間証拠を提示できない場合に苦労しなければならない。 組込み空間全体を直接検索ツールにオフロードすることで、この性能ボトルネックが解決されるという仮説を立てる。 これを体系的に研究するために,視覚的マッチングと探索計画の両方をテストする5つの難易度を持つフレキシブルなデータ生成フレームワークとベンチマークであるVHOPを紹介した。 このフレームワークを用いて、教師付き微調整、オンライン模倣学習、強化学習を組み合わせたエンドツーエンドのトレーニングパイプラインであるVHOP-Routerを開発し、標準埋め込みモデルを自己回帰型マルチステップレトリバーに変換する。 VHOP-Routerは視覚的な潜在空間で直接動作し、エージェントが中間テキストクエリを定式化することなく、単一のツールコールでリンクされたイメージチェーンを検索する。 実験によると、VHOP-Routerは検索性能を5\%以下から76.3\%に向上させる。 エージェントサーチでは、タスク成功率を52.7%改善し、平均トークン長を1886年から728年まで61.%削減する一方、エージェントをアップグレードすると3.7.%の利得しか得られない。 VHOP-Routerは、エージェントがステップ毎にトップ50の結果を取得する強いベースラインと比較して、コンテクスト内のイメージを23ドル減らし、累積的なAPIペイロードを35ドル減らしながら、優れたパフォーマンスを維持している。 モデルはまた、目に見えない難易度や現実的なテストセットにしっかりと一般化する。 最終的に、VHOPとVHOP-Routerは視覚エージェント検索のための効率的かつ効果的なソリューションを提供する。

関連論文リスト

• Iris: Climbing to the Search Frontier [21.066541702697112]
  我々は35B-A3Bスケールと397B-A17Bスケールでトレーニングされた2つの検索エージェントであるIris-miniとIris-proを紹介する。
  論文  参考訳（メタデータ） (2026-09-03T17:51:01Z)
• SimpleSearch-VL: A Simple Recipe for Multimodal Agentic Deep Search [60.29041788383166]
  マルチモーダルエージェント検索のための,効率的で信頼性が高く,実用的なフレームワークであるSimpleSearch-VLを提案する。 SimpleSearch-VLは、データやツール、補助モデルコンポーネントをスケールするのではなく、エージェント自身の検索と検証プロセスを改善する。
  論文  参考訳（メタデータ） (2026-06-30T11:22:24Z)
• OpenSearch-VL: An Open Recipe for Frontier Multimodal Search Agents [50.79529228477821]
  エージェント強化学習を用いたフロンティアマルチモーダルディープサーチエージェントの完全オープンソースレシピであるOpenSearch-VLを紹介した。 まず、ウィキペディアパスのサンプリング、ファジィエンティティの書き換え、ソース・アンカーの視覚的グラウンドリングを通じて、高品質なトレーニングデータを構築するための専用パイプラインをキュレートした。 さらに,テキスト検索,画像検索,OCR,収穫,研削,超解像,視点補正を統一する多様なツール環境を設計する。
  論文  参考訳（メタデータ） (2026-05-06T17:50:38Z)
• VLAA-GUI: Knowing When to Stop, Recover, and Search, A Modular Framework for GUI Automation [98.38575149237442]
  VLAA-GUIは3つの統合コンポーネントを中心に構築されたモジュラーGUIフレームワークである。 必須完全性検証は、UIで観測可能な成功基準と検証を、各完了ステップで実施する。 強制的なループブレーカは、繰り返し失敗した後、多層切替インタラクションモードを提供する。
  論文  参考訳（メタデータ） (2026-04-23T07:42:37Z)
• MTA-Agent: An Open Recipe for Multimodal Deep Search Agents [51.180338423927985]
  MLLM(Multi-hop large language model)は、視覚的理解において強力な能力を示しているが、複雑な多段階推論において制限されている。 証拠ベースQA合成のためのマルチホップツール拡張エージェント(MTA-Agent)を提案する。 MTA-Agentは、視覚的およびテキストソースから証拠を検索し、検証するためのツールとそのパラメータを自動的に選択する。
  論文  参考訳（メタデータ） (2026-04-07T19:01:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。