論文の概要: OneSearch-VL: Unified Multimodal Deep Research Agent for Image and Video
- arxiv url: http://arxiv.org/abs/2610.12419v1
- Date: Thu, 08 Oct 2026 17:52:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:54.240926
- Title: OneSearch-VL: Unified Multimodal Deep Research Agent for Image and Video
- Title(参考訳): OneSearch-VL:画像とビデオのための統合マルチモーダルディープリサーチエージェント
- Abstract要約: ビジュアルグラウンドドエビデンスグラフ(VGEG)を中心とした統一エージェントであるOneSearch-VLを紹介する。
我々のVGEGベースのデータエンジンは、マルチイメージおよびビデオ質問を構築し、検証し、専門家の軌跡をフィルタリングする。
実験の結果、OneSearch-VL-8BはQwen3-VL-8Bよりも改善され、ツールアクセスは2つのベンチマークで20.2と17.6ポイント向上した。
- 参考スコア(独自算出の注目度): 38.8547627674778
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Single-image, multi-image, and video deep research require different visual operations but share a workflow of visual grounding, external retrieval, and fact composition. A key challenge is to preserve the dependencies linking localized visual anchors, entity relations, source-supported facts, and answer-producing operations. We introduce OneSearch-VL, a unified agent centered on the Visually Grounded Evidence Graph (VGEG), which encodes these dependencies as a shared task-level reference for data construction, process supervision, and operation-level evaluation. Our VGEG-based data engine constructs and verifies multi-image and video questions and filters expert trajectories. Using these data, we assemble OneSearch-VL-SFT-110K and OneSearch-VL-RL-10K for SFT and RL, respectively. We further derive the Evidence-aware Visual-Grounded Rubric reward (EVGR) from VGEG annotations to supervise evidence traceability and visual grounding during RL. For fine-grained evaluation, we construct OneSearch-MI-Bench and OneSearch-Video-Bench, organizing questions by the research operations encoded in their VGEGs. Experiments show that OneSearch-VL-8B improves over Qwen3-VL-8B with tool access by 20.2 and 17.6 percentage points on the two new benchmarks, respectively, while also achieving substantial gains across 7 image benchmarks and VideoDR. Project repository: https://github.com/appletea233/OneSearch-VL
- Abstract(参考訳): シングルイメージ、マルチイメージ、ビデオディープリサーチは異なる視覚操作を必要とするが、視覚的接地、外的検索、事実合成のワークフローを共有する。
重要な課題は、ローカル化されたビジュアルアンカー、エンティティ関係、ソースサポートされた事実、および回答生成操作をリンクする依存関係を保存することである。
我々は,データ構築,プロセスの監視,操作レベルの評価のための共有タスクレベル参照として,これらの依存関係をエンコードする,Visually Grounded Evidence Graph(VGEG)を中心とした統一エージェントであるOneSearch-VLを紹介した。
我々のVGEGベースのデータエンジンは、マルチイメージおよびビデオ質問を構築し、検証し、専門家の軌跡をフィルタリングする。
これらのデータを用いて,SFT と RL の OneSearch-VL-SFT-110K と OneSearch-VL-RL-10K をそれぞれ組み立てる。
我々はさらに、VGEGアノテーションからEVGR(Evidence-aware Visual-Grounded Rubric reward)を導き、RL中の証拠トレーサビリティと視覚的グラウンドニングを監督する。
詳細な評価を行うため,OneSearch-MI-BenchとOneSearch-Video-Benchを構築し,VGEGに符号化された研究操作による質問を整理する。
実験の結果、OneSearch-VL-8BはツールアクセスでQwen3-VL-8Bよりも20.2と17.6ポイント向上し、7つの画像ベンチマークとVideoDRで大幅に向上した。
プロジェクトリポジトリ:https://github.com/appletea233/OneSearch-VL
関連論文リスト
- SimpleSearch-VL: A Simple Recipe for Multimodal Agentic Deep Search [60.29041788383166]
マルチモーダルエージェント検索のための,効率的で信頼性が高く,実用的なフレームワークであるSimpleSearch-VLを提案する。
SimpleSearch-VLは、データやツール、補助モデルコンポーネントをスケールするのではなく、エージェント自身の検索と検証プロセスを改善する。
論文 参考訳(メタデータ) (2026-06-30T11:22:24Z) - InterLV-Search: Benchmarking Interleaved Multimodal Agentic Search [38.39587091230621]
既存のベンチマークでは、マルチモーダル検索とビジュアルブラウジングが評価されているが、視覚的証拠は入力に限られるか、応答エンドポイントとして扱われる。
我々はInterleaved Language-Vision Agentic SearchのベンチマークであるtextbfInterLV-Searchを紹介する。
アクティブ・ビジュアル・エビデンス・サーチ、オフライン・インターリーブド・サーチ、オープン・ウェブ・インターリーブド・サーチの3段階にわたる2,061件のサンプルが含まれている。
論文 参考訳(メタデータ) (2026-05-08T09:41:07Z) - OpenSearch-VL: An Open Recipe for Frontier Multimodal Search Agents [50.79529228477821]
エージェント強化学習を用いたフロンティアマルチモーダルディープサーチエージェントの完全オープンソースレシピであるOpenSearch-VLを紹介した。
まず、ウィキペディアパスのサンプリング、ファジィエンティティの書き換え、ソース・アンカーの視覚的グラウンドリングを通じて、高品質なトレーニングデータを構築するための専用パイプラインをキュレートした。
さらに,テキスト検索,画像検索,OCR,収穫,研削,超解像,視点補正を統一する多様なツール環境を設計する。
論文 参考訳(メタデータ) (2026-05-06T17:50:38Z) - Towards Long-horizon Agentic Multimodal Search [109.0092257657625]
本稿では,LMM-Searcher という,ファイルベースの視覚的表現機構を中心とした新しい多モード深層検索フレームワークを提案する。
エージェントに調整されたフェッチ・イメージ・ツールを装備し、能動的知覚のためのプログレッシブでオンデマンドなビジュアル・ローディング・ストラテジーを実現する。
提案手法は,100ターンの探索地平線へのスケールアップに成功し,オープンソースモデル間の最先端性能を実現した。
論文 参考訳(メタデータ) (2026-04-14T15:40:28Z) - Pixel-Grounded Retrieval for Knowledgeable Large Multimodal Models [58.46663983451155]
PixSearchは、地域レベルの認識と検索強化推論を統合する、エンドツーエンドのLMM(Large Multimodal Model)である。
エンコーディング中、PixSearchは検索をトリガーする検索>トークンを出力し、クエリのモダリティ(テキスト、画像、リージョン)を選択し、ビジュアルクエリとして直接機能するピクセルレベルのマスクを生成する。
エゴセントリックでエンティティ中心のVQAベンチマークでは、PixSearchは事実整合性と一般化を大幅に改善する。
論文 参考訳(メタデータ) (2026-01-27T00:46:08Z) - LOVO: Efficient Complex Object Query in Large-Scale Video Datasets [11.821229903544404]
LOVOは、comp$underlineL$ex $underlineO$bjectクエリを大規模$underlineV$ide$underlineO$データセットで効率的に扱うように設計された新しいシステムである。
ユーザクエリに依存しないLOVOは、事前トレーニングされたビジュアルエンコーダを使用して、ワンタイムの機能抽出を実行し、キーフレームに対するコンパクトなビジュアル埋め込みを生成する。
クエリフェーズの間、LOVOはオブジェクトクエリをクエリの埋め込みに変換し、視覚的な埋め込みの近傍の高速な探索を行う。
論文 参考訳(メタデータ) (2025-07-18T18:21:43Z) - Single-Stage Visual Query Localization in Egocentric Videos [79.71065005161566]
エンドツーエンドのトレーニングが可能なシングルステージのVQLフレームワークを提案する。
我々は,クエリとビデオフレーム間の問合せ対応を考慮し,問合せとビデオの関係を確立する。
実験により,提案手法の精度は従来のVQL手法よりも20%向上し,推論速度は10倍向上した。
論文 参考訳(メタデータ) (2023-06-15T17:57:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。