論文の概要: Neos: Learning to Interleave Search and Visual Reasoning

• arxiv url: http://arxiv.org/abs/2610.17043v1
• Date: Mon, 12 Oct 2026 16:16:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.406294
• Title: Neos: Learning to Interleave Search and Visual Reasoning
• Title（参考訳）: Neos: 検索とビジュアル推論のインターリーブを学ぶ
• Abstract要約: Neosは、証拠の取得方法と、それを使ってその後の意思決定をガイドする方法の両方を学ぶマルチモーダルなディープ検索フレームワークである。 この結合を学習可能にするため、Neosはテキストショートカットをフィルタリングしながら、中間的な視覚的依存を伴うトレーニングタスクを構築する。 10のベンチマークで、Neos-9BとNeos-35Bは、特殊なマルチモーダルディープサーチエージェントの中で、主要なパフォーマンスを示している。
• 参考スコア（独自算出の注目度）: 46.46470725945726
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent multimodal deep search agents have advanced tool use and visual content retrieval, yet they still struggle to convert intermediate visual evidence into actionable guidance for subsequent search, limiting their effectiveness in long-horizon settings. To address this gap, we present Neos, a multimodal deep search framework that learns both how to acquire evidence and how to use it to guide subsequent decisions. To make this coupling learnable, Neos constructs training tasks with intermediate visual dependencies while filtering out textual shortcuts, and introduces a lightweight, trainable Multimodal Evidence Interface (MEI) that transforms retrieved content into goal-conditioned observations. At its core, an agent-environment co-evolution procedure treats MEI as a co-adaptive component of this loop. Specifically, reference-guided credit assignment uses verified successful trajectories to localize critical policy errors while preserving credit for useful decisions in failed searches, whereas rollout feedback selects informative local evidence-processing interactions for MEI supervised fine-tuning (SFT). By alternating policy reinforcement learning (RL) with MEI SFT, Neos allows the policy's evolving evidence requests to shape MEI training and the adapted MEI to reshape subsequent observations, closing the loop between evidence acquisition and evidence-conditioned action. Across ten benchmarks, Neos-9B and Neos-35B demonstrate leading performance among specialized multimodal deep-search agents.
• Abstract（参考訳）: 近年のマルチモーダルディープサーチエージェントは、高度なツールの使用とビジュアルコンテンツ検索を行っているが、中間的な視覚的証拠をその後の検索のための実用的なガイダンスに変換するのに苦慮し、長期的設定での有効性を制限している。 このギャップに対処するために、我々はNeosというマルチモーダルなディープ検索フレームワークを紹介します。 この結合を学習可能にするため、Neosはテキストショートカットをフィルタリングしながら、中間的な視覚的依存関係を持つトレーニングタスクを構築し、検索したコンテンツを目標条件の観察に変換する軽量でトレーニング可能なマルチモーダルエビデンスインターフェース(MEI)を導入している。 エージェント環境共進化の手順は、MEIをこのループの共適応成分として扱う。 具体的には、基準誘導型クレジットアサインメントは、重要なポリシーエラーをローカライズし、検索に失敗した場合に有効な判断のためのクレジットを保存するのに対して、ロールアウトフィードバックはMEIが監督する微調整(SFT)のための情報的ローカルエビデンス処理インタラクションを選択する。 政策強化学習(RL)をMEI SFTと交互に行うことで、Neosは政策の進化するエビデンス要求にMEIトレーニングを形成させ、適応されたMEIはその後の観察を再構築し、エビデンス獲得とエビデンス条件付き行動のループを閉じる。 10のベンチマークで、Neos-9BとNeos-35Bは、特殊なマルチモーダルディープサーチエージェントの中で、主要なパフォーマンスを示している。

関連論文リスト

• SearchEyes: Towards Frontier Multimodal Deep Search Intelligence via Search World Simulation [26.8807904319691]
  模擬検索世界のバックボーンとして型付き知識グラフを用いたtextbfSearchEyes を提案する。 Wikidata5Mの視覚的知識交差点上の制約付きマルチホップパスをサンプリングするために,textbfPerception-Knowledge Chains (PKC)を提案する。 6つのマルチモーダルな知識集約型ベンチマーク実験により,SearchEyesはオープンソースのマルチモーダル検索エージェントの最先端性能を実現することが示された。
  論文  参考訳（メタデータ） (2026-07-07T07:43:04Z)
• InternVideo3: Agentify Foundation Models with Multimodal Contextual Reasoning [61.87294123934038]
  ビデオタスクにおけるマルチモーダル理解を強化するフレームワークであるInternVideo3を提案する。 MCRは理解を、共有、進化するコンテキスト上でのクローズドループプロセスとして扱う。 InternVideo3は、Video-MME、MLVU、Egoなどのベンチマークで強力なパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2026-06-10T15:17:08Z)
• GrepSeek: Training Search Agents for Direct Corpus Interaction [66.69568141699311]
  GrepSeekは、コンパクトな検索エージェントを訓練し、大きなテキストコーパスから証拠を見つけ、フィルタリングし、構成する、最適化された直接コーパスインタラクション(DCI)検索エージェントである。 DCIを大規模に実用化するためには、シェルコマンドのシーケンシャルな実行とバイトエクササイズ等価性を保ちながら、シェルベースの検索を最大7.6タイムで高速化するセマンティックス保存のシャード並列実行エンジンを使用する。
  論文  参考訳（メタデータ） (2026-05-28T03:37:33Z)
• RRCM: Ranking-Driven Retrieval over Collaborative and Meta Memories for LLM Recommendation [14.301653810918713]
  大規模言語モデル(LLM)は、次世代のレコメンデーションシステムにとって有望なパラダイムとして登場した。 LLMに基づくエージェントレコメンデーションのためのランキング駆動型検索・推論フレームワークRRCMを提案する。
  論文  参考訳（メタデータ） (2026-05-08T02:07:30Z)
• Agentic Conversational Search with Contextualized Reasoning via Reinforcement Learning [66.52010873968383]
  本稿では,RL学習を通じて学習した探索的,適応的な行動を可能にする,交互に探索と推論をインターリーブする対話エージェントを提案する。 広く使われている4つの対話型ベンチマークによる実験結果から,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2026-01-19T14:55:54Z)
• Beyond Monolithic Architectures: A Multi-Agent Search and Knowledge Optimization Framework for Agentic Search [56.78490647843876]
  エージェント検索は、大規模言語モデル(LLM)が推論とツールの使用をインターリーブできるようにすることによって、複雑な情報を探すための有望なパラダイムとして登場した。 本稿では,bfM-ASKを提案する。bfM-ASK,bfM-ASK,bfM-ASK,bfM-ASK,bfM-ASK,bfM-ASK,bfM-ASK,bfM-ASK。
  論文  参考訳（メタデータ） (2026-01-08T08:13:27Z)
• Resolving Evidence Sparsity: Agentic Context Engineering for Long-Document Understanding [49.26132236798123]
  視覚言語モデル(VLM)は、文書理解における主要なアプローチになりつつある。 本稿では,粗いプロセスにおいて,検索者と4つの協調エージェントを編成するマルチエージェントフレームワークSLEUTHを提案する。 このフレームワークは、検索したページ内の重要なテキストおよび視覚的手がかりを特定し、テーブルやチャートなどの健全な視覚的エビデンスをフィルタし、クエリを分析して推論戦略を考案する。
  論文  参考訳（メタデータ） (2025-11-28T03:09:40Z)
• Scent of Knowledge: Optimizing Search-Enhanced Reasoning with Information Foraging [11.377241012645994]
  InForageは、動的情報探索プロセスとして検索強化推論を形式化する強化学習フレームワークである。 我々は,複雑な実世界のWebタスクに対する反復探索と推論のトラジェクトリをキャプチャするヒューマンガイドデータセットを構築した。 これらの結果は、堅牢で適応的で効率的な推論エージェントの構築におけるInForageの有効性を強調している。
  論文  参考訳（メタデータ） (2025-05-14T12:13:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。