論文の概要: EviRover: Reinforcing Agentic Perception Beyond a Glance
- arxiv url: http://arxiv.org/abs/2609.40230v1
- Date: Wed, 30 Sep 2026 17:30:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:28.183307
- Title: EviRover: Reinforcing Agentic Perception Beyond a Glance
- Title(参考訳): EviRover: エージェントの知覚をGlanceを超えて強化する
- Abstract要約: エージェントプロセスとして知覚を定式化し、一目で情報を得ることができる。
EviRoverは、対話を通じて知覚的クエリを解決するために明示的に訓練された最初の知覚エージェントである。
実験によると、4B EviRoverはEviLensで平均30ポイント上回っている。
- 参考スコア(独自算出の注目度): 21.421084561464408
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Visual perception is conventionally formulated as a one-shot prediction from a single glance at the image, under the assumption that the image content and the model's parametric knowledge suffice to resolve the query. This assumption often fails in real-world scenarios that hinge on fine-grained visual details or require knowledge-intensive and up-to-date information. We term such cases \textit{perception under insufficient evidence} and formulate perception as an agentic process that can obtain information beyond a single glance. To address the absence of data for this setting, we design two dedicated data generation pipelines, yielding EviRover-SFT-5K and EviRover-RL-12K for training. We further construct EviLens, a human-verified benchmark comprising 688 instances across five perception categories. Building on these data, we present EviRover, to our knowledge the first perception agent explicitly trained to resolve perceptual queries through interaction, using supervised fine-tuning followed by agentic reinforcement learning. Experiments show that the 4B EviRover outperforms its backbone by 30 points on average on EviLens, reaching performance comparable to advanced proprietary models. The gains transfer beyond EviLens to WebEyes, conventional perception benchmarks, and general multimodal benchmarks, including a 15-point improvement on BrowseComp-VL. All code, models, and data are released.
- Abstract(参考訳): 視覚知覚は、画像の内容とモデルのパラメトリック知識がクエリを解くのに十分であるという仮定のもと、画像を一視点から1ショットの予測として定式化される。
この仮定は、細かい視覚的詳細を隠したり、知識集約的で最新の情報を必要とする現実世界のシナリオで失敗することが多い。
このようなケースを、不十分な証拠の下でのtextit{perception} と呼び、一目で情報を得るエージェントプロセスとして知覚を定式化する。
この設定のためのデータがないため、トレーニング用にEviRover-SFT-5KとEviRover-RL-12Kの2つの専用データ生成パイプラインを設計する。
EviLensは5つの知覚カテゴリにまたがる688のインスタンスからなる人間検証ベンチマークである。
これらのデータに基づいて、私たちはEviRoverについて、エージェント強化学習による教師付き微調整を用いて、対話を通じて知覚的クエリを解決するために明示的に訓練された最初の認知エージェントについて紹介する。
実験によると、4B EviRoverは、EviLensで平均30ポイントのバックボーンを上回り、先進的なプロプライエタリモデルに匹敵するパフォーマンスを達成した。
このゲインは、EviLensからWebEyes、従来の知覚ベンチマーク、BrowseComp-VLの15ポイント改善を含む一般的なマルチモーダルベンチマークへと移行する。
すべてのコード、モデル、データがリリースされます。
関連論文リスト
- UNIBROWSE: A Data-to-Agent Framework for Multimodal BrowseComp [14.339105360523831]
実世界のマルチモーダルブラウジングには3つの異なる情報フローパターンがある。
UNIBROWSEは3つのパターンすべてをカバーするトレーニングデータを同時に生成する統合データパイプラインである。
UNIBROWSEエージェントは、マルチモーダルなBrowseCompベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2026-07-12T04:13:27Z) - Through Their Eyes: Fixation-aligned Tuning for Personalized User Emulation [11.879346281714453]
視覚言語モデル(VLM)の視覚的注意とユーザ固有の視線パターンを一致させることで、シミュレーションの精度が向上するかどうかを検討する。
提案手法はまず,解釈可能性演算子を用いてVLMの内部視覚的注意を探索し,スロットレベルの関連性分布を求める。
3つの解釈可能性に基づく探索演算子と2つのアーキテクチャ的に異なるVLMバックボーンを用いた実験は、アテンションアライメントとクリック予測精度の両面で一貫した改善を示している。
論文 参考訳(メタデータ) (2026-04-10T14:38:45Z) - Revisiting Salient Object Detection from an Observer-Centric Perspective [48.99721284788945]
そこで我々は,視覚的手がかりだけでなく,その嗜好や意図など,観察者固有の要因を考慮し,有意な領域を予測できるオブザーバ中心の有意物体検出(OC-SOD)を提案する。
結果として、この定式化は本質的なあいまいさと人間の知覚の多様性を捉え、パーソナライズされ、文脈に合ったサリエンシの予測を可能にする。
論文 参考訳(メタデータ) (2026-02-06T03:53:01Z) - OpenDataArena: A Fair and Open Arena for Benchmarking Post-Training Dataset Value [74.80873109856563]
OpenDataArena(ODA)は、トレーニング後のデータの本質的な価値をベンチマークするために設計された、総合的でオープンなプラットフォームである。
ODAは4つの主要な柱からなる包括的なエコシステムを確立している。 (i) 多様なモデル間で公平でオープンな比較を保証する統一的なトレーニング評価パイプライン、 (ii) 異なる軸数に沿ってデータ品質をプロファイリングする多次元スコアリングフレームワーク、 (iii) データセットの系図を視覚化してコンポーネントソースを識別するインタラクティブなデータ系統探索である。
論文 参考訳(メタデータ) (2025-12-16T03:33:24Z) - Beginning with You: Perceptual-Initialization Improves Vision-Language Representation and Alignment [2.3735961220736423]
視覚表現学習におけるパラダイムシフトである知覚初期化(PI)を導入する。
提案手法は,タスク固有の微調整を使わずに,ゼロショット性能が大幅に向上したことを示す。
私たちの研究は、人間の知覚から始まる「あなたとの交際」が、汎用的な視覚言語知能の強力な基盤を提供することを示している。
論文 参考訳(メタデータ) (2025-05-20T11:04:14Z) - Envisioning Beyond the Pixels: Benchmarking Reasoning-Informed Visual Editing [84.16442052968615]
RISEBenchはReasoning-Informed ViSual Editing (RISE)の最初のベンチマークである。
RISEBenchは、時間、因果、空間、論理的推論の4つの主要な推論カテゴリに焦点を当てている。
オープンソースモデルとプロプライエタリモデルの両方を含む,9つの目立った視覚編集モデルを評価する実験を行った。
論文 参考訳(メタデータ) (2025-04-03T17:59:56Z) - Raising the Bar of AI-generated Image Detection with CLIP [50.345365081177555]
本研究の目的は、AI生成画像の普遍的検出のための事前学習された視覚言語モデル(VLM)の可能性を探ることである。
我々は,CLIP機能に基づく軽量な検出戦略を開発し,その性能を様々な難易度シナリオで検証する。
論文 参考訳(メタデータ) (2023-11-30T21:11:20Z) - Retrieval-Enhanced Contrastive Vision-Text Models [61.783728119255365]
そこで本研究では,メモリから取得したクロスモーダルな情報を推論時に表現することで,その埋め込みを洗練できる視覚テキストモデルを提案する。
注目すべきことに、これは凍ったCLIPの上に軽量の単層核融合トランスを用いて行うことができる。
検索強化コントラスト訓練(RECO)がCLIPの性能を大幅に向上することを示す。
論文 参考訳(メタデータ) (2023-06-12T15:52:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。