論文の概要: UniVR: Thinking in Visual Space for Unified Visual Reasoning
- arxiv url: http://arxiv.org/abs/2607.12800v1
- Date: Tue, 14 Jul 2026 14:15:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-15 17:08:30.167723
- Title: UniVR: Thinking in Visual Space for Unified Visual Reasoning
- Title(参考訳): UniVR: 統一されたビジュアル推論のためのビジュアルスペースを考える
- Abstract要約: 我々は、複雑な推論、きめ細かな物理力学、そして純粋な視覚的なデモンストレーションから長期計画を同時に学習する最初の調査であるUniVRを紹介する。
コアとなるUniVRは、補完的なグローバルとステップレベルの報酬を備えた強化学習パラダイムであるVR-GRPOを備えている。
UniVRをトレーニングし、評価するために、長い水平操作、空間パズル、物理的推論にまたがる16の様々なソースからキュレートされた大規模なベンチマークであるVR-Xを構築した。
- 参考スコア(独自算出の注目度): 109.8746743219571
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Learning broad world knowledge directly from raw visual data is a fundamental capability of intelligence. We introduce UniVR, the first investigation into simultaneously learning complex reasoning, fine-grained physical dynamics, and long-term planning from pure visual demonstrations. At its core, UniVR features VR-GRPO, a reinforcement learning paradigm with complementary global and step-level rewards. This approach enforces logical coherence and physical consistency throughout the reasoning process without requiring task-specific heuristics or image-text pairs. To train and evaluate UniVR, we construct VR-X, a large-scale benchmark curated from 16 diverse sources spanning long-horizon manipulation, spatial puzzles, and physical reasoning. It is the first comprehensive suite to assess these heterogeneous capabilities under a purely visual protocol. Remarkably, UniVR achieves up to a 25% improvement on VR-X, and its superior visual reasoning also boosts performance on various multimodal understanding benchmarks. These findings underscore the vast potential of reasoning within visual spaces, with all code, data, and models are open-sourced for further research.
- Abstract(参考訳): 生の視覚データから直接広い世界の知識を学ぶことは、知能の基本的な能力である。
我々は、複雑な推論、きめ細かな物理力学、そして純粋な視覚的なデモンストレーションから長期計画を同時に学習する最初の調査であるUniVRを紹介する。
コアとなるUniVRは、補完的なグローバルとステップレベルの報酬を持つ強化学習パラダイムであるVR-GRPOを備えている。
このアプローチは、タスク固有のヒューリスティックや画像とテキストのペアを必要とせずに、推論プロセスを通して論理的一貫性と物理的一貫性を強制する。
UniVRをトレーニングし、評価するために、長い水平操作、空間パズル、物理的推論にまたがる16の様々なソースからキュレートされた大規模なベンチマークであるVR-Xを構築した。
これは、純粋に視覚的なプロトコルの下でこれらの異種機能を評価する最初の包括的なスイートである。
注目すべきは、UniVRはVR-Xの25%の改善を実現し、その優れた視覚的推論により、様々なマルチモーダル理解ベンチマークのパフォーマンスも向上するということだ。
これらの発見は、すべてのコード、データ、モデルがさらなる研究のためにオープンソース化されている、視覚空間内での推論の膨大な可能性を示している。
関連論文リスト
- PhysVLM-AVR: Active Visual Reasoning for Multimodal Large Language Models in Physical Environments [36.84821207878773]
マルチモーダル大言語モデル(MLLM)における視覚的推論は、主に静的で完全に観測可能な設定で研究されている。
AVR(Active Visual Reasoning)タスクを導入し、視覚的推論を部分的に観察可能で対話的な環境に拡張する。
推論と情報収集の効率性の両方を評価するために,複数ラウンドの対話型環境を特徴とするベンチマークを提案する。
論文 参考訳(メタデータ) (2025-10-24T02:59:00Z) - How Far are VLMs from Visual Spatial Intelligence? A Benchmark-Driven Perspective [103.44502230776352]
視覚言語モデル(VLM)における視覚空間推論(VSR)の系統的研究について述べる。
空間インテリジェンスを3つのレベル,すなわち基本的な知覚,空間理解,空間計画,および空間インテリジェンスベンチマークSIBenchに分類した。
論文 参考訳(メタデータ) (2025-09-23T12:00:14Z) - Beyond Task-Specific Reasoning: A Unified Conditional Generative Framework for Abstract Visual Reasoning [52.107043437362556]
抽象視覚推論(AVR)は、抽象ルールを素早く発見し、新しいシナリオに一般化することを可能にする。
本稿では,統一フレームワークにおける複数のタスクに対処する,統一条件生成解法(UCGS)を提案する。
UCGSはゼロショット推論の能力を示しており、テストフェーズで目に見えないタスクから問題に対する抽象的推論を行うことができる。
論文 参考訳(メタデータ) (2025-07-15T21:54:51Z) - ESVQA: Perceptual Quality Assessment of Egocentric Spatial Videos [71.62145804686062]
自己中心型空間ビデオのクオリティ・オブ・エクスペリエンス(QoE)を評価することは、高品質な視聴体験を確保するために不可欠である。
我々は,600個のエゴセントリックな空間ビデオからなる,最初のエゴセントリックな空間ビデオ品質評価データベース(ESVQAD)を紹介した。
また,両眼の空間,運動,意味的特徴を統合し,全体的な知覚品質を予測する多次元両眼機能融合モデルであるESVQAnetを提案する。
論文 参考訳(メタデータ) (2024-12-29T10:13:30Z) - A Unified View of Abstract Visual Reasoning Problems [0.0]
タスクの統一的なビューを導入し、各インスタンスは、パネルの数、場所、役割に関する前提のない単一のイメージとしてレンダリングされる。
統一された視点の主な利点は、様々なタスクに適用可能な普遍的な学習モデルを開発する能力である。
Raven's Progressive Matrices と Visual Analogy Problems の4つのデータセットで実施された実験は、提案されたタスクの統一表現が、最先端のディープラーニング(DL)モデルや、より広範に、現代のDL画像認識方法に挑戦していることを示している。
論文 参考訳(メタデータ) (2024-06-16T20:52:44Z) - Where are we in the search for an Artificial Visual Cortex for Embodied
Intelligence? [106.81451807227103]
Embodied AIのための、事前訓練された視覚表現(PVR)や視覚的「基礎モデル」に関する、最大かつ最も包括的な実証研究を提示する。
事前学習したデータサイズと多様性の効果を調べるため、7つの異なるソースから4000時間以上のエゴセントリックなビデオを合成する。
当社の最大のモデルであるVC-1は、従来のPVRを平均で上回っているが、どちらも支配的ではない。
論文 参考訳(メタデータ) (2023-03-31T17:56:33Z) - See, Think, Confirm: Interactive Prompting Between Vision and Language
Models for Knowledge-based Visual Reasoning [60.43585179885355]
本稿では,知識に基づく視覚推論のための新しいフレームワークであるInteractive Prompting Visual Reasoner(IPVR)を提案する。
IPVRには3つのステージがある。
我々は,知識に基づく視覚的推論データセットについて実験を行った。
論文 参考訳(メタデータ) (2023-01-12T18:59:50Z) - Facial Expression Recognition Under Partial Occlusion from Virtual
Reality Headsets based on Transfer Learning [0.0]
畳み込みニューラルネットワークに基づくアプローチは、顔認識タスクに適用可能であることが証明されたため、広く採用されている。
しかし、頭部に装着したVRヘッドセットを装着して顔を認識することは、顔の上半分が完全に隠されているため、難しい作業である。
既存のFERデータセットに適用可能なSamsung Gear VRヘッドセットによる閉塞をシミュレートする幾何学的モデルを提案する。
論文 参考訳(メタデータ) (2020-08-12T20:25:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。