論文の概要: Think in 360°: Benchmarking and Bootstrapping Panoramic Video Reasoning
- arxiv url: http://arxiv.org/abs/2610.42082v1
- Date: Fri, 30 Oct 2026 17:35:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 22:05:31.854611
- Title: Think in 360°: Benchmarking and Bootstrapping Panoramic Video Reasoning
- Title(参考訳): 360度で考える:パノラマ動画のベンチマークとブートストラップ
- Abstract要約: パノラマビデオ理解のための最初の手動アノテートベンチマークであるパノVideoBenchを紹介する。
1000の質問は、5つのカテゴリと15の質問タイプにまたがっており、対象の検索とパノラマ機能に対する診断アノテーションがある。
実際のパノラマビデオに基づいた最初の推論データセットであるPanoVideoCoTを構築した。
- 参考スコア(独自算出の注目度): 21.15353511489684
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A panoramic video captures all directions around the camera, but relevant evidence can appear in different directions and at different times. Understanding it requires models to connect observations across the viewing sphere and time. We introduce PanoVideoBench, the first manually annotated benchmark for comprehensive panoramic video understanding. Its 1,000 questions span five categories and 15 question types, with diagnostic annotations for target search and panoramic capabilities. Evaluation of 11 proprietary, open-source, and panoramic-specialized models identifies cross-view tracking and sphere-time evidence integration as their weakest capabilities. To strengthen these capabilities, we construct PanoVideoCoT, the first reasoning dataset grounded in real panoramic video, through sphere-time-grounded synthesis that converts verified panoramic observations and successful agentic explorations into 13,465 QA-CoT pairs. Starting from a general video MLLM, PanoVideoReasoner learns from this corpus through Panoramic CoT SFT and Evidence-Privileged On-Policy Self-Distillation, a panoramic instantiation of Vision-OPD's OPSD in which the teacher uses verified perspective views to guide student-generated trajectories. It reaches 55.7% on PanoVideoBench, improving the backbone by 12.5 points and the previous SOTA by 2.6. The gains concentrate on the same spatial, cross-view, and temporal capabilities exposed by the benchmark, showing that grounded sphere-time supervision can equip a general video MLLM with panoramic reasoning.
- Abstract(参考訳): パノラマビデオはカメラの周りのすべての方向を撮影するが、関連する証拠は異なる方向と異なる時間に現れる。
理解するには、観察球と時間の間の観測を接続するモデルが必要である。
パノラマビデオ理解のための最初の手動アノテートベンチマークであるパノVideoBenchを紹介する。
1000の質問は、5つのカテゴリと15の質問タイプにまたがっており、対象の検索とパノラマ機能に対する診断アノテーションがある。
11のプロプライエタリ、オープンソース、パノラマ特化モデルの評価は、クロスビュートラッキングと球面時間エビデンス統合を最も弱い能力として識別する。
これらの機能を強化するために、検証済みパノラマ観測と成功したエージェント探索を13,465のQA-CoTペアに変換する球面時間基底合成により、実際のパノラマビデオに基盤を置く最初の推論データセットであるPanoVideoCoTを構築した。
一般的なビデオMLLMからPanoVideoReasonerは、パノラマCoT SFTとEvidence-Privileged On-Policy Self-Distillationを通じてこのコーパスから学習する。
パノVideoBenchで55.7%に達し、バックボーンを12.5ポイント改善し、以前のSOTAを2.6ポイント改善した。
得られたゲインは、ベンチマークによって公開された同じ空間的、横断的、時間的能力に集中しており、地上の球面時間監視がパノラマ推論を備えた一般的なビデオMLLMを装備できることを示している。
関連論文リスト
- OmniCoT: A Benchmark for Global and Multi-Step Panoramic Reasoning [94.47284498900895]
OmniCoTは,MLLMがグローバルなエビデンスを利用し,視点を越えて多段階の推論を行うことを可能にするパノラマ空間推論スイートである。
トレーニングのためにOmniCoT-Tは、パノラマ的な証拠に中間推論ステップを明示的にリンクする、構造化された段階的なChain-of-Thoughtアノテーションで構築されている。
論文 参考訳(メタデータ) (2026-06-29T14:38:20Z) - SAP: Segment Any 4K Panorama [64.69300263307441]
SAP(Segment Any 4K Panorama)は4K高分解能パノラマ・インスタンスレベルのセグメンテーションの基礎モデルである。
本研究では,パノラマ画像分割を固定軌跡視点ビデオ分割として再構成し,パノラマを連続球面に沿ってサンプリングした重なり合う視点パッチに分解する。
このメモリアライメントの再構成は、4K解像度を保ちながら、安定したクロスビュー伝搬に必要なスムーズな視点遷移を復元する。
論文 参考訳(メタデータ) (2026-03-13T08:02:38Z) - One Flight Over the Gap: A Survey from Perspective to Panoramic Vision [117.80970697177025]
本研究は,最近のパノラマ視覚技術,特にパノラマ・パノラマ・パノラマ適応についてレビューする。
最初にパノラマ画像パイプラインと投影法を再検討し、構造的格差を分析するのに必要な事前知識を構築した。
これに基づいて、300以上の研究論文から得られた20以上の代表的タスクを2次元でカバーする。
論文 参考訳(メタデータ) (2025-09-04T17:59:10Z) - ViewPoint: Panoramic Video Generation with Pretrained Diffusion Models [52.87334248847314]
本研究では,パノラマ映像の生成に事前学習した視点映像モデルを用いた新しいフレームワークを提案する。
具体的には,世界空間の連続性と細かな視覚的詳細を同時に持つビューポイントマップという新しいパノラマ表現を設計する。
提案手法は,パノラマ映像を高度にダイナミックかつ空間的に一貫したパノラマ映像を合成し,最先端の性能を達成し,従来の手法を超越することができる。
論文 参考訳(メタデータ) (2025-06-30T04:33:34Z) - VideoPanda: Video Panoramic Diffusion with Multi-view Attention [57.87428280844657]
高解像度パノラマビデオコンテンツはバーチャルリアリティーの没入体験にとって最重要であるが、特殊な機器や複雑なカメラのセットアップを必要とするため、収集は容易ではない。
VideoPandaは、既存の方法と比較して、すべての入力条件に対してよりリアルでコヒーレントな360$のパノラマを生成する。
論文 参考訳(メタデータ) (2025-04-15T16:58:15Z) - PanoVOS: Bridging Non-panoramic and Panoramic Views with Transformer for Video Segmentation [39.269864548255576]
パノラマビデオデータセットPanoVOSを提案する。
データセットは150本のビデオに高解像度と多様なモーションを提供する。
パノラマ空間整合変換器(PSCFormer)は,従来のフレームのセマンティック境界情報を,現在のフレームとの画素レベルのマッチングに有効に利用することができる。
論文 参考訳(メタデータ) (2023-09-21T17:59:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。