論文の概要: Fovea-JEPA: Overcoming Geometric Blind Spots in V-JEPA for Camera Motion Recognition

• arxiv url: http://arxiv.org/abs/2610.34033v1
• Date: Sun, 25 Oct 2026 03:54:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.521716
• Title: Fovea-JEPA: Overcoming Geometric Blind Spots in V-JEPA for Camera Motion Recognition
• Title（参考訳）: Fovea-JEPA:カメラモーション認識のためのV-JEPAにおける幾何学的ブラインドスポットの克服
• Abstract要約: ビデオ言語モデルは、しばしば運動認識のための幾何学的意味的証拠に依存している。 幾何学的に不足している地域を識別し,対処するためにFovea-JEPAを提案する。 実験では、Fovea-JEPAの9.67、8.67、24.38ポイントの上昇が、以前に報告された最先端のベースラインよりも有効であることが示されている。
• 参考スコア（独自算出の注目度）: 47.62039722536584
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Camera motion recognition requires separating viewpoint changes caused by camera translation, rotation, or zoom from object motion and scene dynamics. Video-language models often rely on semantic cues and struggle with the geometric evidence needed for this task. Joint-Embedding Predictive Architectures such as V-JEPA offer strong spatio-temporal representations, but our experiments suggest that they underrepresent geometric cues in some regions. Under temporal-reversal supervision, V-JEPA improves overall but degrades on several motion families, whereas a weaker geometry-oriented VGGT predictor improves across all families. We refer to these geometrically underrepresented regions as geometric blind spots and propose Fovea-JEPA to identify and address them. Using V-JEPA as the base model and VGGT as a geometry expert, we construct intervention pseudo-labels from their prediction errors to weakly supervise a blind-spot predictor. The predictor produces token-wise response maps, which are aggregated into a clip-level intervention score to guide adaptive fusion of visual and geometric features. This selective intervention introduces complementary geometric information while preserving reliable visual predictions. Experiments on CameraMotionDataset, CameraBench, and ShotBench demonstrate the effectiveness of Fovea-JEPA, with gains of 9.67, 8.67, and 24.38 percentage points over previously reported state-of-the-art baselines, respectively. Code and models will be released upon acceptance.
• Abstract（参考訳）: カメラモーション認識は、カメラの翻訳、回転、ズームによる視点変化を物体の動きとシーンダイナミクスから分離する必要がある。 ビデオ言語モデルは、しばしば意味的な手がかりに頼り、このタスクに必要な幾何学的証拠に苦労する。 V-JEPAのような統合埋め込み予測アーキテクチャは時空間表現を強く提供しますが、いくつかの地域では幾何学的手がかりが不足していることが実験で示されています。 時間反転の監督の下では、V-JEPAは全般的に改善するが、いくつかの運動系では劣化するが、幾何指向のVGGT予測器は全系で改善する。 我々は、これらの幾何学的に表現されていない領域を幾何学的な盲点と呼び、Fovea-JEPA を提案してそれらを特定し、対処する。 V-JEPAをベースモデルとし、VGGTを幾何学の専門家とし、予測誤差から介入擬似ラベルを構築し、盲点予測器を弱監視する。 予測器はトークンワイズ対応マップを生成し、クリップレベルの介入スコアに集約して視覚的特徴と幾何学的特徴の適応的融合を導出する。 この選択的介入は、信頼できる視覚予測を保持しながら相補的な幾何学的情報をもたらす。 CameraMotionDataset、CameraBench、ShotBenchの実験では、Fovea-JEPAの有効性が実証され、それぞれ9.67、8.67、24.38ポイントを獲得した。 コードとモデルは受け入れ次第リリースされる。

関連論文リスト

• GeoVerse: World-Consistent Novel View Synthesis in Geometric Latent Space [51.75763755769632]
  事前訓練された3次元基礎モデル内で生成を行うことにより,世界一貫性のある新規ビューを合成するフレームワークであるGeoVerseを提案する。 具体的には、GeoVerseはWan2.2 VACEからマルチレベル機能を抽出し、制御ネットスタイルのアダプタを介して幾何学的潜在拡散モデルに注入する。 多様なデータセットにわたる実験では、DL3DVでは2.23dB、Mip-NeRF360では32.4%、視品質と幾何整合性が向上した。
  論文  参考訳（メタデータ） (2026-09-28T17:51:48Z)
• SphereSOD: Geometry-Structure Coupled Learning for 360 Salient Object Detection [75.77856258186854]
  360度高解像度物体検出は、全視野にわたって高解像度領域を正確に分割することを目的としている。 既存の手法は主に、パノラマ幾何学と健全な物体構造との相互作用を見越しながら、投影歪みを補正することに焦点を当てている。 SphereSODは、パノラマ幾何学と進化する塩分構造を結合したERPネイティブフレームワークである。
  論文  参考訳（メタデータ） (2026-09-07T14:47:54Z)
• UniJEPA: A Unified Joint-Embedding Predictive Architecture for Task-Agnostic Visual World Modeling [24.745715007832953]
  JEPA(Joint-Embedding Predictive Architectures)は、コンパクトな潜在空間における世界モデルの自己教師型学習のためのフレームワークとして登場した。 我々は,光度予測(画像レベルの変換)と時間的予測(映像レベルの次状態ダイナミクス)を協調的に学習する統合JEPAであるUniJEPAを提案する。
  論文  参考訳（メタデータ） (2026-08-07T16:55:58Z)
• GAP-GDRNet: Geometry-aware monocular 6D pose estimation for spacecraft using synthetic geometric supervision [7.240627719297504]
  GAP-GDRNetはGDR-Net上に構築された単一ターゲットの合成宇宙船ベンチマーク用のフレームワークである。 Blenderベースのレンダリングアノテーションプロセスから、デンス管理を得る。 自作の宇宙船データセットでは、GAP-GDRNetの回転誤差は1.96circ$で、翻訳誤差は0.0165m、ADD@0.02mが95.16%である。
  論文  参考訳（メタデータ） (2026-07-02T16:02:24Z)
• UniGeo: Unifying Geometric Guidance for Camera-Controllable Image Editing via Video Models [20.550231658763085]
  カメラ制御可能な画像編集は、カメラポーズの異なるシーンの新しいビューを合成することを目的としている。 既存の方法は、表現レベルで点雲を注入するなど、断片化された幾何学的ガイダンスに依存している。 カメラ制御可能な新しい編集フレームワークUniGeoを提案する。
  論文  参考訳（メタデータ） (2026-04-19T18:11:08Z)
• Geometry-Aware Rotary Position Embedding for Consistent Video World Model [48.914346802616414]
  ViewRopeは、ビデオトランスフォーマーの自己アテンション層に直接カメラの方向を注入するジオメトリ対応のエンコーディングである。 Geometry-Aware Frame-Sparse Attentionは、これらの幾何学的手がかりを利用して、関連する歴史的なフレームに選択的に参加する。 この結果から,ViewRopeは長期的整合性を大幅に向上し,計算コストを低減できることがわかった。
  論文  参考訳（メタデータ） (2026-02-08T08:01:16Z)
• GSAlign: Geometric and Semantic Alignment Network for Aerial-Ground Person Re-Identification [32.31970656501684]
  Aerial-Ground person re-identification (AG-ReID) は、歩行者のイメージを根本的に異なる視点からマッチングすることを目的とした、新たな課題である。 この課題は、極端に視点のずれ、ワープ、空中画像と地上画像の間の領域ギャップのために重大な課題を生じさせる。
  論文  参考訳（メタデータ） (2025-10-25T12:16:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。