論文の概要: PhysMLLMs: Spatial Priors for Unified Referring Segmentation and Grounded Reasoning of Images and Videos
- arxiv url: http://arxiv.org/abs/2608.24574v1
- Date: Tue, 25 Aug 2026 14:01:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-26 14:09:35.020144
- Title: PhysMLLMs: Spatial Priors for Unified Referring Segmentation and Grounded Reasoning of Images and Videos
- Title（参考訳）: PhysMLLMs:画像とビデオの統合参照セグメンテーションとグラウンドド推論のための空間的優先順位
- Abstract要約: ビデオ大言語モデルは、言語ガイド付きビデオセグメンテーションをサポートするが、時間的不整合を示すことが多い。
本稿では、物理にインスパイアされた空間連続性をビデオMLLMに注入する訓練段階のプレインジェクションアーキテクチャであるPhysMLLMを提案する。
複数のビデオベンチマークを通じて、PhysMLLMsはビデオセグメンテーションマスクの品質とクロスフレーム一貫性を改善している。
- 参考スコア（独自算出の注目度）: 116.62982600141608
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video multimodal large language models support language guided video segmentation, but they often show spatio temporal inconsistencies, e.g., jitter, drift, and identity switches. These failures are more common when targets are partly hidden or when similar objects appear nearby.One likely reason is that current training lacks explicit spatial priors, which makes it difficult to maintain stable spatial identity and shape over time. We present PhysMLLMs, a training-stage prior injection architecture that injects physics-inspired spatial continuity priors into Video MLLMs. PhysMLLMs is designed to encourage more stable object-centered representations by aligning the student global visual representation with a frozen teacher model during training. Our core mechanism, Global Representation Prior Alignment (REPA-Global), distills global visual representations from a frozen DINOv2 teacher using an offline embedding cache and a scheduled distillation plan. This design keeps inference unchanged and does not add inference time cost. Across multiple video benchmarks, PhysMLLMs improves video segmentation mask quality and cross-frame consistency, with larger gains on challenging cases involving small targets, fast motion, occlusion, distractors, and reasoning queries. On single-frame referring image segmentation and representative general VLM benchmarks, PhysMLLMs maintains comparable performance, demonstrating that the injected spatial prior improves video consistency without compromising image-level grounding or general multimodal capability. These results suggest that physics-inspired spatial prior injection can improve temporal stability while preserving general capability. The code is available at https://github.com/tusu-code/20260121-icml2026-2.git.
- Abstract（参考訳）: ビデオマルチモーダル大言語モデルは、言語ガイド付きビデオセグメンテーションをサポートするが、時空間的不整合(例えば、ジッタ、ドリフト、アイデンティティスイッチ)を示すことが多い。
これらの障害は、ターゲットが部分的に隠されている場合や、近くで類似した物体が現れる場合よりも一般的である。
本稿では、物理にインスパイアされた空間連続性をビデオMLLMに注入する訓練段階のプレインジェクションアーキテクチャであるPhysMLLMを提案する。
PhysMLLMsは、訓練中に学生のグローバルな視覚表現を凍結教師モデルに合わせることで、より安定したオブジェクト指向表現を促進するように設計されている。
我々の中心となるメカニズムであるREPA-Global(Global Representation Prior Alignment)は、オフラインの埋め込みキャッシュと定期的な蒸留計画を用いて、凍結したDINOv2教師からグローバルな視覚表現を蒸留する。
この設計は推論を一定に保ち、推論の時間コストを加算しない。
複数のビデオベンチマークを通じて、PhysMLLMsは、ビデオセグメンテーションマスクの品質とクロスフレームの一貫性を改善し、小さなターゲット、高速モーション、オクルージョン、イントラクタ、推論クエリを含む課題に対して大きな利益を上げている。
単一フレーム参照画像セグメンテーションと一般的なVLMベンチマークでは、PhysMLLMsは、画像レベルのグラウンド化や一般的なマルチモーダル能力を損なうことなく、インジェクトされた空間先行がビデオの一貫性を向上させることを実証し、同等のパフォーマンスを維持している。
これらの結果から,物理にインスパイアされた空間的先行注入は,一般能を保ちながら時間的安定性を向上させることが示唆された。
コードはhttps://github.com/tusu-code/20260121-icml2026-2.gitで公開されている。
関連論文リスト
- The Shape of Time: Video-Token Contrast for Temporal Understanding in VideoLMs [21.75029303199712]
本稿では,VTコントラスト(VT-Contrast)を提案する。
その設計は、時間的監督の行動と、それが公開すべき時間的差異を問うものである。
VT-Contrastは選択したラストフレームビデオトークンを監督する。
論文 参考訳（メタデータ） (2026-09-03T17:14:55Z) - Do Video Foundation Models Understand Intuitive Physics? A Layerwise Probing Analysis [8.399506999829219]
凍結表現に直感的な物理情報をエンコードするビデオ基礎モデルについて検討した。
予測結合埋め込みモデル(V-JEPA)、マスク再構成モデル(VideoMAE)、拡散型ビデオジェネレータ(LTX-Video)を比較した。
V-JEPAは、特に時間的ダイナミクスをモデル化するプローブを用いて、ベンチマーク全体で最も強力な総合的な結果を達成する。
論文 参考訳（メタデータ） (2026-06-08T15:40:32Z) - MMPhysVideo: Scaling Physical Plausibility in Video Generation via Joint Multimodal Modeling [55.72785604682579]
MMPhysVideoは、共同マルチモーダルモデリングにおけるビデオ生成における物理的可視性を拡大するフレームワークである。
MMPhysVideoは、様々なベンチマークで高度なモデルよりも、物理的な可視性と視覚的品質を一貫して改善している。
論文 参考訳（メタデータ） (2026-04-03T07:32:24Z) - VIRST: Video-Instructed Reasoning Assistant for SpatioTemporal Segmentation [6.447274127678917]
Video Video Object (RVOS) は、自然言語による記述に基づいて、対象物をビデオに分割することを目的としている。
VIRST(Video-Instructed Reasoning Assistant for Spatio-Temporal)は,グローバルなビデオ推論と画素レベルのマスク予測を単一のモデルで統合するエンドツーエンドフレームワークである。
論文 参考訳（メタデータ） (2026-03-28T00:34:15Z) - Generation Models Know Space: Unleashing Implicit 3D Priors for Scene Understanding [50.098085774845195]
本稿では,大規模生成モデルにおいて暗黙の空間的先行性を活用することで,パラダイムシフトを提案する。
GeneEGA-3D (Video Extracted Generative Awareness) は,事前学習した映像拡散モデルを潜在世界シミュレータとして再利用するプラグイン・アンド・プレイ・フレームワークである。
論文 参考訳（メタデータ） (2026-03-19T17:59:58Z) - SPARROW: Learning Spatial Precision and Temporal Referential Consistency in Pixel-Grounded Video MLLMs [39.73103140338364]
SPARROW(SPARROW)は、2つのキーコンポーネントを通して空間的精度と時間的安定性を統一するビデオMLLMである。
SPARROWは、30,646のビデオと45,231のQ&Aペアからなる、キュレートされた参照ビデオデータセットによってサポートされている。
6つのベンチマークで一貫したゲインを提供し、RVOSでは+8.9 J&F、ビジュアルグラウンドでは+5 mIoU、GCGでは+5.4 CLAIRに改善された。
論文 参考訳（メタデータ） (2026-03-12T18:59:57Z) - GenHOI: Towards Object-Consistent Hand-Object Interaction with Temporally Balanced and Spatially Selective Object Injection [54.879037588415656]
GenHOIは、事前訓練されたビデオ生成モデルに対する軽量な拡張である。
参照オブジェクト情報を時間的にバランスよく空間的に選択的に注入する。
GenHOIは最先端のHOI再現やオールインワンのビデオ編集方法よりも優れています。
論文 参考訳（メタデータ） (2026-03-06T09:01:09Z) - Training-Free Spatio-temporal Decoupled Reasoning Video Segmentation with Adaptive Object Memory [10.183518059286124]
Reasoning Video Object (VOS) は、ビデオシーケンス間で安定したオブジェクトセグメンテーションを必要とする難しいタスクである。
従来のマルチモーダル大規模言語モデル(MLLM)を微調整してセグメンテーション出力を生成する手法は、かなりのリソースを必要とする。
トレーニングフリーのtextbfStemporal textbfDecoupled Reasoning Video with textbfAdaptive Object bfMemory (SDAM) を提案する。
提案手法は,Ref-YouTubeVOS,RefDAVIS17,MeViViS,ReasonVOS,Ref-YouTubeVOS,RefDAVIS17,ReasonVOSの5つのベンチマークデータセットに対して優れた結果を得る。
論文 参考訳（メタデータ） (2026-03-02T07:15:41Z) - Episodic Memory Representation for Long-form Video Understanding [52.33907540905242]
大きなビデオ言語モデルは、一般的なビデオ理解において優れているが、長い形式のコンテキストウィンドウの制限に苦労する。
人間の記憶の原理にインスパイアされたトレーニングフリーのフレームワークであるVideo-EMを紹介する。
Video-EMでは、各ベースラインに対して4-9%のパフォーマンス向上を実現し、フレームの削減を実現している。
論文 参考訳（メタデータ） (2025-08-13T04:33:07Z) - ReferDINO: Referring Video Object Segmentation with Visual Grounding Foundations [33.74746234704817]
ビデオオブジェクトセグメンテーション(RVOS)は、テキスト記述に基づいて、ビデオ全体を通してターゲットオブジェクトをセグメンテーションすることを目的としている。
これは、深い視覚レベルの理解、ピクセルレベルの高密度な予測、時間的推論を含むため、難しい。
基礎的な視覚基盤モデルから領域レベルの視覚テキストアライメントを継承するbfReferDINO RVOSを提案する。
論文 参考訳（メタデータ） (2025-01-24T16:24:15Z) - Coarse Correspondences Boost Spatial-Temporal Reasoning in Multimodal Language Model [51.83436609094658]
本稿では,2次元画像を入力として,MLLMの時空間推論を強化する軽量な手法である粗対応を導入する。
本手法は,映像のフレーム間や異なる視点における主物体の対応性を特定するために,軽量な追跡モデルを用いている。
この単純なトレーニングフリーアプローチは、4つのベンチマークでGPT4-V/Oに一定の利得をもたらすことを実証する。
論文 参考訳（メタデータ） (2024-08-01T17:57:12Z) - Spatiotemporal Inconsistency Learning for DeepFake Video Detection [51.747219106855624]
本稿では,水平方向と垂直方向の両方で隣接するフレーム間の時間差を利用して,TIMにおける新しい時間的モデリングパラダイムを提案する。
ISMは、SIMからの空間情報とTIMからの時間情報とを同時に利用し、より包括的な時空間表現を確立する。
論文 参考訳（メタデータ） (2021-09-04T13:05:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。