論文の概要: SLARM: Streaming and Language-Aligned Reconstruction Model for Dynamic Scenes
- arxiv url: http://arxiv.org/abs/2603.22893v2
- Date: Wed, 25 Mar 2026 03:55:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-26 14:25:26.07603
- Title: SLARM: Streaming and Language-Aligned Reconstruction Model for Dynamic Scenes
- Title（参考訳）: SLARM:動的シーンのストリーミングと言語対応再構成モデル
- Abstract要約: SLARMは動的シーン再構成、セマンティック理解、リアルタイムストリーミング推論を統合するフィードフォワードモデルである。
高次モーションモデリングによって複雑な、一様でない動きをキャプチャし、フローの監督なしに、微分可能なレンダリングのみを訓練する。
SLARMは、ウィンドウベースの因果注意を用いて画像シーケンスを処理し、メモリコストを蓄積することなく、安定した低レイテンシのストリーミング推論を実現する。
- 参考スコア（独自算出の注目度）: 9.44079073767086
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose SLARM, a feed-forward model that unifies dynamic scene reconstruction, semantic understanding, and real-time streaming inference. SLARM captures complex, non-uniform motion through higher-order motion modeling, trained solely on differentiable renderings without any flow supervision. Besides, SLARM distills semantic features from LSeg to obtain language-aligned representations. This design enables semantic querying via natural language, and the tight coupling between semantics and geometry further enhances the accuracy and robustness of dynamic reconstruction. Moreover, SLARM processes image sequences using window-based causal attention, achieving stable, low-latency streaming inference without accumulating memory cost. Within this unified framework, SLARM achieves state-of-the-art results in dynamic estimation, rendering quality, and scene parsing, improving motion accuracy by 21%, reconstruction PSNR by 1.6 dB, and segmentation mIoU by 20% over existing methods.
- Abstract（参考訳）: 本稿では,動的なシーン再構成,意味理解,リアルタイムストリーミング推論を統合化するためのフィードフォワードモデルSLARMを提案する。
SLARMは高次モーションモデリングによって複雑な、一様でない動きをキャプチャし、フローの監督なしに差別化可能なレンダリングのみを訓練する。
さらに、SLARMはLSegから意味的特徴を抽出して言語対応表現を得る。
この設計により、自然言語によるセマンティッククエリが可能となり、セマンティックスと幾何学の密結合により、動的再構成の精度と堅牢性がさらに向上する。
さらに、SLARMは、ウィンドウベースの因果注意を用いて画像シーケンスを処理し、メモリコストを蓄積することなく、安定した低レイテンシのストリーミング推論を実現する。
この統合フレームワークにおいて、SLARMは動的推定、レンダリング品質、シーン解析、動きの精度を21%向上、PSNRを1.6dB、セグメンテーションmIoUを20%向上させる。
関連論文リスト
- Dynamic-Robust Photometric-Semantic Reconstruction for Open-Vocabulary 3D Scene Understanding [63.599342750566485]
SPARは、潜在空間アグリゲーションの前に過渡的ダイナミックノイズを明示的に分離する新しい意味幾何学的エンコーディングアーキテクチャである。
エンド・ツー・エンドのアプローチは例外的な新規なビュー合成品質を実現し、PSNRは22.15dB、23.33dBでそれぞれ3と4の入力ビューしか与えられなかった。
論文 参考訳（メタデータ） (2026-08-29T09:58:24Z) - RoSe-SLAM: Robust Semantic-Aware Gaussian Splatting SLAM from Dynamic Monocular Videos [15.997523841343785]
本稿では,ロバスト・セマンティック・アウェア・ガウス・スプティングSLAM(RoSe-SLAM)を提案する。
従来の意味的ラベルを用いた意味的SLAMとは異なり、RoSe-SLAMは2次元基礎モデルからの意味的特徴を利用して動的追跡とマッピング性能を向上させる。
提案手法は軌道推定と静的シーンマッピングの両方において優れた性能を示し, 長期間の屋内環境における既存の動的RGB SLAMベースラインよりも優れた性能を示す。
論文 参考訳（メタデータ） (2026-08-29T02:26:23Z) - STAG: Spatio-temporal Evolving Structural Representation of Action Units for Micro-expression Recognition [0.7799711162530713]
微小な表情認識は、微妙で短命な顔面筋運動のために困難である。
既存の手法は頂点オンセットのフレームに大きく依存し、微粒なフレーム間ダイナミクスを見落とし、空間情報と時間情報を別々にモデル化する。
本稿では,動的ROI-AU結合型時空間ネットワークSTAGを提案する。
論文 参考訳（メタデータ） (2026-06-26T13:46:48Z) - In-Context Model Predictive Generation: Open-Vocabulary Motion Synthesis from Language Models to Physics [109.99871326497333]
In-Context Model Predictive Generation (ICMPG)は、言語モデル計画と推論時の物理的フィードバックを統合するフレームワークである。
ICMPGは2つのモジュールでモデル予測制御(MPC)のようなプロセスとして運動合成を再構成する。
論文 参考訳（メタデータ） (2026-06-25T12:50:33Z) - DC-Motion: Decoupling Semantics and Details via Discrete-Continuous Tokens for Human Motion Generation [11.57444637723047]
我々はDC-Motionを紹介した。DC-Motionは、離散連続トークンを通して意味と詳細を明確に分離するために設計された、分解された生成フレームワークである。
マスク付きARモデルはテキストから離散構造を予測し、軽量な残留拡散モデルは連続的な物理的詳細を回復する。
HumanML3DとKIT-MLデータセットの両方で、DC-Motionは最先端のパフォーマンスを実現し、モーションリアリズムのための最高のFIDとテキストアライメントのためのR精度を提供する。
論文 参考訳（メタデータ） (2026-05-28T11:47:11Z) - DynaPURLS: Dynamic Refinement of Part-aware Representations for Skeleton-based Zero-Shot Action Recognition [51.80782323686666]
textbfDynaPURLSは、堅牢でマルチスケールなビジュアル・セマンティック対応を確立する統一的なフレームワークである。
我々のフレームワークは、グローバルな動きと局所的な身体部分のダイナミクスの両方を含む階層的なテキスト記述を生成するために、大きな言語モデルを活用する。
NTU RGB+D 60/120とPKU-MMDを含む3つの大規模ベンチマークデータセットの実験は、DynaPURLSが先行技術よりも大幅に優れていることを示した。
論文 参考訳（メタデータ） (2025-12-12T10:39:10Z) - DynaMind: Reconstructing Dynamic Visual Scenes from EEG by Aligning Temporal Dynamics and Multimodal Semantics to Guided Diffusion [10.936858717759156]
我々は、ニューラルダイナミクスとセマンティックな特徴を共同でモデリングすることで、映像を再構成する新しいフレームワークであるDynaMindを紹介する。
SEED-DVデータセットでは、DynaMindが新しい最先端(SOTA)を設定し、再構成されたビデオの精度を12.5と10.3%向上させた。
これは重要な進歩であり、神経力学と高忠実な視覚意味論のギャップを埋める。
論文 参考訳（メタデータ） (2025-09-01T06:52:08Z) - ReCoM: Realistic Co-Speech Motion Generation with Recurrent Embedded Transformer [58.49950218437718]
音声に同期した高忠実で一般化可能な人体動作を生成するための効率的なフレームワークであるReCoMを提案する。
Recurrent Embedded Transformer (RET)は、動的埋め込み正規化(DER)をViT(Vit)コアアーキテクチャに統合する。
モデルロバスト性を高めるため,ノイズ抵抗とクロスドメイン一般化の二重性を持つモデルに,提案したDER戦略を取り入れた。
論文 参考訳（メタデータ） (2025-03-27T16:39:40Z) - Alignment-free HDR Deghosting with Semantics Consistent Transformer [76.91669741684173]
高ダイナミックレンジイメージングは、複数の低ダイナミックレンジ入力から情報を取得し、リアルな出力を生成することを目的としている。
既存の手法では、前景やカメラの動きによって引き起こされる入力フレーム間の空間的ずれに焦点を当てることが多い。
本研究では,SCTNet(Semantics Consistent Transformer)を用いたアライメントフリーネットワークを提案する。
論文 参考訳（メタデータ） (2023-05-29T15:03:23Z) - Structured Video-Language Modeling with Temporal Grouping and Spatial Grounding [112.3913646778859]
簡単なビデオ言語モデリングフレームワークであるS-ViLMを提案する。
これには、学習領域オブジェクトのアライメントと時間認識機能を促進するために、クリップ間の空間的接地と、クリップ内の時間的グループ化という、2つの新しい設計が含まれている。
S-ViLMは4つの下流タスクにおいて、最先端の手法を大幅に超えている。
論文 参考訳（メタデータ） (2023-03-28T22:45:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。