論文の概要: Reference-Efficient Multimodal Bitstream-Corrupted Video Recovery via Depth-Conditioned Adaptation
- arxiv url: http://arxiv.org/abs/2610.15806v2
- Date: Wed, 14 Oct 2026 15:06:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.260126
- Title: Reference-Efficient Multimodal Bitstream-Corrupted Video Recovery via Depth-Conditioned Adaptation
- Title（参考訳）: 奥行き調整型適応によるマルチモーダルビットストリーム同期映像の参照効率向上
- Abstract要約: 本稿では,RGBと深度情報を用いたマルチモーダルビットストリーム破壊ビデオリカバリ(MBSCVR)について検討する。
本稿では,リカバリウィンドウ毎に選択されたローカルでないRGB参照を選択し,有効活用する新しいMBSCVRフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 49.872033013404156
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recovering visually faithful content from damaged video bitstreams is important for reliable multimedia communication and storage. Existing methods exploit local residuals and non-local RGB references of the input video sequence, but both sources can become unreliable after decoding, while processing additional references increases receiver computation and memory. This paper studies multimodal bitstream-corrupted video recovery (MBSCVR) using RGB and depth information, where pre-transmission depth-based geometry aids reconstruction when the received appearance is corrupted. We propose a novel MBSCVR framework that selects and effectively utilizes a single selected non-local RGB reference per recovery window to achieve higher performance. It integrates a reliability-aware multimodal selector that combines valid appearance with depth compatibility before reference encoding. Depth-Conditioned Reference Adaptation (DCRA) introduces selected RGB evidence into feature completion and content generation, while frame-aligned depth conditions completion queries. On the complete BSCV benchmark with oracle masks, MBSCVR uses one selected reference to achieve 32.30 dB on YouTube-VOS and 28.93 dB on DAVIS, surpassing full-reference B2SCVR by 0.27 and 0.33 dB and improving SSIM on both subsets. Matched receiver-forward measurements show 36.8\% lower latency and 40.8\% lower peak memory. These results demonstrate how compact geometric guidance and adapted appearance processing improve the quality--resource trade-off of multimedia recovery.
- Abstract（参考訳）: 損傷したビデオのビットストリームから視覚的に忠実なコンテンツを復元することは、信頼性の高いマルチメディア通信とストレージにとって重要である。
既存の方法は、入力されたビデオシーケンスの局所的残差と非局所的RGB参照を利用するが、デコード後に両方のソースが信頼できなくなる。
本稿では,RGBと深度情報を用いたマルチモーダルビットストリーム破壊ビデオリカバリ(MBSCVR)について検討する。
本稿では,リカバリウィンドウ毎に選択したローカルでないRGB参照を選択し,有効活用し,高い性能を実現するMBSCVRフレームワークを提案する。
信頼性に配慮したマルチモーダルセレクタを統合しており、参照エンコーディングの前に、有効な外観と深さ互換性を組み合わせている。
Depth-Conditioned Reference Adaptation (DCRA)は、フレームアラインの深さ条件補完クエリに対して、選択されたRGBエビデンスを特徴補完とコンテンツ生成に導入する。
BSCVの完全なベンチマークでは、MBSCVRは1つの参照を使用してYouTube-VOSで32.30dB、DAVISで28.93dBを獲得し、完全な参照B2SCVRを0.27と0.33dBで上回り、両方のサブセットでSSIMを改善している。
一致した受信-フォワード測定では、レイテンシが36.8\%、ピークメモリが40.8\%低下している。
これらの結果は、コンパクトな幾何学的ガイダンスと適応した外観処理が、マルチメディアリカバリの品質のトレードオフをいかに改善するかを示す。
関連論文リスト
- GeneralVLA-2: Geometry-Aware Reconstruction and Governed Memory for Robot Planning [61.35267583855844]
GeneralVLAは、言語とRGB-Dの観察を3Dのエンドエフェクタパスに変換するための階層インターフェースを提供する。
幾何誘導型MV-SAM3D再構成部であるGeoFuse-MV3Dを紹介する。
我々はKnowledgeBankを長期記憶システムにアップグレードする。
論文 参考訳（メタデータ） (2026-06-16T03:45:24Z) - ReTrack: Evidence-Driven Dual-Stream Directional Anchor Calibration Network for Composed Video Retrieval [24.278296673415827]
Composed Video Retrieval (CVR) はビデオ検索の新しいパラダイムとして登場した。
伝統的な合成法は、合成された特徴を基準ビデオに偏りがちである。
ReTrackは、構成された機能の方向バイアスを校正することで、マルチモーダルクエリ理解を改善する最初のCVRフレームワークである。
論文 参考訳（メタデータ） (2026-04-20T07:17:59Z) - Hierarchical Vector-Quantized Latents for Perceptual Low-Resolution Video Compression [1.332091725929965]
低解像度ビデオのコンパクトかつ高忠実な潜在表現を生成するために設計されたマルチスケールベクトル量子変分オートコーダ(MS-VQ-VAE)を提案する。
我々のアーキテクチャは、VQ-VAE-2フレームワークを指数展開設定に拡張し、3次元残差畳み込みで構築された2段階の潜伏構造を導入している。
提案フレームワークは、リアルタイムストリーミング、モバイル分析、CDNレベルのストレージ最適化など、帯域幅に敏感なシナリオにおけるスケーラブルなビデオ圧縮に適している。
論文 参考訳（メタデータ） (2025-12-31T01:07:17Z) - BVI-CR: A Multi-View Human Dataset for Volumetric Video Compression [14.109939177281069]
BVI-CRは18のマルチビューRGB-Dキャプチャとそれに対応するテクスチャ化された多角形メッシュを含んでいる。
各ビデオシーケンスは、30FPSで10～15秒間の1080p解像度で10ビューを含む。
その結果、ボリュームビデオ圧縮におけるニューラル表現に基づく手法の大きな可能性を示した。
論文 参考訳（メタデータ） (2024-11-17T23:22:48Z) - ViDSOD-100: A New Dataset and a Baseline Model for RGB-D Video Salient Object Detection [51.16181295385818]
まず、注釈付きRGB-D video SODOD(DSOD-100)データセットを収集し、合計9,362フレーム内に100の動画を含む。
各ビデオのフレームはすべて、高品質なサリエンシアノテーションに手動で注釈付けされる。
本稿では,RGB-Dサリアンオブジェクト検出のための新しいベースラインモデル,attentive triple-fusion network (ATF-Net)を提案する。
論文 参考訳（メタデータ） (2024-06-18T12:09:43Z) - Collaborative Feedback Discriminative Propagation for Video Super-Resolution [66.61201445650323]
ビデオ超解像法(VSR)の主な成功は、主に空間情報と時間情報を探索することに由来する。
不正確なアライメントは通常、重要なアーティファクトを備えたアライメント機能につながる。
伝搬モジュールは同じタイムステップ機能のみを前方または後方に伝播する。
論文 参考訳（メタデータ） (2024-04-06T22:08:20Z) - Bitstream-Corrupted Video Recovery: A Novel Benchmark Dataset and Method [24.986639795808564]
bitstream-corrupted video (BSCV)ベンチマークは、28,000以上のビデオクリップを備えた最初のベンチマークデータセットである。
BSCVは,1)ビデオビットストリームのための3パラメータ汚職モデル,2)リッチなエラーパターン,複数の汚職レベル,フレキシブルなデータセットブランチを含む大規模データセット,3)ベンチマークとして機能するビデオリカバリフレームワークのプラグイン・アンド・プレイモジュールの集合である。
我々は,BSCVデータセット上での最先端ビデオ塗装手法の評価を行い,既存のアプローチの限界と,ビットストリーム崩壊ビデオ回復問題の解決におけるフレームワークの利点を実証した。
論文 参考訳（メタデータ） (2023-09-25T06:06:26Z) - Recurrent Dynamic Embedding for Video Object Segmentation [54.52527157232795]
一定サイズのメモリバンクを構築するためにRDE(Recurrent Dynamic Embedding)を提案する。
本稿では, SAM を長時間の動画でより堅牢にするため, トレーニング段階での無バイアス誘導損失を提案する。
また、メモリバンクの異なる品質のマスクの埋め込みをネットワークが修復できるように、新たな自己補正戦略を設計する。
論文 参考訳（メタデータ） (2022-05-08T02:24:43Z) - GAN-Based Multi-View Video Coding with Spatio-Temporal EPI
Reconstruction [19.919826392704472]
GAN(Generative Adrial Network)の画像生成機能を活用した新しい多視点ビデオ符号化手法を提案する。
エンコーダでは,時空間平面画像(EPI)デコーダを構築し,さらに畳み込みネットワークを用いてGANの潜時符号をサイド情報(SI)として抽出する。
側面では、SIと隣接する視点を組み合わせて、GANジェネレータを用いて中間ビューを再構築する。
論文 参考訳（メタデータ） (2022-05-07T08:52:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。