論文の概要: Towards Bitstream-corrupted Harsh Visual Understanding: Through Bitstream Language Modeling as Robust Semantic Priors

• arxiv url: http://arxiv.org/abs/2608.21837v1
• Date: Sat, 22 Aug 2026 08:16:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.489334
• Title: Towards Bitstream-corrupted Harsh Visual Understanding: Through Bitstream Language Modeling as Robust Semantic Priors
• Title（参考訳）: Bitstreamが破綻したHarshビジュアル理解に向けて - ロバストなセマンティックプリミティブとしてのBitstream言語モデリングを通じて
• Abstract要約: Bitstreamの崩壊したHarsh Visual Understanding (BcHVU)は、現実世界のマルチメディア通信において、ひどい劣化したビットストリームからデコードされた過酷な劣化したビデオを理解することを目的としている。 本稿では,bitstream-native semantic cues の学習と注入のためのフレームワークである Robust Semantic Priors (BLMSP) として Bitstream Language Modeling を提案する。 提案するBLMSPフレームワークは,ビットストリーム言語モデルを用いて,ビットストリームネイティブなセマンティックキューを抽出し,BcHVUタスクのオフザシェルフビジョンモデルにインジェクションすることで,それらを先行として活用する。
• 参考スコア（独自算出の注目度）: 14.91030843318295
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bitstream-corrupted Harsh Visual Understanding (BcHVU) aims to understand harshly degraded videos originally decoded from a severely corrupted bitstream in real-world multimedia communication. The ill-posed nature of BcHVU poses a major challenge for existing vision models, as even subtle bitstream corruption can lead to irreversible pixel distortion and significant semantic loss. To address these challenges in BcHVU, we propose Bitstream Language Modeling as Robust Semantic Priors (BLMSP), a framework for learning and injecting bitstream-native semantic cues. Our proposed BLMSP framework learns to extract bitstream-native semantic cues by bitstream language modeling, and leverages them as priors by injecting into off-the-shelf vision models of BcHVU tasks. Specifically, we present a Video Bitstream Byte Model (VBBM) that integrates byte-level modeling and cross-codec semantic distillation, enabling it to interpret robust semantics from byte sequences in multiple corrupted bitstream formats. The learned bitstream semantics are leveraged as robust priors and fused into BcHVU model backbones for improving the quality of video restoration, captioning, and human pose estimation. To train BLMSP, we construct a large-scale multi-source Corrupted-bitstream Harsh-video Paired (CHP) dataset containing 607k corrupted bitstream segments and 287k paired harsh video clips. Extensive experimental results show that the learned bitstream priors improve video restoration, captioning, and human pose estimation by 2.51 dB in PSNR, 0.20 in CIDEr, and 0.18 in PCK@0.2 on average, respectively. These results demonstrate that corrupted bitstream can serve as robust semantic priors in solving pixel distortion and semantic loss in BcHVU.
• Abstract（参考訳）: Bitstreamの崩壊したHarsh Visual Understanding (BcHVU)は、現実世界のマルチメディア通信において、ひどい劣化したビットストリームからデコードされた過酷な劣化したビデオを理解することを目的としている。 BcHVUの誤った性質は、微妙なビットストリームの破損でさえ、不可逆なピクセル歪みと重要なセマンティック損失をもたらすため、既存のビジョンモデルにとって大きな課題となる。 BcHVUにおけるこれらの課題に対処するため、我々は、ビットストリームネイティブなセマンティックキューを学習し、注入するフレームワークであるRobust Semantic Priors (BLMSP) としてビットストリーム言語モデリングを提案する。 提案するBLMSPフレームワークは,ビットストリーム言語モデルを用いて,ビットストリームネイティブなセマンティックキューを抽出し,BcHVUタスクのオフザシェルフビジョンモデルにインジェクションすることで,それらを先行として活用する。 具体的には、バイトレベルのモデリングとクロスコーデックなセマンティック蒸留を統合したビデオビットストリームバイトコードモデル(VBBM)を提案する。 学習したビットストリームセマンティクスは、堅牢な先行として活用され、BcHVUモデルバックボーンに融合して、ビデオ復元、キャプション、人間のポーズ推定の質を向上させる。 BLMSPをトレーニングするために,607kの劣化したビットストリームセグメントと287kの厳密なビデオクリップを含む大規模マルチソースCorrupted-bitstream Harsh-video Paired (CHP)データセットを構築した。 その結果,PSNRでは2.51dB,CIDErでは0.20dB,PCK@0.2では0.18dB向上した。 これらの結果から,BcHVUにおける画素歪みとセマンティック損失の解消において,劣化したビットストリームがロバストなセマンティック先行要因として機能することが示唆された。

関連論文リスト

• Compressing AI Traffic: Standardized Neural Network Coding of Visual-Token Representations in Split Vision-Language Inference [15.357950338341285]
  ビデオ-MMEの精度は、送信されたBF16テンソルの98%まで圧縮されていない基準に近づき、その後崩壊する。 オープンエンドMLVU生成はLLM判定の下で同じプラトー・アンド・ロバスト性を示す。
  論文  参考訳（メタデータ） (2026-09-01T13:07:32Z)
• ByteAction: Byte-space Action Recognition Foundation Model [21.295794335147082]
  Byte-space Action Recognition (BAR) は、圧縮された画像のビットストリームから直接人間の行動を認識することを目的としている。 劣化した画像のビットストリーム上で正確な動作認識を実現するBAR基盤モデルByteActionを提案する。
  論文  参考訳（メタデータ） (2026-08-24T03:31:51Z)
• Bitstream Action Recognition is Byte Modeling [33.87306245425509]
  ストレージや送信中のビットストリームの破損は、深刻な視覚的アーティファクトやデコード障害を引き起こす可能性がある。 我々は新しいBARフレームワーク、Achoring Corrupted Embeddings (BRACE) によるビットストリーム認識を提案する。 BRACEは二重ブランチのバイトモデリングアーキテクチャで、破損したビットストリームとそれと無関係なビットストリームを、同じアクションの2つのバイト実現として扱う。
  論文  参考訳（メタデータ） (2026-08-16T11:57:05Z)
• ZeroGVC: Zero-Shot Generative Video Compression with Autoregressive Diffusion Priors [52.50325804778549]
  我々はゼロショット生成ビデオ圧縮フレームワークZeroGVCを提案する。 ZeroGVCは、画像群(GOP)の最初のフレームを符号化し、Codebook-Guided Autoregressive Latent Compressionを通じてその後のPフレームを表現する。 標準ビデオ圧縮ベンチマークの実験では、ZeroGVCは、追加のトレーニングを伴わずに、超低速度での知覚的再構成品質が優れたことを実証している。
  論文  参考訳（メタデータ） (2026-06-21T07:46:14Z)
• ProGVC: Progressive-based Generative Video Compression via Auto-Regressive Context Modeling [10.843021248963305]
  本稿では,プログレッシブ・トランスミッション,効率的なエントロピー・コーディング,ディテール・シンセサイザーを統一したプログレッシブ・ベース・ジェネレーティブ・ビデオ圧縮フレームワークを提案する。 ProGVCは、ビデオを階層的なマルチスケールの残留トークンマップにエンコードし、粗いサブセットをプログレッシブな方法で送信することで、フレキシブルなレート適応を可能にする。
  論文  参考訳（メタデータ） (2026-03-18T09:51:39Z)
• HybridFlow: Infusing Continuity into Masked Codebook for Extreme Low-Bitrate Image Compression [51.04820313355164]
  HyrbidFlowは、連続的な機能ベースのストリームとコードブックベースのストリームを組み合わせることで、極めて低い条件下で高い知覚品質と高い忠実性を実現する。 実験の結果、超低速で複数のデータセットにまたがる優れた性能が示された。
  論文  参考訳（メタデータ） (2024-04-20T13:19:08Z)
• Bitstream-Corrupted Video Recovery: A Novel Benchmark Dataset and Method [24.986639795808564]
  bitstream-corrupted video (BSCV)ベンチマークは、28,000以上のビデオクリップを備えた最初のベンチマークデータセットである。 BSCVは,1)ビデオビットストリームのための3パラメータ汚職モデル,2)リッチなエラーパターン,複数の汚職レベル,フレキシブルなデータセットブランチを含む大規模データセット,3)ベンチマークとして機能するビデオリカバリフレームワークのプラグイン・アンド・プレイモジュールの集合である。 我々は,BSCVデータセット上での最先端ビデオ塗装手法の評価を行い,既存のアプローチの限界と,ビットストリーム崩壊ビデオ回復問題の解決におけるフレームワークの利点を実証した。
  論文  参考訳（メタデータ） (2023-09-25T06:06:26Z)
• IBVC: Interpolation-driven B-frame Video Compression [68.18440522300536]
  Bフレームビデオ圧縮は、双方向動作推定と動き補償(MEMC)符号化をミドルフレーム再構成に適用することを目的としている。 従来の学習アプローチでは、しばしば双方向の光フロー推定に依存するニューラルネットワークのPフレームコーデックをBフレームに直接拡張する。 これらの問題に対処するために,IBVC (Interpolation-B-frame Video Compression) という単純な構造を提案する。
  論文  参考訳（メタデータ） (2023-09-25T02:45:51Z)
• You Can Mask More For Extremely Low-Bitrate Image Compression [80.7692466922499]
  近年,学習画像圧縮(lic)法は大きな進歩を遂げている。 licメソッドは、画像圧縮に不可欠な画像構造とテクスチャコンポーネントを明示的に探索することができない。 原画像の構造とテクスチャに基づいて可視パッチをサンプリングするDA-Maskを提案する。 極めて低ビットレート圧縮のために, lic と lic のエンドツーエンドを統一する最初のフレームワークである, 単純で効果的なマスク付き圧縮モデル (MCM) を提案する。
  論文  参考訳（メタデータ） (2023-06-27T15:36:22Z)
• RaP: Redundancy-aware Video-language Pre-training for Text-Video Retrieval [61.77760317554826]
  冗長性を考慮したビデオ言語事前学習を提案する。 我々は,ビデオパッチとテキストトークンの冗長性の測定を,クロスモーダルな最小相似性を計算することによって設計する。 提案手法はMSRVTT, MSVD, DiDeMo, LSMDCの4つのベンチマークデータセットを用いて評価した。
  論文  参考訳（メタデータ） (2022-10-13T10:11:41Z)
• A Coding Framework and Benchmark towards Low-Bitrate Video Understanding [63.05385140193666]
  我々は,従来のコーデックとニューラルネットワーク(NN)の両方を活用する,従来型ニューラル混合符号化フレームワークを提案する。 このフレームワークは、動画の移動効率の良いセマンティック表現を確実に保持することで最適化される。 8つのデータセットに3つのダウンストリームタスクを備えた低ビットレートビデオ理解ベンチマークを構築し、このアプローチの顕著な優位性を実証した。
  論文  参考訳（メタデータ） (2022-02-06T16:29:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。