論文の概要: Bitstream Action Recognition is Byte Modeling
- arxiv url: http://arxiv.org/abs/2608.15695v1
- Date: Sun, 16 Aug 2026 11:57:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.395048
- Title: Bitstream Action Recognition is Byte Modeling
- Title(参考訳): Bitstream Action Recognitionはバイトコードモデリング
- Abstract要約: ストレージや送信中のビットストリームの破損は、深刻な視覚的アーティファクトやデコード障害を引き起こす可能性がある。
我々は新しいBARフレームワーク、Achoring Corrupted Embeddings (BRACE) によるビットストリーム認識を提案する。
BRACEは二重ブランチのバイトモデリングアーキテクチャで、破損したビットストリームとそれと無関係なビットストリームを、同じアクションの2つのバイト実現として扱う。
- 参考スコア(独自算出の注目度): 33.87306245425509
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conventional action recognition typically relies on successful pixel decoding of the bitstream. However, bitstream corruption during storage or transmission may cause severe visual artifacts or even decoding failure, posing a significant challenge to reliable action recognition. Bitstream Action Recognition (BAR) aims to overcome the dependency on decoding and the vulnerability to corruption. In this paper, we propose a novel BAR framework, Bitstream Recognition via Anchoring Corrupted Embeddings (BRACE). BRACE is a dual-branch byte-modeling architecture that treats a corrupted bitstream and its intact counterpart as two byte realizations of the same action. This guides the generation of rich and stable representations for robustness to corruption through Intact-Anchored Representation Alignment (IARA). The intact representation serves as a stable anchor, and the corrupted one is aligned to it at the embedding and decision levels under Unreliable-Anchor Suppression (UAS), entirely in representation space and without repairing the bitstream. To address the scarcity of corrupted bitstreams in practice, we introduce the Real-world Bitstream Corruption Simulator (RBCS), a four-parameter simulator that reproduces bit-flip and byte-loss errors arising in transmission and storage. Building on RBCS, we construct the first large-scale BAR dataset (BAR-D), which comprises the BAR-Stanford40 and BAR-PPMI subsets and spans diverse corruption types and severity levels. Finally, we build a large benchmark on BAR-D involving 14 action recognition methods from the pixel, compressed, and bitstream domains. Extensive experiments demonstrate that BRACE has superior robustness to bitstream corruption than all comparison methods. Ablation studies further validate the effectiveness of the proposed RBCS augmentation and IARA.
- Abstract(参考訳): 従来のアクション認識は一般的にビットストリームのピクセル復号化の成功に依存している。
しかし、ストレージや送信中のビットストリームの破損は、深刻な視覚的アーティファクトやデコード障害を引き起こし、信頼性の高いアクション認識に重大な課題をもたらす可能性がある。
Bitstream Action Recognition (BAR)は、デコードと破損の脆弱性への依存を克服することを目的としている。
本稿では,新しいBARフレームワークであるBitstream Recognition via Anchoring Corrupted Embeddings (BRACE)を提案する。
BRACEは二重ブランチのバイトモデリングアーキテクチャで、破損したビットストリームと無傷のビットストリームを、同じアクションの2つのバイト実現として扱う。
これは、Intact-Anchored Representation Alignment (IARA)を通じて、堅牢性から汚職への豊かで安定した表現の生成を導く。
無傷の表現は安定なアンカーとして機能し、破損した表現は、Un Reliable-Anchor Suppression (UAS) の下での埋め込みと決定レベルで、完全に表現空間で、ビットストリームを修復することなく、それに整列する。
実際のビットストリームの不足に対処するために,伝送・記憶に発生するビットフリップとバイトロスエラーを再現する4パラメータシミュレータである実世界のビットストリーム破壊シミュレータ(RBCS)を導入する。
BAR-Stanford40およびBAR-PPMIサブセットで構成され,多様な汚職タイプと重大度レベルにまたがる,最初の大規模BARデータセット(BAR-D)を構築した。
最後に,画素,圧縮領域,ビットストリーム領域からの14の動作認識手法を含むBAR-Dの大規模ベンチマークを構築した。
広範囲な実験により、BRACEは全ての比較法よりもビットストリームの破損に優れた堅牢性を有することが示された。
アブレーション研究はRBCS増強とIARAの有効性をさらに検証した。
関連論文リスト
- ByteAction: Byte-space Action Recognition Foundation Model [21.295794335147082]
Byte-space Action Recognition (BAR) は、圧縮された画像のビットストリームから直接人間の行動を認識することを目的としている。
劣化した画像のビットストリーム上で正確な動作認識を実現するBAR基盤モデルByteActionを提案する。
論文 参考訳(メタデータ) (2026-08-24T03:31:51Z) - Towards Bitstream-corrupted Harsh Visual Understanding: Through Bitstream Language Modeling as Robust Semantic Priors [14.91030843318295]
Bitstreamの崩壊したHarsh Visual Understanding (BcHVU)は、現実世界のマルチメディア通信において、ひどい劣化したビットストリームからデコードされた過酷な劣化したビデオを理解することを目的としている。
本稿では,bitstream-native semantic cues の学習と注入のためのフレームワークである Robust Semantic Priors (BLMSP) として Bitstream Language Modeling を提案する。
提案するBLMSPフレームワークは,ビットストリーム言語モデルを用いて,ビットストリームネイティブなセマンティックキューを抽出し,BcHVUタスクのオフザシェルフビジョンモデルにインジェクションすることで,それらを先行として活用する。
論文 参考訳(メタデータ) (2026-08-22T08:16:58Z) - Follow the Latent Roadmap: Navigating Revocable Decoding for Diffusion LLMs with Anchor Tokens [22.687236570529844]
本稿では,組込み空間内で動作するトレーニングフリーフレームワークASRDを提案する。
我々はASRDが最近のリメイキングベースラインを上回り、最大6.4%の精度向上を実現し、推論スループットを最大7.2倍に向上させることを示した。
論文 参考訳(メタデータ) (2026-06-15T15:23:47Z) - Edit the Bits, Diff the Codes: Bitwise Residual Editing for Visual Autoregressive Models [85.59447229497101]
BitResEditは、Infinityのようなビットワイズ残留VARジェネレータのためのトレーニング不要のエディタである。
ソース-負のガイダンスは、共有編集プレフィックスで計算されたソース-ターゲットコントラストに沿って、ビットごとのポストCFGログ-oddを傾けることで実行される。
サンプルされたビットをスケールごとの連続コード残基に変換し、ローカライゼーションマスクでゲートし、ジェネレータのネイティブサム・オブ・スケールを通じて再注入する。
論文 参考訳(メタデータ) (2026-06-11T16:41:25Z) - BitC-3DGS: High-Capacity 3D Gaussian Splatting Watermarking via Bit Compression [68.33622936663876]
高容量透かしは3Dガウススプラッティング(3DGS)資産が豊富な情報を埋め込むために必要である。
既存のビット・ツー・ケンの透かし方式は、CLIPの77ビットのコンテキスト長が固定されているため、77ビットのメッセージに制限されている。
トークン毎に複数のメッセージビットをエンコードするビット圧縮フレームワークBitC-3DGSを紹介する。
論文 参考訳(メタデータ) (2026-05-28T08:28:04Z) - An Application-Layer Multi-Modal Covert-Channel Reference Monitor for LLM Agent Egress [0.0]
メッセージを送信する大きな言語モデル(LLM)エージェントは、内部のデータをリークすることができる。
妥協されたエージェントは、ゼロ幅文字、ホモグリフ、ホワイトスペース、base64、JavaScript Object Notation(JSON)キーオーダ、メッセージタイミング、サイズをエンコードする。
当社の出力基準モニターには3つのコントリビューションがあります。
論文 参考訳(メタデータ) (2026-05-20T05:39:29Z) - Blind Bitstream-corrupted Video Recovery via Metadata-guided Diffusion Model [21.33395654187404]
我々は、事前に定義されたマスクに依存しない新しいブラインドビデオリカバリ設定を導入する。
本稿では,メタデータ誘導拡散モデル (Metadata-Guided Diffusion Model, M-GDM) を提案する。
論文 参考訳(メタデータ) (2026-04-15T14:15:07Z) - Transformers from Compressed Representations [74.48571451824569]
TEMPEST (TransformErs froM comPressed rEpreSenTations) は、圧縮されたファイルのバイトストリーム構造を利用して効果的なトークン化と符号化戦略を設計する手法である。
本提案では,意味分類に必要なトークン数を大幅に削減し,計算複雑性とメモリ使用量の両方を削減する。
論文 参考訳(メタデータ) (2025-10-26T13:48:03Z) - HybridFlow: Infusing Continuity into Masked Codebook for Extreme Low-Bitrate Image Compression [51.04820313355164]
HyrbidFlowは、連続的な機能ベースのストリームとコードブックベースのストリームを組み合わせることで、極めて低い条件下で高い知覚品質と高い忠実性を実現する。
実験の結果、超低速で複数のデータセットにまたがる優れた性能が示された。
論文 参考訳(メタデータ) (2024-04-20T13:19:08Z) - You Can Mask More For Extremely Low-Bitrate Image Compression [80.7692466922499]
近年,学習画像圧縮(lic)法は大きな進歩を遂げている。
licメソッドは、画像圧縮に不可欠な画像構造とテクスチャコンポーネントを明示的に探索することができない。
原画像の構造とテクスチャに基づいて可視パッチをサンプリングするDA-Maskを提案する。
極めて低ビットレート圧縮のために, lic と lic のエンドツーエンドを統一する最初のフレームワークである, 単純で効果的なマスク付き圧縮モデル (MCM) を提案する。
論文 参考訳(メタデータ) (2023-06-27T15:36:22Z) - Bitstream-Corrupted JPEG Images are Restorable: Two-stage Compensation
and Alignment Framework for Image Restoration [23.101965117344]
実世界のJPEG画像復元問題について,ビットストリームのビット誤りを用いて検討する。
本稿では、ロバストなJPEGデコーダと、2段階補正およびアライメントフレームワークを提案する。
ビット誤り率の異なる3つのベンチマークで実験を行う。
論文 参考訳(メタデータ) (2023-04-14T07:54:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。