論文の概要: Image Bitstream Fine-grained Understanding for Privacy-Friendly AIoT
- arxiv url: http://arxiv.org/abs/2610.08414v1
- Date: Tue, 06 Oct 2026 14:18:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:30.03616
- Title: Image Bitstream Fine-grained Understanding for Privacy-Friendly AIoT
- Title（参考訳）: Image Bitstream プライバシフレンドリーな AIoT のためのきめ細かい理解
- Abstract要約: Image Bitstream Fine-fine Understanding (IBFU) は、エンコードされた画像バイトシーケンスから、きめ細かな分類と意味記述を生成することを目的としている。
画素レベルのビジュアルコンテンツは推論中に明示的に再構成されないため、このパラダイムは処理パイプライン内の視覚的露出を低減する。
本稿では、プライバシーに配慮したAIoTの微粒化理解のための実用的なパラダイムを提供する。
- 参考スコア（独自算出の注目度）: 14.473522141345635
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Image Bitstream Fine-grained Understanding (IBFU) aims to directly perform fine-grained classification and semantic description generation from encoded image byte sequences. In contrast to conventional pixel-domain visual understanding, IBFU conducts semantic analysis without fully decoding images into the pixel domain. Since pixel-level visual content is not explicitly reconstructed during inference, this paradigm reduces visual exposure within the processing pipeline and suits privacy-friendly Artificial Intelligence of Things (AIoT) applications. In this paper, we propose Bitstream Fine-grained Generator (BFG), a novel foundation model tailored for IBFU. BFG consists of two main components: a Bitstream Semantic Encoder (BSeE) and a Fine-grained Semantic Generator (FSeG). BSeE directly models semantic representations from encoded image bitstreams without explicit pixel reconstruction, while FSeG transforms the extracted bitstream semantics into detailed natural-language descriptions through autoregressive generation. To train BFG and comprehensively evaluate IBFU in practical AIoT scenarios, where image bitstreams may suffer corruption during transmission and storage, we construct a large-scale Corrupted-bitstream Fine-grained Understanding dataset (CFU-D), containing both intact bitstreams and corrupted variants across multiple corruption types and severity levels. Experiments show that BFG maintains stable fine-grained caption generation under bitstream corruption. For example, the performance only has slight change from 0.6339 to 0.6077 in terms of average CIDEr score on Stanford Dogs Caption dataset, while vision-language models, such as Qwen-VL-Chat, BLIP-2, GLM, Gemini, and GPT suffer severe performance decrease. This paper provides a practical paradigm for privacy-friendly fine-grained understanding in AIoT.
- Abstract（参考訳）: Image Bitstream Fine-fine Understanding (IBFU) は、エンコードされた画像バイトシーケンスから、きめ細かな分類と意味記述を生成することを目的としている。
IBFUは、従来のピクセル領域の視覚的理解とは対照的に、画像を完全にピクセル領域にデコードすることなく意味解析を行う。
ピクセルレベルのビジュアルコンテンツは推論中に明示的に再構成されないため、このパラダイムは処理パイプライン内の視覚的露出を減らし、プライバシフレンドリーなAIoT(Artificial Intelligence of Things)アプリケーションに適合する。
本稿では,IBFUに適した新しい基礎モデルであるBitstream Fine-grained Generator (BFG)を提案する。
BFGは、Bitstream Semantic Encoder (BSeE) ときめ細かいSemantic Generator (FSeG) の2つの主要コンポーネントで構成されている。
BSeEは、明示的な画素再構成なしに符号化された画像ビットストリームから意味表現を直接モデル化し、FSeGは抽出したビットストリームセマンティクスを自己回帰生成を通じて詳細な自然言語記述に変換する。
BFGをトレーニングし,画像ビットストリームが送信とストレージの間に破損するおそれのある現実的なAIoTシナリオでIBFUを包括的に評価するために,複数の破損タイプと重大度レベルにまたがる無傷なビットストリームと破損した変種の両方を含む大規模CFU-Dを構築した。
実験により、BFGはビットストリームの破損下で安定した粒状キャプションの生成を維持することが示された。
例えば、Stanford Dogs Captionデータセットの平均CIDErスコアは0.6339から0.6077にわずかに変化しているが、Qwen-VL-Chat、BLIP-2、GLM、Gemini、GPTといったビジョン言語モデルは大幅に性能が低下している。
本稿では、プライバシーに配慮したAIoTの微粒化理解のための実用的なパラダイムを提供する。
関連論文リスト
- Semantic Watermarking for Malicious Image Manipulation Detection [4.018576262580862]
本稿では,この透かしを回復可能なセマンティック参照として再構成する,ロバストなセマンティックな透かしフレームワークを提案する。
我々のフレームワークは、$$-VAEベースのバイナリ透かしと明示的なチャネル認識トレーニングを組み合わせる。
ダウンストリームアプリケーションとして、軽量モジュールSDA-Netは、回復したセマンティック埋め込みを使用して、画像が変更されたかどうかを明らかにする。
論文 参考訳（メタデータ） (2026-09-30T12:33:19Z) - Rethinking Generative Image Compression at Extremely Low Bitrates [56.035931340138006]
本稿では、圧縮された表現とソース表現を直接アライメントする表現オートエンコーダ(RAE)空間上に構築された圧縮指向拡散(CoD)であるRAE-CoDを紹介する。
5つの視覚基盤モデル(VFM)と視覚言語モデルプロトコルを用いて,この枠組みを評価する。
論文 参考訳（メタデータ） (2026-09-30T08:53:11Z) - ByteAction: Byte-space Action Recognition Foundation Model [21.295794335147082]
Byte-space Action Recognition (BAR) は、圧縮された画像のビットストリームから直接人間の行動を認識することを目的としている。
劣化した画像のビットストリーム上で正確な動作認識を実現するBAR基盤モデルByteActionを提案する。
論文 参考訳（メタデータ） (2026-08-24T03:31:51Z) - Towards Bitstream-corrupted Harsh Visual Understanding: Through Bitstream Language Modeling as Robust Semantic Priors [14.91030843318295]
Bitstreamの崩壊したHarsh Visual Understanding (BcHVU)は、現実世界のマルチメディア通信において、ひどい劣化したビットストリームからデコードされた過酷な劣化したビデオを理解することを目的としている。
本稿では,bitstream-native semantic cues の学習と注入のためのフレームワークである Robust Semantic Priors (BLMSP) として Bitstream Language Modeling を提案する。
提案するBLMSPフレームワークは,ビットストリーム言語モデルを用いて,ビットストリームネイティブなセマンティックキューを抽出し,BcHVUタスクのオフザシェルフビジョンモデルにインジェクションすることで,それらを先行として活用する。
論文 参考訳（メタデータ） (2026-08-22T08:16:58Z) - Bitstream Action Recognition is Byte Modeling [33.87306245425509]
ストレージや送信中のビットストリームの破損は、深刻な視覚的アーティファクトやデコード障害を引き起こす可能性がある。
我々は新しいBARフレームワーク、Achoring Corrupted Embeddings (BRACE) によるビットストリーム認識を提案する。
BRACEは二重ブランチのバイトモデリングアーキテクチャで、破損したビットストリームとそれと無関係なビットストリームを、同じアクションの2つのバイト実現として扱う。
論文 参考訳（メタデータ） (2026-08-16T11:57:05Z) - UniMark: Unified Adaptive Multi-bit Watermarking for Autoregressive Image Generators [1.7507301683087861]
本稿では,自動回帰画像生成のためのトレーニングフリーで統一された透かしフレームワークを提案する。
textbf Semantic Grouping (ASG)、 textbfBlockwise Multi-bit。
3つのARモデルを用いた実験により、画像品質(FID)、透かし検出精度、マルチビットメッセージ抽出における最先端性能が得られた。
論文 参考訳（メタデータ） (2026-04-12T16:22:24Z) - HybridFlow: Infusing Continuity into Masked Codebook for Extreme Low-Bitrate Image Compression [51.04820313355164]
HyrbidFlowは、連続的な機能ベースのストリームとコードブックベースのストリームを組み合わせることで、極めて低い条件下で高い知覚品質と高い忠実性を実現する。
実験の結果、超低速で複数のデータセットにまたがる優れた性能が示された。
論文 参考訳（メタデータ） (2024-04-20T13:19:08Z) - Improving Diffusion-Based Image Synthesis with Context Prediction [49.186366441954846]
既存の拡散モデルは、主に、劣化した画像から空間軸に沿って画素幅または特徴幅の制約で入力画像を再構成しようとする。
文脈予測を用いて拡散に基づく画像合成を改善するためのConPreDiffを提案する。
我々のConPreDiffは従来手法を一貫して上回り、ゼロショットFIDスコア6.21で、MS-COCO上で新たなSOTAテキスト・画像生成結果を達成する。
論文 参考訳（メタデータ） (2024-01-04T01:10:56Z) - Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。
既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。
本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2023-07-31T10:22:33Z) - Exploiting Deep Generative Prior for Versatile Image Restoration and
Manipulation [181.08127307338654]
本研究は, 大規模自然画像に基づいて学習したGAN(Generative Adversarial Network)により, 得られた画像の有効利用方法を示す。
深層生成前駆体(DGP)は、色、パッチ、解像度、様々な劣化した画像の欠落したセマンティクスを復元するための説得力のある結果を提供する。
論文 参考訳（メタデータ） (2020-03-30T17:45:07Z) - A U-Net Based Discriminator for Generative Adversarial Networks [86.67102929147592]
GAN(Generative Adversarial Network)のための代替U-Netベースの識別器アーキテクチャを提案する。
提案アーキテクチャにより,合成画像のグローバルコヒーレンスを維持しつつ,画素単位の詳細なフィードバックを生成元に提供することができる。
斬新な判別器は、標準分布と画像品質の指標の観点から、最先端の技術を向上する。
論文 参考訳（メタデータ） (2020-02-28T11:16:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。