論文の概要: Perceptual Refinement of an End-to-End Video Streaming Pipeline via Generative AI Layers
- arxiv url: http://arxiv.org/abs/2609.19215v1
- Date: Wed, 16 Sep 2026 12:33:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:53.952587
- Title: Perceptual Refinement of an End-to-End Video Streaming Pipeline via Generative AI Layers
- Title(参考訳): 生成AI層によるエンドツーエンドビデオストリーミングパイプラインの知覚的リファインメント
- Abstract要約: 本稿では, 破壊的ブロック除去を除去性マスクの下で適応的な内部劣化に置き換えるPreSLEYを提案する。
問題を3つの目標に分けます。どのブロックを分解するかを選択し、分散させ、エンコーダがビット数を減らし、復元するのです。
- 参考スコア(独自算出の注目度): 9.347197482893113
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Traditional codecs treat every region of a frame alike; a generative layer can instead degrade the regions a viewer attends to least and reconstruct them at the client. We present PRESLEY, which extends the prior conference work ELVIS by replacing destructive block removal with adaptive in-place degradation under a removability mask, signaling per-block strength in a bit-packed side channel, and restoring via generative backbones conditioned on transmitted visual priors rather than unconditioned in-painting. We separate the problem into three goals: choosing which blocks to degrade, degrading them so the encoder spends fewer bits, and restoring them. Against its predecessor at matched rate, PRESLEY achieves a decisive mean -56.4% BD-rate reduction on delivered background quality across 13 rate ladders spanning multiple codecs and dataset families. Against pristine baselines, PRESLEY defines the operating regime of generative transport: delivering substantial bitrate savings (up to -29.4% BD-rate) and superior background quality (17/23 sequences) in the target bit-starved regime, while maintaining foreground fidelity bit-exact. We further map where the theoretical headroom in this class of architecture lies. Using an exact leave-one-superblock-out combinatorial oracle as an additive empirical bound, we show that existing complexity heuristics already capture 83.3% of bit-cost savings, bounding remaining cost-axis headroom at about 5% of total bitrate. We then identify and model the primary unaddressed axis -- post-restoration damage -- which disperses widely (4.9-8.4 dB). We prove that this damage is predictable before transmission (held-out rho = +0.400), establishing the feasibility of transmit-time restorability modeling and defining the roadmap for joint rate-distortion-restoration selection rules.
- Abstract(参考訳): 従来のコーデックはフレームのすべての領域を同じように扱う。生成層は、視聴者が少なくとも出席する領域を分解し、クライアントでそれらを再構築することができる。
本稿では, 従来の会議処理ELVISを拡張したPreSLEYについて, 破壊的ブロック除去を適応的インプレース劣化に置き換え, ビットパック側チャネルでブロックごとの強度を信号化し, 無条件で塗装するのではなく, 伝達された視覚的先行に条件付けされた再生バックボーンを介して復元する。
問題を3つの目標に分けて、どのブロックを分解するかを選択し、エンコーダがビット数を減らし、復元する。
PreSLEYは前回のマッチングレートに対して、複数のコーデックとデータセットファミリにまたがる13のレートラグで、納品されたバックグラウンド品質に対して、決定的な平均-56.4%のBDレート削減を達成した。
プリステインベースラインに対して、PreSLEYは生成輸送の運用体制を定義している: ビットレートの大幅な節約(最大-29.4%のBDレート)と、前景の忠実さを維持しつつ、ターゲットのビットスターベッド状態において優れた背景品質(17/23シーケンス)を提供する。
さらに、このクラスのアーキテクチャにおける理論的なヘッドルームがどこにあるのかをマップします。
既往の複雑ヒューリスティックスは既に83.3%のビットコストの節約を達成しており、残りのコスト軸ヘッドルームは全ビットレートの約5%に制限されている。
次に、主要な未調整軸 -- 復元後の損傷 -- を同定し、モデル化し、広く分散する(4.9-8.4 dB)。
我々は、この損傷が送信前に予測可能であることを証明し(保留ルホ = +0.400)、送信時復元可能性モデリングの実現可能性を確立し、共同レート・歪み・復元選択規則のロードマップを定義する。
関連論文リスト
- tcnerv:dual-domain temporal context modeling for implicit neural video compression [6.025390826523129]
TCNeRVは、フィーチャードメインと埋め込みドメインの両方で再構成されたコンテキストを利用する。
UVGデータセットの平均PSNRは36.08dBであり、HNeRV-Boostの2.20dBを上回っている。
論文 参考訳(メタデータ) (2026-09-15T09:00:18Z) - Bend the Basics: Degradation-Aware Deformable Tokenization for All-in-One Image Restoration [72.64498743287601]
オールインワン画像復元は、多様で空間的に一様でない腐敗によって劣化した画像を復元できる単一のモデルを求める。
パイプライン全体にわたる劣化認識をモデル化するフレキシブル・イメージ・トランスフォーマー(FIT)を提案する。
FITは、30.72dBの平均PSNRを5次劣化設定で32.83dBを3次劣化設定で達成し、最近の統一修復法を+0.5$sim$1.1dBで上回った。
論文 参考訳(メタデータ) (2026-08-07T05:44:31Z) - Packet-Loss Robust 3D Gaussian Compression via Atomic Packaging and GNN-based Error Concealment [3.679539308969595]
パケットロスによるロバストな3DGS伝送とエラー隠蔽フレームワークを提案する。
ハッシュグリッド前処理にクロスアテンションを持つ軽量な2層グラフニューラルネットワークは、高周波特性残基を洗練する。
BungeeNeRF, Mip-NeRF 360, Tanks and Temples で20%以下のランダムパケットロス実験を行った結果, 提案手法は非連続伝送よりも大幅に改善されていることがわかった。
論文 参考訳(メタデータ) (2026-07-20T13:13:38Z) - LightSplit: Practical Privacy-Preserving Split Learning via Orthogonal Projections [54.51153206716027]
Split Learning(SL)は、ニューラルネットワークをクライアントと中央サーバに分割することで、協調的なトレーニングを可能にする。
カット層に軽量な固定ランダムプロジェクションを適用することにより,情報露出を制限し,通信オーバーヘッドを低減するLightSplitを提案する。
提案手法は, 伝送次元の最大32倍の精度で, 95%以上の精度を維持できることを示した。
論文 参考訳(メタデータ) (2026-05-13T09:45:49Z) - Restoration-Aligned Generative Flow Models for Blind Motion Deblurring [57.425021485907756]
本稿では,フロー軌跡自体を再構成することで,不整合を解消するフレームワークであるDeFlowを紹介する。
この定式化の下では、標準フローマッチング損失は自然に残留損失の形を取る。
GoPro、HIDE、RealBlur、RWBIの実験では、DeFlowは強力な復元忠実性と知覚リアリズムを実現している。
論文 参考訳(メタデータ) (2026-05-09T10:05:51Z) - Active Sampling for Ultra-Low-Bit-Rate Video Compression via Conditional Controlled Diffusion [8.8956772305056]
本稿では,超低ビットレート方式のための拡散型ビデオ圧縮フレームワークである ActDiff-VC を提案する。
提案手法は,動画を可変長セグメントに分割し,必要なときにのみ送信し,トラックされた点軌道のコンパクトなセットを用いて時間的ダイナミクスを要約する。
スパース信号に基づいて、条件拡散復号器は残りのフレームを合成し、厳しい速度制約の下で知覚的に現実的な再構成を可能にする。
論文 参考訳(メタデータ) (2026-05-04T17:25:14Z) - ZID-Net: Zero-Inference Diffusion Prior Decoupling Network for Single Image Dehazing [10.634107398163676]
単一画像のデハージングは、回復品質と計算効率のトレードオフによって制約されることが多い。
ZID-Netは、フィードフォワード推論から拡散監視を明示的に分離する新しいフレームワークである。
ZID-Netは、合成RESIDEデータセット上で40.75dBのPSNRを達成し、実世界のデータセットで1.13dBのゲインで既存のメソッドを上回ります。
論文 参考訳(メタデータ) (2026-04-26T13:44:25Z) - SVG-EAR: Parameter-Free Linear Compensation for Sparse Video Generation via Error-aware Routing [77.91660464664615]
Diffusion Transformers (DiTs) はビデオ生成において主要なバックボーンとなっているが、その二次的注意コストは依然として大きなボトルネックとなっている。
本稿では,不足しているコントリビューションをトレーニングなしで回収できることを示す。
パラメータフリーな線形補償分岐であるSVG-EARを導入する。
論文 参考訳(メタデータ) (2026-03-09T22:15:31Z) - TeCoNeRV: Leveraging Temporal Coherence for Compressible Neural Representations for Videos [51.99176811574457]
Inlicit Neural Representations (INRs) は、最近ビデオ圧縮における印象的な性能を実証した。
しかし、エンコーディング効率を維持しながら高解像度ビデオへのスケーリングは依然として大きな課題である。
3つの重要なコントリビューションを通じて、これらの基本的な制限に対処します。
我々は,UVG,HEVC,MCL-JCVで480p,720p,1080pで実験を行った最初のハイパーネットワークアプローチである。
論文 参考訳(メタデータ) (2026-02-18T18:59:55Z) - Generalizing GNNs with Tokenized Mixture of Experts [75.8310720413187]
安定性の向上には,変化に敏感な特徴への依存を低減し,既約最悪の一般化フロアを残す必要があることを示す。
本研究では,STEM-GNNを提案する。STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN。
9つのノード、リンク、グラフのベンチマークで、STEM-GNNはより強力な3方向バランスを実現し、クリアグラフ上での競争力を維持しながら、次数/ホモフィリーシフトや特徴/エッジの破損に対する堅牢性を改善している。
論文 参考訳(メタデータ) (2026-02-09T22:48:30Z) - LCUDiff: Latent Capacity Upgrade Diffusion for Faithful Human Body Restoration [23.264518366939825]
劣化した人中心のイメージを復元する既存の方法は、しばしば不十分な忠実さに苦しむ。
そこで我々はLCUDiffを提案する。LCUDiffは訓練済みの潜伏拡散モデルをアップグレードする安定なワンステップフレームワークである。
合成および実世界のデータセットの実験は、より高い忠実度と少ないアーティファクトによる競争結果を示している。
論文 参考訳(メタデータ) (2026-02-04T10:37:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。