Fugu-MT 論文翻訳(概要): Interactive Face Video Coding: A Generative Compression Framework

論文の概要: Interactive Face Video Coding: A Generative Compression Framework

arxiv url: http://arxiv.org/abs/2302.09919v2
Date: Thu, 18 Sep 2025 03:11:08 GMT
ステータス: 翻訳完了
システム内更新日: 2025-09-19 17:26:52.797249
Title: Interactive Face Video Coding: A Generative Compression Framework
Title（参考訳）: インタラクティブな顔ビデオ符号化 - ジェネレーティブ圧縮フレームワーク
Authors: Bolin Chen, Zhao Wang, Binzhe Li, Shurun Wang, Shiqi Wang, Yan Ye,
Abstract要約: 本稿では,対話型顔映像符号化(IFVC)のための新しいフレームワークを提案する。提案手法には,超コンパクト表現,低遅延相互作用,鮮明な表現/重み付けアニメーションなど,いくつかの利点がある。
参考スコア（独自算出の注目度）: 21.834370453322375
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper, we propose a novel framework for Interactive Face Video Coding (IFVC), which allows humans to interact with the intrinsic visual representations instead of the signals. The proposed solution enjoys several distinct advantages, including ultra-compact representation, low delay interaction, and vivid expression/headpose animation. In particular, we propose the Internal Dimension Increase (IDI) based representation, greatly enhancing the fidelity and flexibility in rendering the appearance while maintaining reasonable representation cost. By leveraging strong statistical regularities, the visual signals can be effectively projected into controllable semantics in the three dimensional space (e.g., mouth motion, eye blinking, head rotation, head translation and head location), which are compressed and transmitted. The editable bitstream, which naturally supports the interactivity at the semantic level, can synthesize the face frames via the strong inference ability of the deep generative model. Experimental results have demonstrated the performance superiority and application prospects of our proposed IFVC scheme. In particular, the proposed scheme not only outperforms the state-of-the-art video coding standard Versatile Video Coding (VVC) and the latest generative compression schemes in terms of rate-distortion performance for face videos, but also enables the interactive coding without introducing additional manipulation processes. Furthermore, the proposed framework is expected to shed lights on the future design of the digital human communication in the metaverse.
Abstract（参考訳）: 本稿では,対話型顔画像符号化(IFVC)のための新しいフレームワークを提案する。提案手法には,超コンパクト表現,低遅延相互作用,鮮明な表現/重み付けアニメーションなど,いくつかの利点がある。特に、内部次元増加(IDI)に基づく表現を提案し、合理的な表現コストを維持しつつ外観をレンダリングする際の忠実度と柔軟性を大幅に向上させる。強い統計的規則性を活用することで、視覚信号は、圧縮され送信される3次元空間(例えば、口の動き、点滅、頭部回転、頭部翻訳、頭部位置)の制御可能な意味論に効果的に投影することができる。編集可能なビットストリームは、セマンティックレベルでの対話性を自然にサポートし、深層生成モデルの強い推論能力を介して顔フレームを合成することができる。提案したIFVC方式の性能向上と適用可能性について実験的に検証した。特に,提案方式は,最先端のビデオ符号化規格であるVersatile Video Coding (VVC) と最新の生成圧縮方式を,顔ビデオのレート歪み性能の観点から上回るだけでなく,新たな操作プロセスを導入することなくインタラクティブな符号化を可能にする。さらに,提案手法は,メタバースにおけるデジタルヒューマンコミュニケーションの今後の設計に光を当てることが期待されている。

関連論文リスト

LoViC: Efficient Long Video Generation with Context Compression [68.22069741704158]
百万単位のオープンドメインビデオに基づいてトレーニングされたDiTベースのフレームワークであるLoViCを紹介する。当社のアプローチの核心はFlexFormerです。ビデオとテキストを統合された潜在表現に共同で圧縮する表現型オートエンコーダです。
論文参考訳（メタデータ） (2025-07-17T09:46:43Z)
Compressing Human Body Video with Interactive Semantics: A Generative Approach [30.403440387272575]
対話型セマンティクスを用いて人体映像を圧縮することを提案する。提案するエンコーダは3次元人体モデルを用いて非線形力学と人体信号の複雑な動きを解離する。提案するデコーダは、メッシュベースの運動場を進化させ、高品質な人体ビデオ再構成を実現する。
論文参考訳（メタデータ） (2025-05-22T02:51:58Z)
Ditto: Motion-Space Diffusion for Controllable Realtime Talking Head Synthesis [27.43583075023949]
Dittoは拡散型トーキングヘッドフレームワークで、きめ細かい制御とリアルタイム推論を可能にする。我々は,Dittoが魅力的な音声ヘッドビデオを生成し,制御性とリアルタイム性能の両面で優位性を示すことを示す。
論文参考訳（メタデータ） (2024-11-29T07:01:31Z)
EmotiveTalk: Expressive Talking Head Generation through Audio Information Decoupling and Emotional Video Diffusion [49.55774551366049]
拡散モデルは、会話のヘッドジェネレーションの分野に革命をもたらしたが、長期的には表現性、制御可能性、安定性に課題に直面している。これらの問題に対処するためのEmotiveTalkフレームワークを提案する。実験結果から,EmotiveTalkは表現力のある対話型ヘッドビデオを生成することができ,長時間発生時の感情の制御性と安定性を保証できることがわかった。
論文参考訳（メタデータ） (2024-11-23T04:38:51Z)
Generative Human Video Compression with Multi-granularity Temporal Trajectory Factorization [13.341123726068652]
本稿では,人為的ビデオ圧縮のための多粒度時間軌道因子化フレームワークを提案する。実験結果から,提案手法は最新の生成モデルと最先端のビデオ符号化標準であるVersatile Video Codingより優れていた。
論文参考訳（メタデータ） (2024-10-14T05:34:32Z)
Beyond GFVC: A Progressive Face Video Compression Framework with Adaptive Visual Tokens [28.03183316628635]
本稿では、適応的な視覚トークンを用いて、再構成と帯域幅のインテリジェンス間の例外的なトレードオフを実現する、新しいプログレッシブ・フェイス・ビデオ圧縮フレームワークであるPFVCを提案する。実験により,提案したPFVCフレームワークは,最新のVersatile Video Coding (VVC) や最新技術であるGenerative Face Video Compression (GFVC) アルゴリズムと比較して,符号化の柔軟性と速度歪み性能に優れることを示した。
論文参考訳（メタデータ） (2024-10-11T03:24:21Z)
Image Translation as Diffusion Visual Programmers [52.09889190442439]
Diffusion Visual Programmer (DVP) は、ニューロシンボリックな画像翻訳フレームワークである。我々のフレームワークはGPTアーキテクチャ内に条件フレキシブル拡散モデルをシームレスに組み込む。大規模な実験は、DVPの卓越したパフォーマンスを示し、同時に芸術を超越している。
論文参考訳（メタデータ） (2024-01-18T05:50:09Z)
Semantic Face Compression for Metaverse: A Compact 3D Descriptor Based Approach [15.838410034900138]
我々は仮想アバター顔のための新しいメタバース通信パラダイムを構想し、コンパクトな3次元顔記述子を用いたセマンティック顔圧縮を開発する。提案手法は,機械解析に基づくデジタルヒューマンコミュニケーションなど,多数の応用が期待できる。
論文参考訳（メタデータ） (2023-09-24T13:39:50Z)
VNVC: A Versatile Neural Video Coding Framework for Efficient Human-Machine Vision [59.632286735304156]
コード化された表現をピクセルに復号することなく直接拡張・解析することがより効率的である。再構成と直接拡張/分析の両方をサポートするために,コンパクト表現の学習を目標とする汎用型ニューラルビデオ符号化(VNVC)フレームワークを提案する。
論文参考訳（メタデータ） (2023-06-19T03:04:57Z)
DAE-Talker: High Fidelity Speech-Driven Talking Face Generation with Diffusion Autoencoder [55.58582254514431]
そこで本研究では,DAE-Talkerを用いて全映像フレームを合成し,音声の内容に合わせて自然な頭部の動きを生成する。また、ポーズ制御性のための音声2latentのポーズモデリングも導入する。実験の結果,DAE-Talkerはリップシンク,ビデオの忠実さ,自然さなどの既存の手法よりも優れていた。
論文参考訳（メタデータ） (2023-03-30T17:18:31Z)
Text-driven Video Prediction [83.04845684117835]
テキスト駆動型ビデオ予測(TVP)と呼ばれる新しいタスクを提案する。本課題は,最初のフレームとテキストキャプションを入力として,以下のフレームを合成することを目的とする。進行動作情報に対する因果推論におけるテキストの能力を調べるため、我々のTVPフレームワークはテキスト推論モジュール(TIM)を含む。
論文参考訳（メタデータ） (2022-10-06T12:43:07Z)
Towards Modality Transferable Visual Information Representation with Optimal Model Compression [67.89885998586995]
本稿では,伝達可能なモダリティの原理を活かした視覚信号表現手法を提案する。提案するフレームワークは最先端のビデオコーディング標準に実装されている。
論文参考訳（メタデータ） (2020-08-13T01:52:40Z)
An Emerging Coding Paradigm VCM: A Scalable Coding Approach Beyond Feature and Signal [99.49099501559652]
Video Coding for Machine (VCM)は、視覚的特徴圧縮と古典的なビデオ符号化のギャップを埋めることを目的としている。我々は,学習した動きパターンのガイダンスを用いて,映像フレームを再構成するために条件付き深層生成ネットワークを用いる。予測モデルを介してスパース動作パターンを抽出することを学ぶことにより、特徴表現をエレガントに活用し、符号化されたフレームの外観を生成する。
論文参考訳（メタデータ） (2020-01-09T14:18:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。