論文の概要: GenStream: Semantic Streaming Framework for Generative Reconstruction of Human-centric Media

• arxiv url: http://arxiv.org/abs/2609.18634v1
• Date: Wed, 16 Sep 2026 13:20:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.817649
• Title: GenStream: Semantic Streaming Framework for Generative Reconstruction of Human-centric Media
• Title（参考訳）: GenStream: 人中心メディア生成のためのセマンティックストリーミングフレームワーク
• Abstract要約: GenStreamは、高密度のビデオフレームをコンパクトで構造化されたメタデータで置き換えるセマンティックストリーミングフレームワークである。 連続データストリームのHEVCと比較して、99.9%以上の帯域幅削減を実現している。 我々は五輪フィギュアスケートの映像でGenStreamを部分的に検証し、最小限のデータで高い知覚的忠実性を示す。
• 参考スコア（独自算出の注目度）: 8.260821075886467
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Video streaming dominates global internet traffic, yet conventional pipelines remain inefficient for structured, human-centric content such as sports, performance, or interactive media. Standard codecs re-encode entire frames, foreground and background alike, treating all pixels uniformly and ignoring the semantic structure of the scene. This leads to significant bandwidth waste, particularly in scenarios where backgrounds are static and motion is constrained to a few salient actors. We introduce GenStream, a semantic streaming framework that replaces dense video frames with compact, structured metadata. Instead of transmitting pixels, GenStream encodes each scene as a combination of skeletal keypoints, camera viewpoint parameters, and a static 3D background model. These elements are transmitted to the client, where a generative model reconstructs photorealistic human figures and composites them into the 3D scene from the original viewpoint. This paradigm enables extreme compression, achieving over 99.9% bandwidth reduction compared to HEVC for the continuous data stream. We partially validate GenStream on Olympic figure skating footage and demonstrate potential for high perceptual fidelity under minimal data. While acknowledging the significant computational costs shifted to the client and challenges in generalization, GenStream opens new directions in volumetric avatar synthesis, canonical 3D actor fusion across views, and personalized viewing experiences, laying the groundwork for scalable, intelligent streaming in the post-codec era.
• Abstract（参考訳）: ビデオストリーミングは世界のインターネットトラフィックを支配しているが、従来のパイプラインは、スポーツ、パフォーマンス、インタラクティブメディアのような、構造化された人間中心のコンテンツには非効率である。 標準コーデックはフレーム全体、前景、背景などを再エンコードし、すべてのピクセルを均一に扱い、シーンの意味構造を無視します。 これは、特に背景が静的で、動きが一部の有能なアクターに制約されるシナリオにおいて、かなりの帯域幅の浪費につながる。 我々は,高密度ビデオフレームをコンパクトで構造化されたメタデータで置き換えるセマンティックストリーミングフレームワークGenStreamを紹介する。 GenStreamはピクセルを送信する代わりに、各シーンを骨格キーポイント、カメラ視点パラメータ、静的な3D背景モデルの組み合わせとしてエンコードする。 これらの要素はクライアントに送信され、生成モデルはフォトリアリスティックな人物を再構成し、元の視点から3Dシーンに合成する。 このパラダイムは極端な圧縮を可能にし、連続データストリームのHEVCと比較して99.9%以上の帯域幅削減を実現している。 我々は五輪フィギュアスケートの映像でGenStreamを部分的に検証し、最小限のデータで高い知覚的忠実性を示す。 GenStreamは、クライアントと一般化の課題に重要な計算コストがシフトしたことを認めながら、ボリュームアバター合成、ビュー間の標準3Dアクター融合、パーソナライズされた視聴体験の新たな方向性を開放し、ポストコーデック時代のスケーラブルでインテリジェントなストリーミングの基盤を築き上げた。

関連論文リスト

• Stream3D: Sequential Multi-View 3D Generation via Evidential Memory [20.313446116978586]
  Stream3Dは、凍結したビューコンディショニングされた3Dジェネレータを、一定のクロスチャンクメモリを備えたストリーミングジェネレータに変える、トレーニング不要のストリーミングメカニズムである。 リアル・ストリーミング・ベンチマークと シンセサイザー・ストリーミング・ベンチマークで評価しました
  論文  参考訳（メタデータ） (2026-05-20T17:55:16Z)
• FreeScale: Scaling 3D Scenes via Certainty-Aware Free-View Generation [75.74617373156902]
  FreeScaleは、限られた現実世界の画像シーケンスを、高品質なトレーニングデータのスケーラブルなソースに変換するフレームワークである。 フィードフォワードNVSモデルのトレーニングをスケールアップし,PSNRにおける2.7dBの顕著なゲインを達成することにより,FreeScaleの有効性を示す。 私たちの仕事は、3Dビジョンの根本的なボトルネックを克服するために、実用的で強力なデータ生成エンジンを提供します。
  論文  参考訳（メタデータ） (2026-04-12T08:00:53Z)
• OmniStream: Mastering Perception, Reconstruction and Action in Continuous Streams [57.22276728212066]
  現代の視覚エージェントは、リアルタイムストリーミング環境で動作するために、一般的な、因果的、物理的に構造化された表現を必要とする。 本稿では,多様な視覚入力を効果的に知覚し,再構成し,動作させる,統合されたストリーミング視覚バックボーンであるOmniStreamを紹介する。
  論文  参考訳（メタデータ） (2026-03-12T17:59:55Z)
• Low-Bitrate Video Compression through Semantic-Conditioned Diffusion [19.21409064179896]
  本報告では, 先行前の生成の詳細を頼りながら, 最も意味のある情報のみを伝達する重大障害を提案する。 条件付きビデオは、セマンティック、外観、モーションキューから高品質で時間的に整合したビデオを再構成する。
  論文  参考訳（メタデータ） (2025-11-29T09:38:16Z)
• InfiniteTalk: Audio-driven Video Generation for Sparse-Frame Video Dubbing [66.48064661467781]
  我々は、アイデンティティ、象徴的なジェスチャー、カメラ軌跡を維持するために参照を戦略的に保存する新しいパラダイムであるスパースフレームビデオダビングを導入する。 無限長長列ダビング用に設計されたストリーミングオーディオ駆動型ジェネレータであるInfiniteTalkを提案する。 HDTF、CelebV-HQ、EMTDデータセットの総合評価は、最先端の性能を示している。
  論文  参考訳（メタデータ） (2025-08-19T17:55:23Z)
• A Coding Framework and Benchmark towards Low-Bitrate Video Understanding [63.05385140193666]
  我々は,従来のコーデックとニューラルネットワーク(NN)の両方を活用する,従来型ニューラル混合符号化フレームワークを提案する。 このフレームワークは、動画の移動効率の良いセマンティック表現を確実に保持することで最適化される。 8つのデータセットに3つのダウンストリームタスクを備えた低ビットレートビデオ理解ベンチマークを構築し、このアプローチの顕著な優位性を実証した。
  論文  参考訳（メタデータ） (2022-02-06T16:29:15Z)
• Image Comes Dancing with Collaborative Parsing-Flow Video Synthesis [124.48519390371636]
  人の動きをソースから対象人物に転送することは、コンピュータビジョンやグラフィックアプリケーションにおいて大きな可能性を秘めている。 これまでは、人工的な3Dモデルに頼っていたり、ターゲットごとに個別のモデルを訓練していた。 本研究は,ソース映像から対象人物への動きを同期的に伝達する単一モデルを学習することを目的とした,より一般的な設定について研究する。
  論文  参考訳（メタデータ） (2021-10-27T03:42:41Z)
• Human Mesh Recovery from Multiple Shots [85.18244937708356]
  疑似地上真理3Dヒューマンメッシュを用いた長期シーケンスの3次元再構築とマイニングの改善のためのフレームワークを提案する。 得られたデータは,様々なメッシュ回復モデルのトレーニングに有用であることを示す。 編集メディアの大規模なライブラリーから3Dコンテンツを処理・分析するための扉を開くツールを開発した。
  論文  参考訳（メタデータ） (2020-12-17T18:58:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。