論文の概要: LentiAvatar: Pseudo-Multiview Reconstruction and Subpixel Prism Rendering for Real-Time Stereoscopic Communication

• arxiv url: http://arxiv.org/abs/2606.10550v2
• Date: Mon, 15 Jun 2026 15:32:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 13:45:31.017842
• Title: LentiAvatar: Pseudo-Multiview Reconstruction and Subpixel Prism Rendering for Real-Time Stereoscopic Communication
• Title（参考訳）: LentiAvatar:Pseudo-Multiviewによるリアルタイムステレオコミュニケーションのためのサブピクセルプリスムレンダリング
• Authors: Chufeng Fang, Dongdong Teng, Lilin Liu,
• Abstract要約: LentiAvatarは、単眼アバターキャプチャーとサブピクセルエンコードされたグラスレスレンチキュラーディスプレイを接続する。 ライブトラッカーの試作機は10.65 FPSを維持でき、被験者特有の蒸留ドライバーは同じ表示パイプラインを38.49 FPSに引き上げる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real-time stereoscopic video communication has long been a goal of immersive telepresence, yet practical systems still require specialized capture rigs or reduce remote users to a single portrait view. We present LentiAvatar, a Gaussian head-avatar system that connects monocular avatar capture with subpixel-encoded glasses-free lenticular display for real-time autostereoscopic communication. From a monocular portrait video, LentiAvatar reconstructs a controllable head avatar and optimizes it for the lateral viewing zones induced by the display. The method uses natural head turns as pseudo-multiview (PMV) supervision to constrain regions that are otherwise weakly observed in monocular training, including hair, ears, jaw contours, and neck boundaries. Reliable side frames are yaw-binned, aligned to virtual cameras, and supervised within a strict head-and-hair domain; contour-aware losses and staged regularization further suppress ghosting, alpha leakage, and depth instability while preserving lateral detail. At runtime, LentiAvatar renders 32 virtual views and encodes them into a 4K lenticular raster with calibrated subpixel-routing masks. The live-tracker prototype sustains 10.65 FPS, and a subject-specific distilled driver raises the same display pipeline to 38.49 FPS.
• Abstract（参考訳）: リアルタイムステレオビデオ通信は長年、没入型テレプレゼンスを目標としてきたが、実際的なシステムでは、特殊なキャプチャリグやリモートユーザを単一のポートレートビューに削減する必要がある。 LentiAvatarはモノクラーアバターキャプチャーとサブピクセルエンコードされたグラスレスレンチキュラーディスプレイをリアルタイムのオートステレオスコープ通信のために接続するガウスのヘッドアバターシステムである。 モノクロのポートレートビデオから、LentiAvatarは制御可能なヘッドアバターを再構成し、ディスプレイによって誘導される横方向の視聴ゾーンに最適化する。 この方法は、髪、耳、顎の輪郭、頸部の境界など、単眼の訓練において弱く観察される領域を拘束するために、疑似マルチビュー(PMV)の監督として自然の頭部旋回を使用する。 信頼性の高いサイドフレームは、仮想カメラに接続され、厳格な頭髪領域で管理され、輪郭認識損失と段階正規化により、横のディテールを保ちながらゴースト、アルファリーク、深さ不安定をさらに抑制できる。 実行時にLentiAvatarは32の仮想ビューをレンダリングし、それをキャリブレーションされたサブピクセルルーティングマスクを備えた4Kレンチキュラーラスタにエンコードする。 ライブトラッカーの試作機は10.65 FPSを保ち、被験者固有の蒸留ドライバーは同じ表示パイプラインを38.49 FPSに引き上げる。

関連論文リスト

• FlexAvatar: Learning Complete 3D Head Avatars with Partial Supervision [54.69512425050288]
  1枚の画像から高品質で完全な3Dヘッドアバターを作成するFlexAvatarを紹介する。 トレーニング手順はスムーズな遅延アバター空間を生じ,任意の数の入力観測に適合する恒等性とフレキシブルな適合性を実現する。
  論文  参考訳（メタデータ） (2025-12-17T17:09:52Z)
• LightHeadEd: Relightable & Editable Head Avatars from a Smartphone [30.268643915885413]
  本稿では,ポラロイドフィルタを搭載したスマートフォンのみで高品質なヘッドアバターを製作するための,新しい費用対効果のアプローチを提案する。 我々のアプローチは、単一点光源を持つ暗い部屋で、クロスポーラライズとパラレルポーラライズされたビデオストリームを同時にキャプチャすることである。 パラメトリックヘッドモデルのUV空間に2次元ガウスアンを埋め込んだハイブリッド表現を導入する。
  論文  参考訳（メタデータ） (2025-04-13T17:51:56Z)
• Avat3r: Large Animatable Gaussian Reconstruction Model for High-fidelity 3D Head Avatars [60.0866477932976]
  少数の入力画像から高品質でアニマタブルな3Dヘッドアバターを復元するAvat3rを提案する。 大規模なリコンストラクションモデルをアニマタブルにし、大規模なマルチビュービデオデータセットから3次元以上の人間の頭部を強力に学習する。 トレーニング中に異なる表現の入力イメージをモデルに供給することでロバスト性を高め,不整合入力からの3次元頭部アバターの再構成を可能にする。
  論文  参考訳（メタデータ） (2025-02-27T16:00:11Z)
• VOODOO XP: Expressive One-Shot Head Reenactment for VR Telepresence [14.010324388059866]
  VOODOO XPは、入力ドライバビデオと1枚の2Dポートレートから高表現力の表情を生成することができる、3D対応のワンショットヘッド再現法である。 本稿では,モノクラー映像設定と双方向通信のためのエンドツーエンドVRテレプレゼンスシステムについて述べる。
  論文  参考訳（メタデータ） (2024-05-25T12:33:40Z)
• Towards a Pipeline for Real-Time Visualization of Faces for VR-based Telepresence and Live Broadcasting Utilizing Neural Rendering [58.720142291102135]
  バーチャルリアリティー用のヘッドマウントディスプレイ(HMD)は、VRにおける現実的な対面会話にかなりの障害をもたらす。 本稿では,低コストなハードウェアに焦点をあて,単一のGPUを用いたコモディティゲームコンピュータで使用できるアプローチを提案する。
  論文  参考訳（メタデータ） (2023-01-04T08:49:51Z)
• Dynamic Neural Portraits [58.480811535222834]
  フルヘッド再現問題に対する新しいアプローチであるDynamic Neural Portraitsを提案する。 本手法は,頭部ポーズ,表情,視線を明示的に制御し,写実的な映像像を生成する。 実験の結果,提案手法は最近のNeRF法よりも270倍高速であることがわかった。
  論文  参考訳（メタデータ） (2022-11-25T10:06:14Z)
• Deep 3D Mask Volume for View Synthesis of Dynamic Scenes [49.45028543279115]
  120FPSのカスタム10カメラリグでキャプチャしたマルチビュービデオデータセットを提案する。 データセットには、屋外シーンにおけるさまざまな視覚効果と人間の相互作用を示す96の高品質なシーンが含まれている。 我々は,静的カメラで捉えた動的シーンの双眼映像から時間的に安定な視線外挿を可能にする新しいアルゴリズムであるDeep 3D Mask Volumeを開発した。
  論文  参考訳（メタデータ） (2021-08-30T17:55:28Z)
• MatryODShka: Real-time 6DoF Video View Synthesis using Multi-Sphere Images [26.899767088485184]
  ステレオ360デグ(全方向ステレオ)画像を6DoFレンダリングのための層状多球面画像表現に変換する手法を提案する。 これにより、ビューアの快適性が大幅に向上し、最新のGPUハードウェア上でリアルタイムで推論およびレンダリングを行うことができる。
  論文  参考訳（メタデータ） (2020-08-14T18:33:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。