論文の概要: 3D FaceShell: Attribute Transfer in 3D Face Avatars as a VLM Defense Mechanism

• arxiv url: http://arxiv.org/abs/2607.16280v1
• Date: Thu, 09 Jul 2026 17:55:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:13.081547
• Title: 3D FaceShell: Attribute Transfer in 3D Face Avatars as a VLM Defense Mechanism
• Title（参考訳）: 3次元フェイスシェル:VLM防御機構としての3次元顔アバターの属性伝達
• Authors: Weston Bondurant, Srijan Das, Hieu Le, Stephanie Schuckers,
• Abstract要約: 光リアルな3D顔アバターは、テレプレゼンス、アニメーション、パーソナライズドメディアなどのアプリケーションにまたがる再利用可能なデジタルアセットとして、ますます普及している。 3D顔アバターが共有されると、そのレンダリングを解析してハイレベルな顔属性を抽出することができる。 3次元モデルから描画された顔のVLM解釈を操るフレームワークである3D FaceShellを提案する。
• 参考スコア（独自算出の注目度）: 16.88923228463345
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Photorealistic 3D face avatars are increasingly deployed as reusable digital assets across applications such as telepresence, animation, and personalized media. At the same time, vision-language models (VLMs) can infer sensitive attributes from rendered images with open-ended semantic reasoning without any fine-tuning. This creates a new privacy challenge: once a 3D face avatar is shared, any of its renderings can be analyzed to extract high-level facial attributes. Existing defenses largely operate in 2D image space and do not address identity-preserving semantic manipulation of 3D facial representations. We propose 3D FaceShell, a framework for steering VLM interpretations of faces rendered from 3D models while preserving geometric fidelity and facial identity. 3D FaceShell augments the original 3D representation with a learnable Gaussian shell that produces subtle, spatially distributed perturbations optimized through multi-view embedding alignment. The perturbations are designed to be visually inconspicuous yet sufficient to redirect VLM-based attribute inference in a view-consistent manner. Extensive experiments on reconstructed celebrity face avatars and multiple black-box VLMs demonstrate that 3D FaceShell significantly increases attribute injection and mismatch rates while maintaining high perceptual similarity and identity consistency. Our results show that it is possible to manipulate VLM-level semantic interpretation of 3D faces without compromising their human-recognizable appearance.
• Abstract（参考訳）: 光リアルな3D顔アバターは、テレプレゼンス、アニメーション、パーソナライズドメディアなどのアプリケーションにまたがる再利用可能なデジタルアセットとして、ますます普及している。 同時に、視覚言語モデル(VLM)は、微調整なしでオープンエンドセマンティック推論によるレンダリング画像からセンシティブな属性を推論することができる。 一度3D顔アバターが共有されると、そのレンダリングを分析して、ハイレベルな顔属性を抽出する。 既存のディフェンスは、主に2次元画像空間で動作し、3次元顔表現のアイデンティティ保存の意味操作に対処しない。 本稿では,3次元モデルから描画された顔のVLM解釈を,幾何学的忠実度と顔の同一性を維持しながら操作するフレームワークである3D FaceShellを提案する。 3D FaceShellは、学習可能なガウスシェルでオリジナルの3D表現を強化し、マルチビューの埋め込みアライメントによって最適化された微妙で空間的に分散された摂動を生成する。 摂動は視覚的に不明瞭でありながら、ビュー一貫性のある方法でVLMベースの属性推論をリダイレクトするのに十分なように設計されている。 再現された有名人の顔アバターと複数のブラックボックスのVLMの大規模な実験は、3D FaceShellが高い知覚的類似性とアイデンティティの整合性を維持しながら、属性注入とミスマッチ率を著しく向上させることを示した。 以上の結果から,3次元顔のVLMレベルの意味的解釈は,人間の顔の外観を損なうことなく操作できることが示唆された。

関連論文リスト

• DEGAS: Detailed Expressions on Full-Body Gaussian Avatars [13.683836322899953]
  顔表情の豊かなフルボディアバターに対する3次元ガウススティング(3DGS)に基づくモデリング手法であるDEGASを提案する。 本稿では,2次元の顔と3次元のアバターのギャップを埋めて,2次元の肖像画にのみ訓練された潜在空間を採用することを提案する。
  論文  参考訳（メタデータ） (2024-08-20T06:52:03Z)
• FaceGPT: Self-supervised Learning to Chat about 3D Human Faces [69.4651241319356]
  我々は、画像やテキストから3次元の人間の顔を推論するために、VLM(Large Vision-Language Models)のための自己教師型学習フレームワークFaceGPTを紹介した。 FaceGPTは、VLMのトークン空間に3Dフォーマブルフェイスモデルのパラメータ(3DMM)を埋め込むことで、この制限を克服する。 我々は,FaceGPTが高品質な3次元顔再構成を実現し,汎用的な視覚指導の能力を維持していることを示す。
  論文  参考訳（メタデータ） (2024-06-11T11:13:29Z)
• UltrAvatar: A Realistic Animatable 3D Avatar Diffusion Model with Authenticity Guided Textures [80.047065473698]
  幾何学の忠実度を高めたUltrAvatarと呼ばれる新しい3次元アバター生成手法を提案し,光を必要とせずに物理ベースレンダリング(PBR)テクスチャの質を向上する。 提案手法の有効性とロバスト性を実証し,実験において最先端の手法よりも高い性能を示した。
  論文  参考訳（メタデータ） (2024-01-20T01:55:17Z)
• Next3D: Generative Neural Texture Rasterization for 3D-Aware Head Avatars [36.4402388864691]
  3D-Aware Generative Adversarial Network (GANs) は, 単一視点2D画像のコレクションのみを用いて, 高忠実かつ多視点の顔画像を合成する。 最近の研究は、3D Morphable Face Model (3DMM) を用いて、生成放射場における変形を明示的または暗黙的に記述している。 本研究では,非構造化2次元画像から生成的,高品質,かつ3D一貫性のある顔アバターの教師なし学習のための新しい3D GANフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-21T06:40:46Z)
• AniFaceGAN: Animatable 3D-Aware Face Image Generation for Video Avatars [71.00322191446203]
  2D生成モデルは、異なるカメラ視点で画像をレンダリングする際に、しばしば望ましくないアーティファクトに悩まされる。 近年,3次元シーン表現を活用することで,3次元カメラポーズのゆがみを明示するために2次元GANを拡張している。 マルチビュー一貫した顔アニメーション生成のためのアニマタブルな3D対応GANを提案する。
  論文  参考訳（メタデータ） (2022-10-12T17:59:56Z)
• DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
  フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。 挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-29T17:59:15Z)
• Image-to-Video Generation via 3D Facial Dynamics [78.01476554323179]
  静止画像から様々な映像を生成するために多目的モデルであるFaceAnimeを提案する。 私たちのモデルは、顔ビデオや顔ビデオの予測など、さまざまなAR/VRやエンターテイメントアプリケーションに汎用的です。
  論文  参考訳（メタデータ） (2021-05-31T02:30:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。