論文の概要: HumanSkill-4D: Training-Free Language Querying of Animatable Gaussian Avatars in Space and Time

• arxiv url: http://arxiv.org/abs/2610.24452v1
• Date: Sat, 17 Oct 2026 04:43:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.251446
• Title: HumanSkill-4D: Training-Free Language Querying of Animatable Gaussian Avatars in Space and Time
• Title（参考訳）: HumanSkill-4D: Animatable Gaussian Avatars in Space and Timeの学習自由言語クエリ
• Abstract要約: 本稿では,言語クエリからアニマタブルなガウスアバターの領域を選択するアバター参照セグメンテーションを提案する。 我々は,マルチモーダル大言語モデル(MLLM)とアバター間の幾何演算子を共有するトレーニングフリーフレームワークであるHumanSkill-4Dで,これらの課題に対処する。
• 参考スコア（独自算出の注目度）: 27.404596269142186
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce avatar referring segmentation, which selects regions of animatable Gaussian avatars from language queries. A query can also specify a pose or motion to select matching intervals. This lets users interact with avatars for local editing and motion inspection. However, making these selections with existing language Gaussian splatting methods poses two challenges: adjacent parts and garments are hard to separate and may be referred to indirectly (region ambiguity), while fine-grained motions can look alike in RGB (motion ambiguity). We address these challenges with HumanSkill-4D, a training-free framework that shares a multimodal large language model (MLLM) and geometric operators across avatars. For each avatar, a semantic memory links body-part and garment categories to persistent Gaussian regions and appearance descriptions. The MLLM uses category names and descriptions to select categories by appearance, relation, or function. To find matching intervals, it composes operators into programs that check query conditions on driving joint trajectories stored in a motion memory. These category choices and operator outputs make selections traceable, while composing or adding operators supports new motion conditions. To evaluate this task, we introduce three human-annotated benchmarks and show that HumanSkill-4D outperforms the baselines in part segmentation and 3D and 4D referring segmentation, with compact memories and only minutes of setup per avatar.
• Abstract（参考訳）: 本稿では,言語クエリからアニマタブルなガウスアバターの領域を選択するアバター参照セグメンテーションを提案する。 クエリは、一致した間隔を選択するために、ポーズや動きを指定することもできる。 これにより、ユーザーはローカル編集やモーションインスペクションのためにアバターと対話できる。 しかし、これらの選択を既存の言語で行うと、隣接する部分と衣服は分離が難しく、間接的に(地域あいまいさ)と呼ばれることがあるのに対し、細かい動きはRGB(運動あいまいさ)に類似している。 我々は,マルチモーダル大言語モデル(MLLM)とアバター間の幾何演算子を共有するトレーニングフリーフレームワークであるHumanSkill-4Dで,これらの課題に対処する。 それぞれのアバターについて、セマンティックメモリは体の部分と衣服のカテゴリーを永続的なガウス地域や外見の記述と結びつけている。 MLLMはカテゴリ名と記述を使用して、外観、関係、機能によってカテゴリを選択する。 一致した間隔を見つけるために、動作メモリに格納された共同軌跡を駆動する際のクエリ条件をチェックするプログラムに演算子を構成する。 これらのカテゴリの選択と演算子出力は、選択をトレース可能とし、演算子の構成や追加は、新しい運動条件をサポートする。 この課題を評価するために,3つの人為的注釈付きベンチマークを導入し,HumanSkill-4Dは,部分分割と3D,4D参照セグメンテーションにおいて,コンパクトなメモリとアバター毎のセットアップ時間で,ベースラインよりも優れていることを示す。

関連論文リスト

• FaceParts: Segmentation and Editing of Gaussian Splatting [1.5616295667706617]
  ガウススティングアバターの教師なしセグメンテーションと編集のためのフレームワークであるFacePartsを提案する。 既存の2D法やメッシュ支援法とは異なり,本手法はガウス領域で直接動作し,アバターを意味的に一貫性のある顔部品に分解する。 この手法は、特徴のゆがみ、密度ベースのクラスタリング、FLAMEアンカレートされた部分転送を統合し、正確な編集とクロスアバター部分スワップを可能にする。
  論文  参考訳（メタデータ） (2026-03-25T21:34:06Z)
• FMLGS: Fast Multilevel Language Embedded Gaussians for Part-level Interactive Agents [23.620615939511254]
  FMLGSは3次元ガウススプラッティングにおける部分レベルのオープン語彙クエリをサポートするアプローチである(3DGS)。 対象部品間の言語あいまいさを解消する意味的偏差戦略を考案した。 提案手法は, 特定対象の特定だけでなく, 速度と精度の両面において, 最優先性能を達成できる。
  論文  参考訳（メタデータ） (2025-04-11T14:33:27Z)
• Segment then Splat: Unified 3D Open-Vocabulary Segmentation via Gaussian Splatting [15.849458071604758]
  3D空間でのオープンボキャブラリクエリは、ロボット工学、自律システム、拡張現実といったアプリケーションにおいて、よりインテリジェントな認識を可能にするために不可欠である。 既存のほとんどの手法は2Dピクセルレベルの解析に依存しており、多視点の不整合と3Dオブジェクトの検索が貧弱になる。 そこで我々は,ガウススプラッティングに基づく静的・動的シーンの3次元オープン語彙セグメンテーション手法であるセグメンテーションを提案する。
  論文  参考訳（メタデータ） (2025-03-28T07:36:51Z)
• FreeAvatar: Robust 3D Facial Animation Transfer by Learning an Expression Foundation Model [45.0201701977516]
  ビデオ駆動の3D顔アニメーション転送は、アクターの表情を再現するためにアバターを駆動することを目的としている。 我々は,学習した表現のみに依存する,堅牢な顔アニメーショントランスファー手法であるFreeAvatarを提案する。
  論文  参考訳（メタデータ） (2024-09-20T03:17:01Z)
• SAGD: Boundary-Enhanced Segment Anything in 3D Gaussian via Gaussian Decomposition [66.56357905500512]
  3Dガウススプラッティングは、新しいビュー合成のための代替の3D表現として登場した。 SAGDは3D-GSのための概念的にシンプルで効果的な境界拡張パイプラインである。 提案手法は粗い境界問題なく高品質な3Dセグメンテーションを実現し,他のシーン編集作業にも容易に適用できる。
  論文  参考訳（メタデータ） (2024-01-31T14:19:03Z)
• Chat-Scene: Bridging 3D Scene and Large Language Models with Object Identifiers [65.51132104404051]
  オブジェクトレベルのシーンと対話するために、オブジェクト識別子とオブジェクト中心表現を導入する。 我々のモデルは、ScanRefer、Multi3DRefer、Scan2Cap、ScanQA、SQA3Dなど、既存のベンチマーク手法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-12-13T14:27:45Z)
• Prompt-Based Multi-Modal Image Segmentation [81.58378196535003]
  テスト時に任意のプロンプトに基づいて画像セグメンテーションを生成するシステムを提案する。 プロンプトはテキストかイメージのいずれかでもよい。 私たちはCLIPモデルをバックボーンとして構築し、トランスフォーマーベースのデコーダで拡張します。
  論文  参考訳（メタデータ） (2021-12-18T21:27:19Z)
• Collaborative Spatial-Temporal Modeling for Language-Queried Video Actor Segmentation [90.74732705236336]
  言語クエリビデオアクターセグメンテーションは、ターゲットフレーム内の自然言語クエリで記述されたアクションを実行するアクターのピクセルマスクを予測することを目的としています。 本研究では,ビデオクリップ上に3次元時間エンコーダを内蔵した空間時空間エンコーダ・デコーダフレームワークと,対象フレーム上に2次元空間エンコーダを組み込んで,クエリアクターを正確にセグメント化することを提案する。
  論文  参考訳（メタデータ） (2021-05-14T13:27:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。