論文の概要: Zero-Gated Language-conditioned Human Motion Prediction

• arxiv url: http://arxiv.org/abs/2606.29208v1
• Date: Sun, 28 Jun 2026 05:20:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.832331
• Title: Zero-Gated Language-conditioned Human Motion Prediction
• Title（参考訳）: ゼロゲート言語による人間の動作予測
• Abstract要約: 本稿では,観察された動きのキャプションをセマンティクスとして用いる軽量言語条件予測器ZGLを紹介する。 観察されたポーズのみをレンダリングし、視覚言語モデルで一文記述を生成し、凍結したCLIP-Lテキストタワーでキャプションをエンコードし、それを条件付きトークンの小さなセットに投影する。 CMUMocapの結果は、コンパクトなキャプション条件付けが第2のベンチマークに転送され、人間の3次元動作予測のための実用的なセマンティックキューを提供することを示している。
• 参考スコア（独自算出の注目度）: 31.41301778393908
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pose histories provide the core kinematic evidence for 3D human motion prediction, but they lack explicit high-level semantic guidance. This paper introduces ZGL, a lightweight language-conditioned predictor that uses captions of the observed motion as a semantic prior while preserving a strong motion backbone as the main source of dynamics. We render only the observed poses, generate a one-sentence description with a vision-language model, encode the caption with a frozen CLIP-L text tower, and project it into a small set of conditioning tokens. These tokens are injected into a DCT-based spatial-temporal Transformer by compact crossattention adapters with zero gates: each adapter output is multiplied by a learnable gate initialized to zero, so the full network is numerically identical to the pose-only baseline at initialization and can learn to use language only when it reduces prediction error. On Human3.6M, ZGL improves overall MPJPE over representative motion-prediction baselines in our comparison. Results on CMUMocap further show that compact caption conditioning transfers to a second benchmark and provides a practical semantic cue for 3D human motion prediction.
• Abstract（参考訳）: 詩の歴史は、人間の3次元動作予測のコアキネマティックな証拠を提供するが、それらは明らかにハイレベルなセマンティックガイダンスを欠いている。 本稿では,観測された動きのキャプションをセマンティクスとして用いた軽量な言語条件付き予測器であるZGLについて紹介する。 観察されたポーズのみをレンダリングし、視覚言語モデルで一文記述を生成し、凍結したCLIP-Lテキストタワーでキャプションをエンコードし、それを条件付きトークンの小さなセットに投影する。 これらのトークンは、ゼロゲートを持つコンパクトなクロスアテンションアダプタによってDCTベースの時空間変換器に注入される:各アダプタ出力は、0に初期化された学習可能なゲートによって乗算されるので、全ネットワークは初期化時にポーズのみのベースラインと数値的に同一であり、予測エラーを減らす場合にのみ言語の使用を学ぶことができる。 Human3.6Mでは、ZGLは、我々の比較において代表的な動作予測ベースラインよりも全体的なMPJPEを改善している。 CMUMocapの結果は、コンパクトなキャプション条件付けが第2のベンチマークに転送され、人間の3次元動作予測のための実用的なセマンティックキューを提供することを示している。

関連論文リスト

• MUGEN: A Unified Framework for Efficient Motion Understanding and Generation [17.452895169020817]
  コストがかからない一貫した動き言語フレームワークを提案する。 単一の適応長オートエンコーダは、任意の長さの運動をいくつかの連続した潜在スロットに圧縮する。 MUGENは、HumanML3D上のFIDに基づく言語モデルベースラインを導き、リアルモーション参照よりも精度の高い検索を行う。
  論文  参考訳（メタデータ） (2026-07-30T01:55:51Z)
• Ego-Human Motion Prediction with 3D-Aware LLM [51.5064259568401]
  Ego3DLMは、人間の動きを自我中心の視点から予測するツールである。 過去のポーズ、未来のポーズ、過去のナレーション、将来のナレーションを1つの自己回帰パスでデコードする。 Ego3DLMは、将来の動き予測、過去の動きの追跡、動作記述にまたがる最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-07-08T04:51:24Z)
• Geometric Action Model for Robot Policy Learning [68.6657929619782]
  汎用ロボットポリシーは、オブジェクト、カメラ、ロボットアクションが3D物理世界でどのように相互作用するかを推論しながら、ユーザーの指示に従う必要がある。 最近の視覚言語行動モデル(VLA)とビデオ世界行動モデル(WAM)は、大規模基盤モデルから強い意味や時間的先行を継承する。 本稿では,言語条件の操作ポリシーであるGeometric Action Model (GAM)を提案する。
  論文  参考訳（メタデータ） (2026-06-15T17:58:03Z)
• MotionVLA: Vision-Language-Action Model for Humanoid Motion [54.785960777274276]
  動作をベースストリームと物理ストリームに分離するデュアルストリーム周波数トークンであるDSFTを提案する。 また、ベースおよび物理トークンを統一シーケンスに配置するQwen3.5ベースのモデルであるMotionVLAを提案する。
  論文  参考訳（メタデータ） (2026-06-13T06:10:48Z)
• VEGA: Visual Encoder Grounding Alignment for Spatially-Aware Vision-Language-Action Models [55.12929235609365]
  現在の視覚言語アクション(VLA)モデルの視覚バックボーンは、主に3次元幾何学的監督を伴わない2次元画像データに事前訓練されている。 既存の暗黙の接地法は、VLA特徴を3D認識基盤モデルと整合させることによって、この問題に部分的に対処する。 DINOv2-FiT3D の空間認識機能と VLA の視覚エンコーダの出力を直接一致させるフレームワーク VEGA を提案する。
  論文  参考訳（メタデータ） (2026-05-11T12:44:26Z)
• SignSparK: Efficient Multilingual Sign Language Production via Sparse Keyframe Learning [54.232148007248874]
  現在の手話生産(SLP)フレームワークは、まさにトレードオフに直面している。 本研究では,スペースを利用した新たなトレーニングパラダイムを提案し,人間の署名の真の基盤となる分布を捉える。 これらの離散的なアンカーから高密度な動きを予測することにより、流体の調音を確実にしながら、回帰から平均への移動を緩和する。
  論文  参考訳（メタデータ） (2026-03-11T06:02:36Z)
• ManiTrend: Bridging Future Generation and Action Prediction with 3D Flow for Robotic Manipulation [11.233768932957771]
  3次元流れは、シーン内の3次元粒子の動きの傾向を表す。 ManiTrendは3D粒子、視覚観察、操作動作のダイナミクスをモデル化する統合フレームワークである。 提案手法は最先端の性能を高い効率で達成する。
  論文  参考訳（メタデータ） (2025-02-14T09:13:57Z)
• Language Driven Occupancy Prediction [13.35971455725581]
  オープン語彙占有予測のための効果的で一般化可能なフレームワークであるLOccを紹介する。 私たちのパイプラインは、画像の貴重な意味情報を掘り下げ、画像からテキストラベルをLiDARポイントクラウドに、最終的にはボクセルに転送する、実現可能な方法を提供します。 教師付き占有モデルの当初の予測ヘッドを二進的占有状態のための幾何学ヘッドと言語特徴のための言語ヘッドに置き換えることで、LOccは生成された言語基底真実を効果的に利用して、3D言語ボリュームの学習をガイドする。
  論文  参考訳（メタデータ） (2024-11-25T03:47:10Z)
• ALOcc: Adaptive Lifting-Based 3D Semantic Occupancy and Cost Volume-Based Flow Predictions [91.55655961014027]
  シーン理解には3次元セマンティック占有とフロー予測が不可欠である。 本稿では,3つの改善点を目標とした視覚ベースのフレームワークを提案する。 我々の純粋な畳み込みアーキテクチャは、セマンティック占有率とジョイントセマンティックフロー予測の両方のために、複数のベンチマーク上で新しいSOTA性能を確立する。
  論文  参考訳（メタデータ） (2024-11-12T11:32:56Z)
• MLP: Motion Label Prior for Temporal Sentence Localization in Untrimmed 3D Human Motions [20.986063755422173]
  本研究の目的は,テキストクエリに対応する3次元人間の動作から目標モーメントを見つけることである。 これを改善するために,2つの新しいラベル事前知識学習手法を考案した。 ラベル優先知識をモデルに注入することは,高いIoUでの性能向上に不可欠であることを示す。
  論文  参考訳（メタデータ） (2024-04-21T13:25:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。