論文の概要: Pose-RFT: Enhancing MLLMs for 3D Pose Generation via Hybrid Action Reinforcement Fine-Tuning

• arxiv url: http://arxiv.org/abs/2508.07804v1
• Date: Mon, 11 Aug 2025 09:44:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:29.031938
• Title: Pose-RFT: Enhancing MLLMs for 3D Pose Generation via Hybrid Action Reinforcement Fine-Tuning
• Title（参考訳）: Pose-RFT:ハイブリッドアクション強化ファインチューニングによる3次元ポーズ生成のためのMLLMの強化
• Abstract要約: Pose-RFTはMLLMの3次元ポーズ生成に適した強化微調整フレームワークである。 本稿では,HyGRPOを提案する。HyGRPOは,サンプル応答に対してグループワイド報酬正規化を行うハイブリッド強化学習アルゴリズムである。 複数のポーズ生成ベンチマークの実験により、Pose-RFTは既存のポーズ固有のMLLMよりも性能を大幅に向上することが示された。
• 参考スコア（独自算出の注目度）: 36.35364256178837
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generating 3D human poses from multimodal inputs such as images or text requires models to capture both rich spatial and semantic correspondences. While pose-specific multimodal large language models (MLLMs) have shown promise in this task, they are typically trained with supervised objectives such as SMPL parameter regression or token-level prediction, which struggle to model the inherent ambiguity and achieve task-specific alignment required for accurate 3D pose generation. To address these limitations, we propose Pose-RFT, a reinforcement fine-tuning framework tailored for 3D human pose generation in MLLMs. We formulate the task as a hybrid action reinforcement learning problem that jointly optimizes discrete language prediction and continuous pose generation. To this end, we introduce HyGRPO, a hybrid reinforcement learning algorithm that performs group-wise reward normalization over sampled responses to guide joint optimization of discrete and continuous actions. Pose-RFT further incorporates task-specific reward functions to guide optimization towards spatial alignment in image-to-pose generation and semantic consistency in text-to-pose generation. Extensive experiments on multiple pose generation benchmarks demonstrate that Pose-RFT significantly improves performance over existing pose-specific MLLMs, validating the effectiveness of hybrid action reinforcement fine-tuning for 3D pose generation.
• Abstract（参考訳）: 画像やテキストなどのマルチモーダル入力から3次元の人間のポーズを生成するには、豊かな空間的および意味的対応の両方をキャプチャするモデルが必要である。 ポーズ特化多モーダル大言語モデル(MLLM)はこのタスクにおいて有望であることを示しているが、通常はSMPLパラメータ回帰やトークンレベルの予測のような教師付き目的で訓練されており、それは固有の曖昧さをモデル化し、正確な3Dポーズ生成に必要なタスク特化アライメントを達成するのに苦労している。 MLLMにおける3次元ポーズ生成に適した強化微調整フレームワークであるPose-RFTを提案する。 離散言語予測と連続ポーズ生成を協調的に最適化するハイブリッドアクション強化学習問題としてタスクを定式化する。 この目的のためにHyGRPOというハイブリッド強化学習アルゴリズムを導入し、サンプル応答に対するグループワイド報酬正規化を行い、離散的かつ連続的な動作の協調最適化を導出する。 Pose-RFTはさらにタスク固有の報酬関数を導入し、画像から目的までの空間的アライメントとテキストから目的までのセマンティック一貫性を導く。 複数のポーズ生成ベンチマークにおいて、Pose-RFTは既存のポーズ特異的MLLMよりも性能を著しく向上し、3次元ポーズ生成のためのハイブリッドアクション強化微調整の有効性が検証された。

関連論文リスト

• TrioPose: Native Triple-Stream Diffusion Transformers for Pose-Guided Text-to-Image Generation [1.709500663078044]
  TrioはSD3.5Mアーキテクチャ上に構築されたポーズ駆動フレームワークである。 Human-Art、CrowdPose、OCHumanなど、挑戦的なベンチマークで最先端のパフォーマンスを実現している。 人文芸術のAPは6,4.33ドルに達し、それまでの芸術よりも30%値上がりしている。
  論文  参考訳（メタデータ） (2026-06-05T08:54:28Z)
• SpatialFusion: Endowing Unified Image Generation with Intrinsic 3D Geometric Awareness [62.38746300197673]
  本稿では、3次元幾何学的認識を統合画像生成モデルに内包する新しいフレームワークを提案する。 具体的には、まずMixture-of-Transformers (MoT)アーキテクチャを用いて、MLLMを並列空間変換器で拡張する。 自己注意をMLLMと共有することにより、空間変換器は、リッチなセマンティックコンテキストからターゲット画像の計量深度マップを導出することを学ぶ。 これらの明示的な幾何学的足場は、特殊深度アダプターを介して拡散バックボーンに注入される。
  論文  参考訳（メタデータ） (2026-04-29T06:46:59Z)
• GAP-MLLM: Geometry-Aligned Pre-training for Activating 3D Spatial Perception in Multimodal Large Language Models [70.61152292499737]
  このギャップは、幾何学的事前の不足から生じるものではなく、訓練パラダイムの誤った調整から生じるものである、と我々は主張する。 既存のアプローチでは、通常、特徴の結合を示唆し、幾何学的な監督なしに下流のタスクを直接最適化する。 本稿では,下流適応前の構造知覚を明示的に活性化する幾何学的事前学習パラダイムであるGAP-MLLMを提案する。
  論文  参考訳（メタデータ） (2026-03-17T12:43:48Z)
• Zero-Shot Robotic Manipulation via 3D Gaussian Splatting-Enhanced Multimodal Retrieval-Augmented Generation [24.066642344610873]
  既存のエンドツーエンドのロボット操作アプローチでは、限られたデータと弱い解釈性のために、見えないオブジェクトやタスクへの一般化が欠如していることが多い。 ゼロショットロボット操作のための3次元ガウス型マルチモーダル検索生成フレームワークRobMRAGを提案する。 提案手法は, 最高性能のゼロショットベースラインと比較して7.76%, 最先端の教師付きベースラインに比べて6.54%向上する。
  論文  参考訳（メタデータ） (2026-02-28T06:48:05Z)
• TIGaussian: Disentangle Gaussians for Spatial-Awared Text-Image-3D Alignment [58.46706158310462]
  TIGaussian は 3D Gaussian Splatting (3DGS) 特性を利用して、相互モダリティアライメントを強化する。 我々のマルチブランチ3DGSトークン化器は、3DGS構造の固有の性質をコンパクトな潜在表現に分解する。 テキスト3D投影モジュールは、テキスト3Dアライメントを改善するために、3D機能をテキスト埋め込みスペースに適応的にマッピングする。
  論文  参考訳（メタデータ） (2026-01-27T06:30:32Z)
• MoRE: 3D Visual Geometry Reconstruction Meets Mixture-of-Experts [50.37005070020306]
  MoREは、Mixture-of-Experts (MoE)アーキテクチャに基づいた、密集した3Dビジュアル基盤モデルである。 MoREは、幾何推定を安定させ、洗練する信頼に基づく深度補正モジュールを組み込んでいる。 高忠実な表面正規予測のために,高密度なセマンティック特徴とグローバルな3Dバックボーン表現を統合する。
  論文  参考訳（メタデータ） (2025-10-31T06:54:27Z)
• Gesplat: Robust Pose-Free 3D Reconstruction via Geometry-Guided Gaussian Splatting [21.952325954391508]
  本稿では、3DGSベースのフレームワークであるGesplatを紹介し、ロバストな新しいビュー合成と、未提示のスパース画像からの幾何的に一貫した再構成を可能にする。 提案手法は,他のポーズフリー手法と比較して,前方および大規模の複雑なデータセット上でより堅牢な性能を実現する。
  論文  参考訳（メタデータ） (2025-10-11T08:13:46Z)
• SPFSplatV2: Efficient Self-Supervised Pose-Free 3D Gaussian Splatting from Sparse Views [18.814209805277503]
  スパース多視点画像から3次元ガウススプラッティングを行うための効率的なフィードフォワードフレームワークであるSPFSplatV2について述べる。 ドメイン内およびドメイン外の新規ビュー合成において、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-09-21T21:37:56Z)
• SeqAffordSplat: Scene-level Sequential Affordance Reasoning on 3D Gaussian Splatting [85.87902260102652]
  本稿では, 連続3次元ガウシアン・アフラマンス推論の課題について紹介する。 次に,SeqSplatNetを提案する。SqSplatNetは,命令を直接3Dアベイランスマスクのシーケンスにマッピングするエンドツーエンドフレームワークである。 本手法は,1段階のインタラクションから,シーンレベルでの複雑なシーケンシャルなタスクへの可利用性推論を効果的に向上させる。
  論文  参考訳（メタデータ） (2025-07-31T17:56:55Z)
• CoherenDream: Boosting Holistic Text Coherence in 3D Generation via Multimodal Large Language Models Feedback [40.163073128022944]
  テキストコヒーレントスコア蒸留(TCSD)は多モード大言語モデル(MLLM)からのアライメントフィードバックを統合する 3DLLaVA-CRITIC(3DLLaVA-CRITIC)は、3次元世代におけるマルチビューテキストアライメントを評価するための微調整MLLMである。 CoherenDreamは、複数のベンチマークでテキスト整列した3D生成における最先端のパフォーマンスを確立する。
  論文  参考訳（メタデータ） (2025-04-28T14:50:45Z)
• SIGMAN:Scaling 3D Human Gaussian Generation with Millions of Assets [72.26350984924129]
  本稿では,3次元デジタル化のための潜在空間生成パラダイムを提案する。 我々は,不適切な低次元から高次元のマッピング問題を学習可能な分布シフトに変換する。 我々は、HGS-1Mデータセットを構築するために、合成データと組み合わせた多視点最適化アプローチを採用する。
  論文  参考訳（メタデータ） (2025-04-09T15:38:18Z)
• StdGEN: Semantic-Decomposed 3D Character Generation from Single Images [28.302030751098354]
  StdGENは、単一の画像から意味的に高品質な3D文字を生成する革新的なパイプラインである。 3分で体、衣服、毛髪などの分離した意味成分を持つ複雑な3D文字を生成する。 StdGENは、使えるセマンティック分解された3D文字を提供し、幅広いアプリケーションに対して柔軟なカスタマイズを可能にする。
  論文  参考訳（メタデータ） (2024-11-08T17:54:18Z)
• AdaptivePose++: A Powerful Single-Stage Network for Multi-Person Pose Regression [66.39539141222524]
  そこで本研究では,ヒトの部位を適応点として表現し,微細な身体表現法を提案する。 提案するボディ表現では,AdaptivePoseと呼ばれる,コンパクトなシングルステージ多人数ポーズ回帰ネットワークを提供する。 本稿では,AdaptivePoseの有効性を検証するために,2D/3D多人数ポーズ推定タスクにAdaptivePoseを用いる。
  論文  参考訳（メタデータ） (2022-10-08T12:54:20Z)
• Distribution-Aware Single-Stage Models for Multi-Person 3D Pose Estimation [29.430404703883084]
  本稿では,多人数の3Dポーズ推定問題に対処する新しいDASモデルを提案する。 提案するDASモデルでは,3次元カメラ空間における人物位置と人体関節をワンパスで同時に位置決めする。 CMU Panoptic と MuPoTS-3D のベンチマークに関する総合的な実験は、提案したDASモデルの優れた効率を実証している。
  論文  参考訳（メタデータ） (2022-03-15T07:30:27Z)
• 3D Pose Estimation and Future Motion Prediction from 2D Images [26.28886209268217]
  本稿では,3次元人物のポーズを推定し,RGB画像列から将来の3次元動作を予測するという,高相関な課題に共同で取り組むことを検討する。 リー代数のポーズ表現に基づいて、人間の運動キネマティクスを自然に保存する新しい自己投射機構が提案されている。
  論文  参考訳（メタデータ） (2021-11-26T01:02:00Z)
• Direct Multi-view Multi-person 3D Pose Estimation [138.48139701871213]
  マルチビュー画像からマルチパーソン3Dポーズを推定するためのMulti-view Pose Transformer(MvP)を提案する。 MvPは、中間タスクに頼ることなく、複数の人物の3Dポーズを直接クリーンで効率的な方法で回帰する。 我々は,MvPモデルがより効率的でありながら,いくつかのベンチマークにおいて最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-07T13:09:20Z)
• PaMIR: Parametric Model-Conditioned Implicit Representation for Image-based Human Reconstruction [67.08350202974434]
  本研究では,パラメトリックボディモデルと自由形深部暗黙関数を組み合わせたパラメトリックモデル記述型暗黙表現(PaMIR)を提案する。 本手法は, 挑戦的なポーズや衣料品のタイプにおいて, 画像に基づく3次元再構築のための最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-07-08T02:26:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。