論文の概要: Training-Free Dense Hand Contact Estimation with Multi-Modal Large Language Models

• arxiv url: http://arxiv.org/abs/2605.05886v1
• Date: Thu, 07 May 2026 08:57:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.643858
• Title: Training-Free Dense Hand Contact Estimation with Multi-Modal Large Language Models
• Title（参考訳）: マルチモーダル大言語モデルを用いた学習自由度ハンドコンタクト推定
• Authors: Daniel Sungho Jung, Kyoung Mu Lee,
• Abstract要約: 難易度接触推定には高レベルの意味理解と微粒な幾何学的推論が必要である。 本研究では,MLLMを用いた高密度手接触推定のためのトレーニングフリーでゼロショットアプローチであるContactPromptを提案する。 本手法は, 高精度な手接触推定を実現しつつ, MLLMの推論能力を効果的に活用する。
• 参考スコア（独自算出の注目度）: 55.03114420454759
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Dense hand contact estimation requires both high-level semantic understanding and fine-grained geometric reasoning of human interaction to accurately localize contact regions. Recently, multi-modal large language models (MLLMs) have demonstrated strong capabilities in understanding visual semantics, enabled by vision-language priors learned from large-scale data. However, leveraging MLLMs for dense hand contact estimation remains underexplored. There are two major challenges in applying MLLMs to dense hand contact estimation. First, encoding explicit 3D hand geometry is difficult, as MLLMs primarily operate on vision and language modalities. Second, capturing fine-grained vertex-level contact remains challenging, as MLLMs tend to focus on high-level semantics rather than detailed geometric reasoning. To address these challenges, we propose ContactPrompt, a training-free and zero-shot approach for dense hand contact estimation using MLLMs. To effectively encode 3D hand geometry, we introduce a detailed hand-part segmentation and a part-wise vertex-grid representation that provides structured, localized geometric information. To enable accurate and efficient dense contact prediction, we develop a multi-stage structured contact reasoning with part conditioning, progressively bridging global semantics and fine-grained geometry. Therefore, our method effectively leverages the reasoning capabilities of MLLMs while enabling precise dense hand contact estimation. Surprisingly, the proposed approach outperforms previous supervised methods trained on large-scale dense contact datasets without requiring any training. The codes will be released.
• Abstract（参考訳）: 複雑な接触推定には、接触領域を正確に特定するために、高レベルの意味理解と人間の相互作用のきめ細かい幾何学的推論の両方が必要である。 近年,Multi-modal large language model (MLLM) は視覚的意味論の理解において強力な能力を示し,大規模データから学習した視覚言語による先行学習によって実現されている。 しかし, MLLMを高密度手指接触推定に活用することは, いまだに未検討である。 MLLMを密接な接触推定に適用するには2つの大きな課題がある。 まず、MLLMが主に視覚と言語モダリティを扱うため、明示的な3Dハンドジオメトリの符号化は困難である。 第二に、MLLMは詳細な幾何学的推論よりも高レベルの意味論にフォーカスする傾向があるため、微細な頂点レベルの接触を捉えることは依然として困難である。 これらの課題に対処するために,MLLMを用いた高密度手接触推定のためのトレーニングフリーでゼロショットアプローチであるContactPromptを提案する。 3Dハンドジオメトリを効果的にエンコードするために、構造化された局所化幾何情報を提供する詳細ハンドパートセグメンテーションとパートワイド頂点グリッド表現を導入する。 高精度かつ効率的な密接予測を実現するため, 部分条件付き多段階構造接触推論, グローバルセマンティクスの段階的ブリッジング, 微粒化幾何を開発した。 そこで本手法は, 高精度な手接触推定を実現しつつ, MLLMの推論能力を効果的に活用する。 驚くべきことに、提案手法は、トレーニングを必要とせず、大規模に密接な接触データセットでトレーニングされた従来の教師付き手法よりも優れている。 コードはリリースされます。

関連論文リスト

• GAP-MLLM: Geometry-Aligned Pre-training for Activating 3D Spatial Perception in Multimodal Large Language Models [70.61152292499737]
  このギャップは、幾何学的事前の不足から生じるものではなく、訓練パラダイムの誤った調整から生じるものである、と我々は主張する。 既存のアプローチでは、通常、特徴の結合を示唆し、幾何学的な監督なしに下流のタスクを直接最適化する。 本稿では,下流適応前の構造知覚を明示的に活性化する幾何学的事前学習パラダイムであるGAP-MLLMを提案する。
  論文  参考訳（メタデータ） (2026-03-17T12:43:48Z)
• ORIGAMISPACE: Benchmarking Multimodal LLMs in Multi-Step Spatial Reasoning with Mathematical Constraints [42.713620384054146]
  本稿では,多段階空間推論能力の評価を目的とした新しいデータセットとベンチマークであるORIGAMISPACEを紹介する。 パターン予測,多段階空間推論,空間関係予測,終端CPコード生成という4つの評価課題を提案する。
  論文  参考訳（メタデータ） (2025-11-23T13:42:22Z)
• AffordBot: 3D Fine-grained Embodied Reasoning via Multimodal Large Language Models [20.05010202296243]
  エージェントが3Dシーンの各参照余剰要素、その位置、動きタイプ、動き軸について予測する必要がある。 本稿では,MLLM(Multimodal Large Language Models)とCoT(Chere-of-Thought)推論パラダイムを統合した新しいフレームワークであるAffordBotを提案する。 AffordBotは最先端のパフォーマンスを実現し、3Dポイントのクラウド入力とMLLMだけで強力な一般化と物理的根拠を持つ推論を実証する。
  論文  参考訳（メタデータ） (2025-11-13T06:43:00Z)
• Actial: Activate Spatial Reasoning Ability of Multimodal Large Language Models [75.45940282834327]
  本稿では,MLLMの空間的推論能力の評価と改善を目的とした視点学習を紹介する。 多様な視点とそれに対応する質問応答対を持つ100Kオブジェクト中心のイメージペアからなるViewpoint-100Kデータセットを提案する。 このアプローチでは2段階の微調整戦略を採用し,複数のタスクにまたがる大幅な改善を実現している。
  論文  参考訳（メタデータ） (2025-11-03T14:27:00Z)
• Point Linguist Model: Segment Any Object via Bridged Large 3D-Language Model [51.02616473941499]
  大規模言語モデル(LLM)による3Dオブジェクトのセグメンテーションは、その広範囲なセマンティクス、タスクの柔軟性、強力な一般化により、広く普及しているパラダイムとなっている。 LLMは高レベルなセマンティックトークンを処理し、3次元の点雲は密度の高い幾何学的構造のみを伝達する。 本稿では,LLMと高密度3次元点雲の間の表現ギャップを橋渡しする一般フレームワークであるポイント言語モデル(PLM)を提案する。
  論文  参考訳（メタデータ） (2025-09-09T15:01:28Z)
• S$^2$Contact: Graph-based Network for 3D Hand-Object Contact Estimation with Semi-Supervised Learning [70.72037296392642]
  モノクロ画像から接触を学習できる新しい半教師付きフレームワークを提案する。 具体的には、大規模データセットにおける視覚的および幾何学的整合性制約を利用して擬似ラベルを生成する。 より正確な再構築を行うために手動インタラクションを規定するコンタクトマップを使用することの利点を示す。
  論文  参考訳（メタデータ） (2022-08-01T14:05:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。