論文の概要: CapeLLM: Support-Free Category-Agnostic Pose Estimation with Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2411.06869v1
• Date: Mon, 11 Nov 2024 11:08:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:11:13.753640
• Title: CapeLLM: Support-Free Category-Agnostic Pose Estimation with Multimodal Large Language Models
• Title（参考訳）: CapeLLM: マルチモーダル大言語モデルによるサポートフリーカテゴリー非依存ポス推定
• Authors: Junho Kim, Hyungjin Chung, Byung-Hoon Kim,
• Abstract要約: カテゴリーに依存しないポーズ推定(CAPE)は、伝統的に注釈付きキーポイントを持つサポートイメージに依存してきた。 最近の取り組みでは、キーポイントのサポートの必要性を排除したテキストベースのクエリの使用を模索している。 本稿では,CAPEのためのテキストベースマルチモーダル大言語モデル(MLLM)を活用した新しいアプローチであるCapeLLMを紹介する。
• 参考スコア（独自算出の注目度）: 18.121331575626023
• License:
• Abstract: Category-agnostic pose estimation (CAPE) has traditionally relied on support images with annotated keypoints, a process that is often cumbersome and may fail to fully capture the necessary correspondences across diverse object categories. Recent efforts have begun exploring the use of text-based queries, where the need for support keypoints is eliminated. However, the optimal use of textual descriptions for keypoints remains an underexplored area. In this work, we introduce CapeLLM, a novel approach that leverages a text-based multimodal large language model (MLLM) for CAPE. Our method only employs query image and detailed text descriptions as an input to estimate category-agnostic keypoints. We conduct extensive experiments to systematically explore the design space of LLM-based CAPE, investigating factors such as choosing the optimal description for keypoints, neural network architectures, and training strategies. Thanks to the advanced reasoning capabilities of the pre-trained MLLM, CapeLLM demonstrates superior generalization and robust performance. Our approach sets a new state-of-the-art on the MP-100 benchmark in the challenging 1-shot setting, marking a significant advancement in the field of category-agnostic pose estimation.
• Abstract（参考訳）: カテゴリーに依存しないポーズ推定(CAPE)は伝統的に、注釈付きキーポイントを持つサポートイメージに依存してきた。 最近の取り組みでは、キーポイントのサポートの必要性を排除したテキストベースのクエリの使用を模索している。 しかし、キーポイントに対するテキスト記述の最適利用は未探索領域のままである。 本稿では,CAPEのためのテキストベースマルチモーダル大言語モデル(MLLM)を活用した新しいアプローチであるCapeLLMを紹介する。 本手法では,カテゴリに依存しないキーポイントを推定するための入力として,クエリ画像と詳細なテキスト記述のみを用いる。 我々は、LLMベースのCAPEの設計空間を体系的に探索する広範な実験を行い、キーポイントの最適記述の選択、ニューラルネットワークアーキテクチャ、トレーニング戦略などの要因を調査した。 事前訓練されたMLLMの高度な推論能力により、CapeLLMはより優れた一般化と堅牢な性能を示す。 提案手法は,MP-100ベンチマークにおいて,カテゴリーに依存しないポーズ推定の分野において,重要な進歩を示す1ショット設定において,新たな最先端性を実現する。

関連論文リスト

• KptLLM: Unveiling the Power of Large Language Model for Keypoint Comprehension [31.283133365170052]
  さまざまなタスクシナリオでキーポイントを理解することを目的としたセマンティック・キーポイントを紹介します。 また,KptLLMは,識別・検出戦略を利用する統一型マルチモーダルモデルである。 KptLLMは様々なモダリティ入力を順応的に処理し、意味内容とキーポイント位置の両方の解釈を容易にする。
  論文  参考訳（メタデータ） (2024-11-04T06:42:24Z)
• A Survey of Small Language Models [104.80308007044634]
  小言語モデル (SLM) は, 計算資源の最小化による言語タスクの効率化と性能の向上により, ますます重要になってきている。 本稿では,SLMのアーキテクチャ,トレーニング技術,モデル圧縮技術に着目した総合的な調査を行う。
  論文  参考訳（メタデータ） (2024-10-25T23:52:28Z)
• SCAPE: A Simple and Strong Category-Agnostic Pose Estimator [6.705257644513057]
  Category-Agnostic Pose Estimation (CAPE) は、任意のカテゴリのオブジェクトにキーポイントをローカライズすることを目的としている。 本稿では,グローバルな意味情報をキーポイントに注入するグローバルなキーポイント機能パーセプタと,キーポイント間のノード間相関を強化するキーポイントアテンションリファクタという2つのキーモジュールを紹介する。 SCAPEは1ショットと5ショット設定で2.2と1.3PCKで先行技術より優れ、推論速度が速く、モデルキャパシティも軽い。
  論文  参考訳（メタデータ） (2024-07-18T13:02:57Z)
• Beyond Mask: Rethinking Guidance Types in Few-shot Segmentation [67.35274834837064]
  我々は、テキスト、マスク、ボックス、画像からのプロンプトを統合するユニバーサルビジョン言語フレームワーク(UniFSS)を開発した。 UniFSSは最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2024-07-16T08:41:01Z)
• IDEAL: Leveraging Infinite and Dynamic Characterizations of Large Language Models for Query-focused Summarization [59.06663981902496]
  クエリ中心の要約(QFS)は、特定の関心事に答え、より優れたユーザ制御とパーソナライゼーションを可能にする要約を作成することを目的としている。 本稿では,LLMを用いたQFSモデル,Longthy Document Summarization,およびクエリ-LLMアライメントの2つの重要な特徴について検討する。 これらのイノベーションは、QFS技術分野における幅広い応用とアクセシビリティの道を開いた。
  論文  参考訳（メタデータ） (2024-07-15T07:14:56Z)
• Meta-Point Learning and Refining for Category-Agnostic Pose Estimation [46.98479393474727]
  Category-Agnostic pose Estimation (CAPE) は、キーポイントを付加したいくつかのサポートイメージが与えられた場合、任意のクラスのキーポイントを予測することを目的としている。 このような潜在的なキーポイント(メタポイント)に基づくCAPEのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-20T14:54:33Z)
• Few-shot Action Recognition with Captioning Foundation Models [61.40271046233581]
  CapFSARは、テキストを手動でアノテートすることなく、マルチモーダルモデルの知識を利用するフレームワークである。 Transformerをベースとしたビジュアルテキストアグリゲーションモジュールはさらに、モーダル時間間の補完情報を組み込むように設計されている。 複数の標準的な数ショットベンチマークの実験では、提案したCapFSARが既存の手法に対して好適に動作することを示した。
  論文  参考訳（メタデータ） (2023-10-16T07:08:39Z)
• Open-Vocabulary Animal Keypoint Detection with Semantic-feature Matching [74.75284453828017]
  Open-Vocabulary Keypoint Detection (OVKD)タスクは、任意の種類のキーポイントを特定するためにテキストプロンプトを使用するように設計されている。 セマンティック・フェールマッチング(KDSM)を用いた開語彙キーポイント検出(Open-Vocabulary Keypoint Detection)という新しいフレームワークを開発した。 このフレームワークは視覚と言語モデルを組み合わせて、言語機能とローカルキーポイント視覚機能との相互作用を作成する。
  論文  参考訳（メタデータ） (2023-10-08T07:42:41Z)
• LPN: Language-guided Prototypical Network for few-shot classification [16.37959398470535]
  ラベル付き例を限定して、新しいタスクに適応することを目的としている。 近年の手法では,クエリとサポート画像の類似性の適切な測定方法が検討されている。 本稿では,言語誘導型プロトタイプネットワーク(LPN)を提案する。
  論文  参考訳（メタデータ） (2023-07-04T06:54:01Z)
• Activating the Discriminability of Novel Classes for Few-shot Segmentation [48.542627940781095]
  本稿では,特徴符号化段階とセグメンテーションの予測段階の両方において,新規クラスの識別可能性を明示的に活性化することを提案する。 セグメンテーションの予測段階では、クエリ画像の高信頼画素を用いて自分自身を洗練できる自己修正オンラインフォアグラウンド分類器(SROFB)を学習する。
  論文  参考訳（メタデータ） (2022-12-02T12:22:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。