論文の概要: CapeLLM: Support-Free Category-Agnostic Pose Estimation with Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2411.06869v1
• Date: Mon, 11 Nov 2024 11:08:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 17:07:46.435088
• Title: CapeLLM: Support-Free Category-Agnostic Pose Estimation with Multimodal Large Language Models
• Title（参考訳）: CapeLLM: マルチモーダル大言語モデルによるサポートフリーカテゴリー非依存ポス推定
• Authors: Junho Kim, Hyungjin Chung, Byung-Hoon Kim,
• Abstract要約: カテゴリーに依存しないポーズ推定(CAPE)は、伝統的に注釈付きキーポイントを持つサポートイメージに依存してきた。 最近の取り組みでは、キーポイントのサポートの必要性を排除したテキストベースのクエリの使用を模索している。 本稿では,CAPEのためのテキストベースマルチモーダル大言語モデル(MLLM)を活用した新しいアプローチであるCapeLLMを紹介する。
• 参考スコア（独自算出の注目度）: 18.121331575626023
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Category-agnostic pose estimation (CAPE) has traditionally relied on support images with annotated keypoints, a process that is often cumbersome and may fail to fully capture the necessary correspondences across diverse object categories. Recent efforts have begun exploring the use of text-based queries, where the need for support keypoints is eliminated. However, the optimal use of textual descriptions for keypoints remains an underexplored area. In this work, we introduce CapeLLM, a novel approach that leverages a text-based multimodal large language model (MLLM) for CAPE. Our method only employs query image and detailed text descriptions as an input to estimate category-agnostic keypoints. We conduct extensive experiments to systematically explore the design space of LLM-based CAPE, investigating factors such as choosing the optimal description for keypoints, neural network architectures, and training strategies. Thanks to the advanced reasoning capabilities of the pre-trained MLLM, CapeLLM demonstrates superior generalization and robust performance. Our approach sets a new state-of-the-art on the MP-100 benchmark in the challenging 1-shot setting, marking a significant advancement in the field of category-agnostic pose estimation.
• Abstract（参考訳）: カテゴリーに依存しないポーズ推定(CAPE)は伝統的に、注釈付きキーポイントを持つサポートイメージに依存してきた。 最近の取り組みでは、キーポイントのサポートの必要性を排除したテキストベースのクエリの使用を模索している。 しかし、キーポイントに対するテキスト記述の最適利用は未探索領域のままである。 本稿では,CAPEのためのテキストベースマルチモーダル大言語モデル(MLLM)を活用した新しいアプローチであるCapeLLMを紹介する。 本手法では,カテゴリに依存しないキーポイントを推定するための入力として,クエリ画像と詳細なテキスト記述のみを用いる。 我々は、LLMベースのCAPEの設計空間を体系的に探索する広範な実験を行い、キーポイントの最適記述の選択、ニューラルネットワークアーキテクチャ、トレーニング戦略などの要因を調査した。 事前訓練されたMLLMの高度な推論能力により、CapeLLMはより優れた一般化と堅牢な性能を示す。 提案手法は,MP-100ベンチマークにおいて,カテゴリーに依存しないポーズ推定の分野において,重要な進歩を示す1ショット設定において,新たな最先端性を実現する。

関連論文リスト

• Reasoning-Enhanced Domain-Adaptive Pretraining of Multimodal Large Language Models for Short Video Content Governance [34.134289344567705]
  本稿では,不適切なコンテンツ検出を統一するためのMLLM事前学習パラダイムを提案する。 短いビデオコンテンツとMLLMのオリジナル事前学習データとの分配ギャップに対処するために,3つの目標事前学習タスクを導入する。 実験結果から,ゼロショットおよび教師付き微調整環境におけるMLLMの性能は,事前学習により有意に向上することが示された。
  論文  参考訳（メタデータ） (2025-09-25T19:46:34Z)
• SoK: Large Language Model Copyright Auditing via Fingerprinting [69.14570598973195]
  既存の手法をホワイトボックスとブラックボックスのアプローチに分類する統一的な枠組みと形式的な分類法を導入する。 現実的な展開シナリオ下でのLDMフィンガープリント評価のための最初の体系的ベンチマークであるLeaFBenchを提案する。
  論文  参考訳（メタデータ） (2025-08-27T12:56:57Z)
• Quantization Meets dLLMs: A Systematic Study of Post-training Quantization for Diffusion LLMs [78.09559830840595]
  本稿では拡散に基づく言語モデルの定量化に関する最初の体系的研究について述べる。 異常に大きなアクティベーション値によって特徴付けられるアクティベーションアウトリーチの存在を同定する。 我々は最先端のPTQ手法を実装し、包括的な評価を行う。
  論文  参考訳（メタデータ） (2025-08-20T17:59:51Z)
• Discrete Tokenization for Multimodal LLMs: A Comprehensive Survey [69.45421620616486]
  本研究は、大規模言語モデル(LLM)用に設計された離散トークン化手法の最初の構造的分類と解析である。 古典的および近代的なパラダイムにまたがる8つの代表的なVQ変種を分類し、アルゴリズムの原理を分析し、力学を訓練し、LLMパイプラインとの統合に挑戦する。 コードブックの崩壊、不安定な勾配推定、モダリティ固有の符号化制約など、重要な課題を特定する。
  論文  参考訳（メタデータ） (2025-07-21T10:52:14Z)
• CSE-SFP: Enabling Unsupervised Sentence Representation Learning via a Single Forward Pass [3.0566617373924325]
  プレトレーニング言語モデル(PLM)の最近の進歩は、この分野において顕著な進歩をもたらした。 CSE-SFPは,生成モデルの構造的特徴を利用する革新的な手法である。 CSE-SFPは高品質な埋め込みを実現するだけでなく、トレーニング時間とメモリ消費を著しく削減する。
  論文  参考訳（メタデータ） (2025-05-01T08:27:14Z)
• QLLM: Do We Really Need a Mixing Network for Credit Assignment in Multi-Agent Reinforcement Learning? [6.0636611835869205]
  マルチエージェント強化学習(MARL)におけるクレジットの割り当ては依然として根本的な課題である。 大規模言語モデル(LLM)を用いた信用代入関数の自動構築を容易にする新しいアルゴリズムである textbfQLLM を提案する。 いくつかの標準MARLベンチマークで実施された大規模な実験は、提案手法が既存の最先端のベースラインを一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2025-04-17T14:07:11Z)
• Dancing with Critiques: Enhancing LLM Reasoning with Stepwise Natural Language Self-Critique [66.94905631175209]
  我々は、段階的に自然言語の自己批判(PANEL)を行う新しい推論時間スケーリング手法を提案する。 ステップレベルの探索プロセスのガイドとして、自己生成の自然言語批判をフィードバックとして採用している。 このアプローチは、タスク固有の検証と関連するトレーニングオーバーヘッドの必要性を回避します。
  論文  参考訳（メタデータ） (2025-03-21T17:59:55Z)
• VOILA: Evaluation of MLLMs For Perceptual Understanding and Analogical Reasoning [63.0285363282581]
  MLLM(Multimodal Large Language Models)は、視覚情報とテキスト情報を統合するための強力なツールとなっている。 本稿では,MLLMの知覚的理解と抽象的関係推論を評価するためのベンチマークVOILAを紹介する。 我々は,現在のMLLMが画像間関係の理解に苦慮し,高レベルの関係推論において限られた能力を示すことを明らかにした。
  論文  参考訳（メタデータ） (2025-02-25T23:36:19Z)
• NormXLogit: The Head-on-Top Never Lies [15.215985417763472]
  本稿では,個々の入力トークンの意義を評価するための新しい手法を提案する。 この方法は各トークンに関連付けられた入力および出力表現に基づいて動作する。 我々は、トークンの重要性と、その表現がモデルの最終的な予測に類似できる範囲との間に有意な関係を明らかにする。
  論文  参考訳（メタデータ） (2024-11-25T10:12:27Z)
• KptLLM: Unveiling the Power of Large Language Model for Keypoint Comprehension [31.283133365170052]
  さまざまなタスクシナリオでキーポイントを理解することを目的としたセマンティック・キーポイントを紹介します。 また,KptLLMは,識別・検出戦略を利用する統一型マルチモーダルモデルである。 KptLLMは様々なモダリティ入力を順応的に処理し、意味内容とキーポイント位置の両方の解釈を容易にする。
  論文  参考訳（メタデータ） (2024-11-04T06:42:24Z)
• A Survey of Small Language Models [104.80308007044634]
  小言語モデル (SLM) は, 計算資源の最小化による言語タスクの効率化と性能の向上により, ますます重要になってきている。 本稿では,SLMのアーキテクチャ,トレーニング技術,モデル圧縮技術に着目した総合的な調査を行う。
  論文  参考訳（メタデータ） (2024-10-25T23:52:28Z)
• SCAPE: A Simple and Strong Category-Agnostic Pose Estimator [6.705257644513057]
  Category-Agnostic Pose Estimation (CAPE) は、任意のカテゴリのオブジェクトにキーポイントをローカライズすることを目的としている。 本稿では,グローバルな意味情報をキーポイントに注入するグローバルなキーポイント機能パーセプタと,キーポイント間のノード間相関を強化するキーポイントアテンションリファクタという2つのキーモジュールを紹介する。 SCAPEは1ショットと5ショット設定で2.2と1.3PCKで先行技術より優れ、推論速度が速く、モデルキャパシティも軽い。
  論文  参考訳（メタデータ） (2024-07-18T13:02:57Z)
• Beyond Mask: Rethinking Guidance Types in Few-shot Segmentation [67.35274834837064]
  我々は、テキスト、マスク、ボックス、画像からのプロンプトを統合するユニバーサルビジョン言語フレームワーク(UniFSS)を開発した。 UniFSSは最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2024-07-16T08:41:01Z)
• IDEAL: Leveraging Infinite and Dynamic Characterizations of Large Language Models for Query-focused Summarization [59.06663981902496]
  クエリ中心の要約(QFS)は、特定の関心事に答え、より優れたユーザ制御とパーソナライゼーションを可能にする要約を作成することを目的としている。 本稿では,LLMを用いたQFSモデル,Longthy Document Summarization,およびクエリ-LLMアライメントの2つの重要な特徴について検討する。 これらのイノベーションは、QFS技術分野における幅広い応用とアクセシビリティの道を開いた。
  論文  参考訳（メタデータ） (2024-07-15T07:14:56Z)
• Meta-Point Learning and Refining for Category-Agnostic Pose Estimation [46.98479393474727]
  Category-Agnostic pose Estimation (CAPE) は、キーポイントを付加したいくつかのサポートイメージが与えられた場合、任意のクラスのキーポイントを予測することを目的としている。 このような潜在的なキーポイント(メタポイント)に基づくCAPEのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-20T14:54:33Z)
• Few-shot Action Recognition with Captioning Foundation Models [61.40271046233581]
  CapFSARは、テキストを手動でアノテートすることなく、マルチモーダルモデルの知識を利用するフレームワークである。 Transformerをベースとしたビジュアルテキストアグリゲーションモジュールはさらに、モーダル時間間の補完情報を組み込むように設計されている。 複数の標準的な数ショットベンチマークの実験では、提案したCapFSARが既存の手法に対して好適に動作することを示した。
  論文  参考訳（メタデータ） (2023-10-16T07:08:39Z)
• Open-Vocabulary Animal Keypoint Detection with Semantic-feature Matching [74.75284453828017]
  Open-Vocabulary Keypoint Detection (OVKD)タスクは、任意の種類のキーポイントを特定するためにテキストプロンプトを使用するように設計されている。 セマンティック・フェールマッチング(KDSM)を用いた開語彙キーポイント検出(Open-Vocabulary Keypoint Detection)という新しいフレームワークを開発した。 このフレームワークは視覚と言語モデルを組み合わせて、言語機能とローカルキーポイント視覚機能との相互作用を作成する。
  論文  参考訳（メタデータ） (2023-10-08T07:42:41Z)
• LPN: Language-guided Prototypical Network for few-shot classification [16.37959398470535]
  ラベル付き例を限定して、新しいタスクに適応することを目的としている。 近年の手法では,クエリとサポート画像の類似性の適切な測定方法が検討されている。 本稿では,言語誘導型プロトタイプネットワーク(LPN)を提案する。
  論文  参考訳（メタデータ） (2023-07-04T06:54:01Z)
• Activating the Discriminability of Novel Classes for Few-shot Segmentation [48.542627940781095]
  本稿では,特徴符号化段階とセグメンテーションの予測段階の両方において,新規クラスの識別可能性を明示的に活性化することを提案する。 セグメンテーションの予測段階では、クエリ画像の高信頼画素を用いて自分自身を洗練できる自己修正オンラインフォアグラウンド分類器(SROFB)を学習する。
  論文  参考訳（メタデータ） (2022-12-02T12:22:36Z)
• Prior Guided Feature Enrichment Network for Few-Shot Segmentation [64.91560451900125]
  最先端のセマンティックセグメンテーション手法は、良い結果を得るために十分なラベル付きデータを必要とする。 少数のラベル付きサポートサンプルを持つ新しいクラスに迅速に適応するモデルを学習することで,この問題に対処するためのショットセグメンテーションが提案されている。 これらのフレームワークは、高レベルのセマンティック情報の不適切な使用により、目に見えないクラスにおける一般化能力の低下という課題に直面している。
  論文  参考訳（メタデータ） (2020-08-04T10:41:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。