論文の概要: Keypoint-Integrated Instruction-Following Data Generation for Enhanced Human Pose and Action Understanding in Multimodal Models

• arxiv url: http://arxiv.org/abs/2409.09306v2
• Date: Mon, 02 Jun 2025 09:12:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-03 20:53:52.952292
• Title: Keypoint-Integrated Instruction-Following Data Generation for Enhanced Human Pose and Action Understanding in Multimodal Models
• Title（参考訳）: マルチモーダルモデルにおける人文の強化と行動理解のためのキーポイント付き命令追従データ生成
• Authors: Dewen Zhang, Wangpeng An, Hayaru Shouno,
• Abstract要約: 現在の視覚言語マルチモーダルモデルは、一般的な視覚的理解タスクに適している。 本研究では,人間のキーポイントとキャプションやバウンディングボックスといった従来の視覚的特徴を統合することで,そのようなデータを生成する手法を提案する。 このデータセットを用いてLLaVA-1.5-7Bモデルを微調整し、ベンチマークで評価し、大幅な改善を実現した。
• 参考スコア（独自算出の注目度）: 1.9890559505377343
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current vision-language multimodal models are well-adapted for general visual understanding tasks. However, they perform inadequately when handling complex visual tasks related to human poses and actions due to the lack of specialized vision-language instruction-following data. We introduce a method for generating such data by integrating human keypoints with traditional visual features such as captions and bounding boxes, enabling more precise understanding of human-centric scenes. Our approach constructs a dataset comprising 200,328 samples tailored to fine-tune models for human-centric tasks, focusing on three areas: conversation, detailed description, and complex reasoning. We establish a benchmark called Human Pose and Action Understanding Benchmark (HPAUB) to assess model performance on human pose and action understanding. We fine-tune the LLaVA-1.5-7B model using this dataset and evaluate it on the benchmark, achieving significant improvements. Experimental results show an overall improvement of 21.18% compared to the original LLaVA-1.5-7B model. These findings highlight the effectiveness of keypoint-integrated data in enhancing multimodal models. Code is available at https://github.com/Ody-trek/Keypoint-Instruction-Tuning.
• Abstract（参考訳）: 現在の視覚言語マルチモーダルモデルは、一般的な視覚的理解タスクに適している。 しかし、人間のポーズや行動にまつわる複雑な視覚的タスクを扱う際には、特殊な視覚言語による指示追従データが欠如しているため、不適切な処理を行う。 本研究では,人間のキーポイントとキャプションやバウンディングボックスなどの伝統的な視覚的特徴を統合し,人間の中心的なシーンをより正確に理解することで,そのようなデータを生成する手法を提案する。 提案手法は,人間中心タスクの微調整モデルに適した200,328のサンプルからなるデータセットを構築し,会話,詳細な説明,複雑な推論の3分野に着目した。 我々はHPAUB(Human Pose and Action Understanding Benchmark)と呼ばれるベンチマークを構築し、人間のポーズと行動理解のモデル性能を評価する。 このデータセットを用いてLLaVA-1.5-7Bモデルを微調整し、ベンチマークで評価し、大幅な改善を実現した。 実験の結果、LLaVA-1.5-7Bモデルと比較して21.18%の改善が見られた。 これらの結果は,マルチモーダルモデルの拡張におけるキーポイント積分データの有効性を浮き彫りにした。 コードはhttps://github.com/Ody-trek/Keypoint-Instruction-Tuningで入手できる。

関連論文リスト

• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• MMEvol: Empowering Multimodal Large Language Models with Evol-Instruct [148.39859547619156]
  我々は,新しいマルチモーダル命令データ進化フレームワークであるMMEvolを提案する。 MMEvolは、きめ細かい知覚、認知的推論、相互作用の進化の洗練された組み合わせによって、データ品質を反復的に改善する。 提案手法は,9つのタスクにおいて,最先端モデルに比べて有意に少ない精度でSOTA(State-of-the-art)性能を実現する。
  論文  参考訳（メタデータ） (2024-09-09T17:44:00Z)
• Data-Juicer Sandbox: A Comprehensive Suite for Multimodal Data-Model Co-development [67.55944651679864]
  統合データモデル共同開発に適した新しいサンドボックススイートを提案する。 このサンドボックスは包括的な実験プラットフォームを提供し、データとモデルの両方の迅速なイテレーションと洞察駆動による改善を可能にする。 また、徹底的なベンチマークから得られた実りある洞察を明らかにし、データ品質、多様性、モデル行動の間の重要な相互作用に光を当てています。
  論文  参考訳（メタデータ） (2024-07-16T14:40:07Z)
• From CNNs to Transformers in Multimodal Human Action Recognition: A Survey [23.674123304219822]
  人間の行動認識はコンピュータビジョンにおいて最も広く研究されている研究問題の1つである。 近年の研究では、マルチモーダルデータを用いてこの問題に対処することで性能が向上することが示されている。 視覚モデリングにおけるトランスフォーマーの最近の増加は、アクション認識タスクのパラダイムシフトを引き起こしている。
  論文  参考訳（メタデータ） (2024-05-22T02:11:18Z)
• Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
  限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。 このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。 我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
  論文  参考訳（メタデータ） (2024-02-07T13:41:53Z)
• Has Your Pretrained Model Improved? A Multi-head Posterior Based Approach [25.927323251675386]
  我々は、世界的知識の源として各エンティティに関連するメタ機能を活用し、モデルからエンティティ表現を採用する。 本稿では,これらの表現とメタ機能との整合性を,事前学習モデルの評価指標として用いることを提案する。 提案手法の有効性は,関係データセットを用いたモデル,大規模言語モデル,画像モデルなど,様々な領域で実証されている。
  論文  参考訳（メタデータ） (2024-01-02T17:08:26Z)
• StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized Image-Dialogue Data [129.92449761766025]
  本稿では,視覚的インストラクションチューニングのための画像と対話を同期的に合成する新しいデータ収集手法を提案する。 このアプローチは生成モデルのパワーを活用し、ChatGPTとテキスト・ツー・イメージ生成モデルの能力とを結合する。 本研究は,各種データセットを対象とした総合的な実験を含む。
  論文  参考訳（メタデータ） (2023-08-20T12:43:52Z)
• ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
  認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T21:51:04Z)
• Optimizing the Procedure of CT Segmentation Labeling [1.2891210250935146]
  Computed Tomographyでは、機械学習は自動データ処理によく使用される。 本稿では,アノテーションの手順とそのモデル性能への影響について考察する。 モデルトレーニングのために収集された優れたデータセットの主な利点は、ラベルの品質、多様性、完全性である、と仮定する。
  論文  参考訳（メタデータ） (2023-03-24T15:52:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。