論文の概要: Keypoints-Integrated Instruction-Following Data Generation for Enhanced Human Pose Understanding in Multimodal Models

• arxiv url: http://arxiv.org/abs/2409.09306v1
• Date: Sat, 14 Sep 2024 05:07:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-17 21:29:12.213590
• Title: Keypoints-Integrated Instruction-Following Data Generation for Enhanced Human Pose Understanding in Multimodal Models
• Title（参考訳）: マルチモーダルモデルにおける人文理解の強化のためのキーポイント付き命令追従データ生成
• Authors: Dewen Zhang, Wangpeng An, Hayaru Shouno,
• Abstract要約: 本研究では,人間のキーポイントとキャプションやバウンディングボックスといった従来の視覚的特徴を統合することで,そのようなデータを生成する新しい手法を提案する。 提案手法は,人間中心の活動に優れる微調整モデルのために設計されたデータセットを生成する。 実験の結果、LLaVA-7Bモデルと比較して21.18%の改善が見られた。
• 参考スコア（独自算出の注目度）: 1.9890559505377343
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current multimodal models are well-suited for general visual understanding tasks. However, they perform inadequately when handling complex visual tasks related to human poses and actions, primarily due to the lack of specialized instruction-following data. We introduce a new method for generating such data by integrating human keypoints with traditional visual features like captions and bounding boxes. Our approach produces datasets designed for fine-tuning models to excel in human-centric activities, focusing on three specific types: conversation, detailed description, and complex reasoning. We fine-tuned the LLaVA-7B model with this novel dataset, achieving significant improvements across various human pose-related tasks. Experimental results show an overall improvement of 21.18% compared to the original LLaVA-7B model. These findings demonstrate the effectiveness of keypoints-assisted data in enhancing multimodal models.
• Abstract（参考訳）: 現在のマルチモーダルモデルは、一般的な視覚的理解タスクに適している。 しかし、人間のポーズや行動に関連する複雑な視覚的タスクを扱う場合、主に特別な指示追従データがないため、不適切な処理を行う。 本研究では,人間のキーポイントとキャプションやバウンディングボックスといった従来の視覚的特徴を統合することで,そのようなデータを生成する新しい手法を提案する。 提案手法は,会話,詳細な説明,複雑な推論という3つのタイプに焦点を絞って,人間中心の活動に優れた微調整モデルを設計したデータセットを生成する。 この新しいデータセットを用いてLLaVA-7Bモデルを微調整し、さまざまな人間のポーズ関連タスクにおいて大幅な改善を実現した。 実験の結果、LLaVA-7Bモデルと比較して21.18%の改善が見られた。 これらの結果から,マルチモーダルモデルの強化におけるキーポイント支援データの有効性が示唆された。

関連論文リスト

• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• MMEvol: Empowering Multimodal Large Language Models with Evol-Instruct [148.39859547619156]
  我々は,新しいマルチモーダル命令データ進化フレームワークであるMMEvolを提案する。 MMEvolは、きめ細かい知覚、認知的推論、相互作用の進化の洗練された組み合わせによって、データ品質を反復的に改善する。 提案手法は,9つのタスクにおいて,最先端モデルに比べて有意に少ない精度でSOTA(State-of-the-art)性能を実現する。
  論文  参考訳（メタデータ） (2024-09-09T17:44:00Z)
• Data-Juicer Sandbox: A Comprehensive Suite for Multimodal Data-Model Co-development [67.55944651679864]
  統合データモデル共同開発に適した新しいサンドボックススイートを提案する。 このサンドボックスは包括的な実験プラットフォームを提供し、データとモデルの両方の迅速なイテレーションと洞察駆動による改善を可能にする。 また、徹底的なベンチマークから得られた実りある洞察を明らかにし、データ品質、多様性、モデル行動の間の重要な相互作用に光を当てています。
  論文  参考訳（メタデータ） (2024-07-16T14:40:07Z)
• From CNNs to Transformers in Multimodal Human Action Recognition: A Survey [23.674123304219822]
  人間の行動認識はコンピュータビジョンにおいて最も広く研究されている研究問題の1つである。 近年の研究では、マルチモーダルデータを用いてこの問題に対処することで性能が向上することが示されている。 視覚モデリングにおけるトランスフォーマーの最近の増加は、アクション認識タスクのパラダイムシフトを引き起こしている。
  論文  参考訳（メタデータ） (2024-05-22T02:11:18Z)
• Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
  限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。 このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。 我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
  論文  参考訳（メタデータ） (2024-02-07T13:41:53Z)
• Has Your Pretrained Model Improved? A Multi-head Posterior Based Approach [25.927323251675386]
  我々は、世界的知識の源として各エンティティに関連するメタ機能を活用し、モデルからエンティティ表現を採用する。 本稿では,これらの表現とメタ機能との整合性を,事前学習モデルの評価指標として用いることを提案する。 提案手法の有効性は,関係データセットを用いたモデル,大規模言語モデル,画像モデルなど,様々な領域で実証されている。
  論文  参考訳（メタデータ） (2024-01-02T17:08:26Z)
• StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized Image-Dialogue Data [129.92449761766025]
  本稿では,視覚的インストラクションチューニングのための画像と対話を同期的に合成する新しいデータ収集手法を提案する。 このアプローチは生成モデルのパワーを活用し、ChatGPTとテキスト・ツー・イメージ生成モデルの能力とを結合する。 本研究は,各種データセットを対象とした総合的な実験を含む。
  論文  参考訳（メタデータ） (2023-08-20T12:43:52Z)
• ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
  認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T21:51:04Z)
• Optimizing the Procedure of CT Segmentation Labeling [1.2891210250935146]
  Computed Tomographyでは、機械学習は自動データ処理によく使用される。 本稿では,アノテーションの手順とそのモデル性能への影響について考察する。 モデルトレーニングのために収集された優れたデータセットの主な利点は、ラベルの品質、多様性、完全性である、と仮定する。
  論文  参考訳（メタデータ） (2023-03-24T15:52:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。