論文の概要: HumanVLM: Foundation for Human-Scene Vision-Language Model

• arxiv url: http://arxiv.org/abs/2411.03034v1
• Date: Tue, 05 Nov 2024 12:14:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-06 14:59:12.916696
• Title: HumanVLM: Foundation for Human-Scene Vision-Language Model
• Title（参考訳）: Human-Scene Vision-Language ModelのためのHumanVLM
• Authors: Dawei Dai, Xu Long, Li Yutang, Zhang Yuanhui, Shuyin Xia,
• Abstract要約: ヒューマンシーンの視覚言語タスクは、多様な社会アプリケーションでますます普及している。 本研究では,HumanVLM(HumanVLM)というドメイン固有な大規模視覚言語モデルを提案する。 実験では, 様々な下流タスクにまたがってヒューマンVLMを評価し, 総合的な性能が向上することを示した。
• 参考スコア（独自算出の注目度）: 3.583459930633303
• License:
• Abstract: Human-scene vision-language tasks are increasingly prevalent in diverse social applications, yet recent advancements predominantly rely on models specifically tailored to individual tasks. Emerging research indicates that large vision-language models (VLMs) can enhance performance across various downstream vision-language understanding tasks. However, general-domain models often underperform in specialized fields. This study introduces a domain-specific Large Vision-Language Model, Human-Scene Vision-Language Model (HumanVLM), designed to provide a foundation for human-scene Vision-Language tasks. Specifically, (1) we create a large-scale human-scene multimodal image-text dataset (HumanCaption-10M) sourced from the Internet to facilitate domain-specific alignment; (2) develop a captioning approach for human-centered images, capturing human faces, bodies, and backgrounds, and construct a high-quality Human-Scene image-text dataset (HumanCaptionHQ, about 311k pairs) that contain as much detailed information as possible about human; (3) Using HumanCaption-10M and HumanCaptionHQ, we train a HumanVLM. In the experiments, we then evaluate our HumanVLM across varous downstream tasks, where it demonstrates superior overall performance among multimodal models of comparable scale, particularly excelling in human-related tasks and significantly outperforming similar models, including Qwen2VL and ChatGPT-4o. HumanVLM, alongside the data introduced, will stimulate the research in human-around fields.
• Abstract（参考訳）: 人間シーンの視覚言語タスクは、様々な社会アプリケーションでますます普及しているが、近年の進歩は、主に個々のタスクに特化されたモデルに依存している。 大規模視覚言語モデル(VLM)は、様々な下流視覚言語理解タスクのパフォーマンスを向上させることができる。 しかし、一般ドメインモデルは、しばしば特殊分野において性能が劣る。 本研究では,ヒューマン・シーン・ビジョン・ランゲージ・モデル(Human-Scene Vision-Language Model,HumanVLM)を提案する。 具体的には,(1)インターネットから提供された大規模ヒューマンシーンのマルチモーダル画像テキストデータセット(HumanCaption-10M)を作成し,ドメイン固有のアライメントを促進すること,(2)人間の顔,体,背景を捉え,高品質なヒューマンシーン画像テキストデータセット(HumanCaptionHQ,約311kペア)を構築すること,(3)HumanCaption-10MとHumanCaptionHQを用いてヒューマンVLMを訓練する。 実験では,マルチモーダルモデル,特に人間関連タスクに優れ,Qwen2VLやChatGPT-4oなどの類似モデルよりも優れた性能を示す。 紹介されたデータとともに、HumanVLMは人間を取り巻く分野の研究を刺激する。

関連論文リスト

• High-Dimension Human Value Representation in Large Language Models [60.33033114185092]
  大規模言語モデル(LLM)における人的価値分布の高次元表現であるUniVaRを提案する。 我々は,UniVaRが,異なるLLMに埋め込まれた人間の値と異なる言語源との分布を比較する強力なツールであることを示す。
  論文  参考訳（メタデータ） (2024-04-11T16:39:00Z)
• Move as You Say, Interact as You Can: Language-guided Human Motion Generation with Scene Affordance [48.986552871497]
  本稿では,シーンアベイランスを中間表現として活用する新しい2段階フレームワークを提案する。 シーンアベイランスマップを活用することで,マルチモーダルな条件下での人間の動きを再現する難しさを克服する。 我々のアプローチは、HumanML3DやHUMANISEなど、確立されたベンチマークのベースラインを一貫して上回ります。
  論文  参考訳（メタデータ） (2024-03-26T18:41:07Z)
• CapHuman: Capture Your Moments in Parallel Universes [60.06408546134581]
  CapHumanという新しいフレームワークを紹介します。 CapHumanはアイデンティティ機能をエンコードし、それを潜在空間に整列させることを学ぶ。 モデルに人間の頭部を柔軟で3D一貫性のある方法で制御させる前に、3D顔を導入する。
  論文  参考訳（メタデータ） (2024-02-01T14:41:59Z)
• MVHumanNet: A Large-scale Dataset of Multi-view Daily Dressing Human Captures [44.172804112944625]
  MVHumanNetは4,500人の身元からなる多視点人間の行動系列からなるデータセットである。 我々のデータセットには、人のマスク、カメラパラメータ、2Dおよび3Dキーポイント、SMPL/SMPLXパラメータ、および対応するテキスト記述を含む、9000の日次服、6万のモーションシーケンス、645万の豊富なアノテーションが含まれています。
  論文  参考訳（メタデータ） (2023-12-05T18:50:12Z)
• Hulk: A Universal Knowledge Translator for Human-Centric Tasks [69.8518392427151]
  我々は、最初のマルチモーダルな人間中心ジェネラリストモデルであるハルクを提示する。 2Dビジョン、3Dビジョン、スケルトンベース、そしてタスク固有の微調整なしで視覚言語タスクに対処する。 Hulkは11のベンチマークで最先端のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2023-12-04T07:36:04Z)
• Human-centric Scene Understanding for 3D Large-scale Scenarios [52.12727427303162]
  本稿では,HuCenLifeという,人間中心のシーン理解のための大規模マルチモーダルデータセットを提案する。 私たちのHuCenLifeは、セグメンテーション、検出、アクション認識など、多くの3D認識タスクに役立ちます。
  論文  参考訳（メタデータ） (2023-07-26T08:40:46Z)
• Human Language Modeling [20.66485974271458]
  本稿では,文書のシーケンスを接続する人間レベルが存在する言語モデリング問題に対する階層的拡張を提案する。 本稿では,約10万人のソーシャルメディアユーザを対象に,Humleタスクのための大規模トランスフォーマーモデルHaRTを紹介する。 すべてのタスクの結果が、現在の最先端の状況を満たしたり、超えたりします。
  論文  参考訳（メタデータ） (2022-05-10T19:11:12Z)
• HUMBI: A Large Multiview Dataset of Human Body Expressions and Benchmark Challenge [33.26419876973344]
  本稿では,人体表現を自然着色で表現するHUMBIという大規模マルチビューデータセットを提案する。 107個の同期HDカメラは、性別、民族、年齢、スタイルにまたがる772個の特徴のある被写体を撮影するために使用される。 3次元メッシュモデルを用いて高忠実度ボディ表現を再構成し、ビュー特有の外観を表現する。
  論文  参考訳（メタデータ） (2021-09-30T23:19:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。