論文の概要: HUG-VIS: A Multimodal Benchmark for Human-centered Understanding and Generation in Visual Intelligence

• arxiv url: http://arxiv.org/abs/2608.26517v1
• Date: Thu, 27 Aug 2026 01:43:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 16:30:58.212734
• Title: HUG-VIS: A Multimodal Benchmark for Human-centered Understanding and Generation in Visual Intelligence
• Title（参考訳）: HUG-VIS:ビジュアルインテリジェンスにおける人間中心の理解と生成のためのマルチモーダルベンチマーク
• Abstract要約: 視覚知能は、視覚世界を理解し、解釈し、合成しようとする。 HUG-VISは、ビジュアルインテリジェンスにおける人間中心の理解と生成のための統一されたベンチマークである。
• 参考スコア（独自算出の注目度）: 82.1284258781622
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Visual intelligence seeks to perceive, interpret, and synthesize the visual world and is central to modern computer vision. Human-centered visual intelligence is especially demanding because it studies people as expressive, socially situated subjects whose meaning is rarely conveyed by appearance alone. It couples vision with audio and language across four representative tasks: human emotion recognition, human video generation, human voice cloning, and human video matting. Yet existing resources remain task-specific, providing modalities and annotations for individual problems rather than a shared foundation coordinating understanding and generation. This limits multimodal signal use and broader research. We address this gap with HUG-VIS, a unified benchmark for Human-centered Understanding and Generation in Visual Intelligence. It contains 8,400 seated half-body videos of 30 professional actors, each performing the same 280 emotion-action-prompt assignments under a controlled Mandarin studio protocol, with synchronized video, audio, text, and alpha mattes. We evaluate diverse open- and closed-source models across the four tasks under a unified zero-shot protocol using automatic metrics, criterion-specific mean opinion scores, and multiple cross-task analyses. Results show that (i) linguistic content dominates current emotion recognition, while purely visual affect recognition is weakest; (ii) in video generation and voice cloning, automatic metrics and human judgment agree overall but differ in their top rankings, requiring joint reporting; (iii) boundary fidelity under motion is the main remaining obstacle for human matting; and (iv) task difficulty varies across emotions, models, and metrics, with notable cross-task correlations. The dataset and results are available at https://github.com/GML-MMGroup/HUG-VIS.
• Abstract（参考訳）: 視覚知能は視覚世界を知覚し、解釈し、合成し、現代のコンピュータビジョンの中心となる。 人間中心の視覚知能は、外見だけではほとんど意味を伝えられない、表現力に富んだ社会的位置の被写体として人々を研究するため、特に要求されている。 視覚と音声と言語を、人間の感情認識、人間のビデオ生成、人間の声のクローン、人間のビデオのマッチングという4つの代表的なタスクに分割する。 しかし、既存のリソースはタスク固有のままであり、理解と生成を協調する共有基盤ではなく、個々の問題に対するモダリティとアノテーションを提供する。 これはマルチモーダル信号の使用と広範な研究を制限する。 HUG-VISはビジュアルインテリジェンスにおける人間中心の理解と生成のための統一的なベンチマークである。 30人のプロ俳優による8,400人の半身のビデオが含まれ、それぞれがコントロールされたマンダリン・スタジオ・プロトコルの下で同じ280の感情-行動-プロンプトの割り当てを実行し、ビデオ、オーディオ、テキスト、アルファマットを同期させる。 我々は4つのタスクにまたがる多様なオープンソースモデルとクローズドソースモデルを、自動メトリクス、基準固有の平均意見スコア、マルチタスク分析を用いて、統一ゼロショットプロトコルで評価する。 その結果は (i)言語内容が現在の感情認識を支配しているのに対し、純粋に視覚的影響認識が最も弱い。 (二 ビデオ生成及び音声のクローン化において、自動計測及び人的判断は総合的に一致するが、その上位に異なるものがあり、共同報告が必要である。 三 人間の交配の主な障害は、動作中の境界の忠実さである。 (4)タスクの難しさは感情、モデル、メトリクスによって異なり、タスク間の相関は顕著である。 データセットと結果はhttps://github.com/GML-MMGroup/HUG-VISで公開されている。

関連論文リスト

• AVMeme Exam: A Multimodal Multilingual Multicultural Benchmark for LLMs' Contextual and Cultural Knowledge and Thinking [59.15472057710525]
  AVMeme Examは、音声、歌、音楽、サウンドエフェクトにまたがる、1000以上の象徴的なインターネットの音とビデオの人間による評価ベンチマークである。 各ミームは、表面コンテンツからコンテキスト、感情、使用法、世界知識への理解レベルを評価するユニークなQ&Aと組み合わせられる。 このベンチマークを用いて,最先端のマルチモーダル言語モデル (MLLM) を人間の参加者とともに体系的に評価した。
  論文  参考訳（メタデータ） (2026-01-25T01:40:15Z)
• HumanVideo-MME: Benchmarking MLLMs for Human-Centric Video Understanding [120.84817886550765]
  MLLM(Multimodal Large Language Models)は、画像とビデオの両方を含む視覚的理解タスクにおいて、大きな進歩を見せている。 既存の人間中心のベンチマークは、主にビデオ生成の品質と行動認識を強調し、人間中心のシナリオに必要な知覚と認知の能力を見落としている。 我々は,人間中心のビデオ理解におけるMLLMのより総合的な評価を提供するために,厳格にキュレートされたベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-07-07T11:52:24Z)
• HumanOmni: A Large Vision-Speech Language Model for Human-Centric Video Understanding [16.93348898548816]
  ヒューマン・オムニ(Human Omni)は、オムニ・マルチモーダル(Omni-multimodal)の言語モデルである。 我々は、細かなキャプションと1400万以上の指示を含む、240万以上の人間中心のビデオクリップを含むデータセットを構築した。 実験では,人間中心のシーンを多種多様なタスクで扱う上で,ヒト・オムニの高度な能力を検証した。
  論文  参考訳（メタデータ） (2025-01-25T07:26:37Z)
• HumanVBench: Exploring Human-Centric Video Understanding Capabilities of MLLMs with Synthetic Benchmark Data [55.739633494946204]
  我々は,ビデオMLLMの評価において,ギャップを埋めるために巧みに構築された,革新的なベンチマークであるHumanVBenchを紹介する。 HumanVBenchは、内的感情と外的表現、静的、動的、基本的、複雑にまたがる2つの主要な側面と、単一モーダルとクロスモーダルという2つの側面を慎重に検討する16のタスクで構成されている。 22のSOTAビデオMLLMの総合評価では、特にクロスモーダルおよび感情知覚において、現在のパフォーマンスに顕著な制限が示される。
  論文  参考訳（メタデータ） (2024-12-23T13:45:56Z)
• Multi-Task Multi-Modal Self-Supervised Learning for Facial Expression Recognition [6.995226697189459]
  In-the-wildビデオデータから表情認識のためのマルチモーダル自己教師学習手法を用いる。 以上の結果から,マルチモーダル・セルフ・スーパービジョン・タスクが課題に対して大きなパフォーマンス向上をもたらすことが示唆された。 トレーニング済みのモデルとソースコードを公開しています。
  論文  参考訳（メタデータ） (2024-04-16T20:51:36Z)
• Hulk: A Universal Knowledge Translator for Human-Centric Tasks [69.8518392427151]
  我々は、最初のマルチモーダルな人間中心ジェネラリストモデルであるハルクを提示する。 2Dビジョン、3Dビジョン、スケルトンベース、そしてタスク固有の微調整なしで視覚言語タスクに対処する。 Hulkは11のベンチマークで最先端のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2023-12-04T07:36:04Z)
• Effect of Attention and Self-Supervised Speech Embeddings on Non-Semantic Speech Tasks [3.570593982494095]
  我々は、より現実的な認識課題として、音声感情理解を考察する。 我々は,ComParEの多言語話者の豊富なデータセットと,その感情の「感情共有」や知覚の多言語回帰ターゲットを利用する。 以上の結果から,HuBERT-Largeの自己アテンションに基づく軽量シーケンスモデルでは,報告されたベースラインよりも4.6%向上していることがわかった。
  論文  参考訳（メタデータ） (2023-08-28T07:11:27Z)
• "Notic My Speech" -- Blending Speech Patterns With Multimedia [65.91370924641862]
  音声認識と理解における視点依存と視覚的重要性の両方をモデル化するための視点時間的注意機構を提案する。 提案手法は, ビセム誤差率において, 既存の作業よりも4.99%優れていた。 モデルでは,多視点音声に対する理解と人間の知覚との間に強い相関関係があることが示されている。
  論文  参考訳（メタデータ） (2020-06-12T06:51:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。