論文の概要: iMiGUE-3K: A Large-Scale Benchmark for Micro-Gesture Analysis with Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2605.17179v1
• Date: Sat, 16 May 2026 22:30:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:47.724137
• Title: iMiGUE-3K: A Large-Scale Benchmark for Micro-Gesture Analysis with Self-Supervised Learning
• Title（参考訳）: iMiGUE-3K: 自己監督学習によるマイクロジェスチャ解析のための大規模ベンチマーク
• Authors: Chengyan Wang, Haoyu Chen, Hui Wei, Yueyi Yang, Yunquan Chen, Guoying Zhao,
• Abstract要約: iMiGUE-3Kは、ジェスチャーに基づく感情分析のためのビデオデータセットである。 iMiGUE-3K上に構築されたMG-FMは,移動可能なジェスチャー提示学習のための識別基盤モデルである。 提案手法の系統的評価は,微小姿勢解析が感情理解を著しく向上させることを示す。
• 参考スコア（独自算出の注目度）: 21.95933638438139
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Emotion understanding is a fundamental challenge in affective computing and artificial intelligence. While existing approaches predominantly focus on facial expressions and speech, they often overlook the rich emotional cues conveyed through body language. Recently, micro-gestures (MGs), unintentional, subconscious movements driven by inner feelings, have attracted increasing attention as an alternative to other cues. However, there are no existing large-scale datasets supporting the pre-training of the MG foundation model. To advance MG research, we present a new benchmark for micro-gesture-based emotion understanding, featuring key contributions with a novel dataset (iMiGUE-3K) and a series of foundation models for different tasks. Using a model-based crowd-sourcing data collection strategy, we construct iMiGUE-3K, the largest MG dataset to date. It comprises video recordings from 332 distinct professional tennis players' public press interviews over the past seven years, totaling more than 3.4K long video clips and 37 million frames. The dataset includes 32 micro-gesture classes with rich descriptive annotations, making it the first large-scale, in-the-wild, video dataset for fine-grained gesture-based emotion analysis. Built on iMiGUE-3K, we propose MG-FMs, a discriminative foundation model for transferable gesture presentation learning. Based on the foundation model, we establish five comprehensive evaluation tasks: MG recognition (unsupervised, semi-supervised, supervised), MG retrieval, and MG emotion recognition. Our systematic evaluation of representative methods demonstrates that micro-gesture-based analysis significantly improves emotion understanding. We hope this work can provide comprehensive tools for MG analysis and set a solid foundation for future research in psychological diagnostics, affective computing, and advanced human-computer interaction.
• Abstract（参考訳）: 感情理解は感情コンピューティングと人工知能の基本的な課題である。 既存のアプローチは主に表情とスピーチに焦点を当てているが、ボディランゲージを通じて伝えられる豊かな感情的な手がかりを見落としていることが多い。 近年、内的感情によって引き起こされる意図しない、意識的でない運動であるマイクロ・ジェスチャー(MG)が、他の手段の代替として注目を集めている。 しかし、MGファンデーションモデルの事前トレーニングをサポートする大規模なデータセットは存在しない。 MG研究を前進させるために、我々は、新しいデータセット(iMiGUE-3K)と様々なタスクのための一連の基礎モデルによる重要な貢献を特徴とする、微小姿勢に基づく感情理解のための新しいベンチマークを提案する。 モデルに基づくクラウドソーシングデータ収集戦略を用いて,これまでで最大規模のMGデータセットであるiMiGUE-3Kを構築した。 過去7年間の332人のプロテニス選手のパブリック・プレス・インタビューのビデオが収録されており、合計で3,4K以上のビデオクリップと3700万フレームが収録されている。 このデータセットには、リッチな記述アノテーションを備えた32のマイクロジェスチャークラスが含まれている。 iMiGUE-3K上に構築されたMG-FMは,移動可能なジェスチャー提示学習のための識別基盤モデルである。 基礎モデルに基づいて、MG認識(教師なし、半教師付き、教師付き)、MG検索、MG感情認識の5つの総合的な評価タスクを確立する。 提案手法の系統的評価は,微小姿勢解析が感情理解を著しく向上させることを示す。 この研究は、MG分析のための包括的なツールを提供し、心理学的診断、感情コンピューティング、高度な人間とコンピュータの相互作用における将来の研究の基盤となることを願っている。

関連論文リスト

• Human-MME: A Holistic Evaluation Benchmark for Human-Centric Multimodal Large Language Models [118.44328586173556]
  MLLM(Multimodal Large Language Models)は視覚的理解タスクにおいて大きな進歩を見せている。 Human-MMEは、人間中心のシーン理解におけるMLLMのより総合的な評価を提供するために設計された、キュレートされたベンチマークである。 我々のベンチマークは、単一対象の理解を多対多の相互理解に拡張する。
  論文  参考訳（メタデータ） (2025-09-30T12:20:57Z)
• UniEM-3M: A Universal Electron Micrograph Dataset for Microstructural Segmentation and Generation [19.67541048907923]
  インスタンスレベルの理解のための,最初の大規模かつマルチモーダルなEMデータセットUniEM-3Mを紹介する。 5,091個の高解像度EM、約300万個のインスタンスセグメンテーションラベル、画像レベルの属性不整合テキスト記述で構成されている。 コレクション全体に基づいてトレーニングされたテキスト間拡散モデルは、強力なデータ拡張ツールと、完全なデータ分散のためのプロキシの両方として機能する。
  論文  参考訳（メタデータ） (2025-08-22T09:20:00Z)
• MME-Emotion: A Holistic Evaluation Benchmark for Emotional Intelligence in Multimodal Large Language Models [108.61337743051483]
  MME-Emotionは,MLLMの感情的理解と推論能力の両方を評価するシステムベンチマークである。 MME-Emotionには6000以上のキュレートされたビデオクリップとタスク固有の質問回答(QA)ペアが含まれており、8つの感情的なタスクを定式化するための広いシナリオにまたがっている。 マルチエージェントシステムフレームワークを通じて分析された、感情認識と推論のためのハイブリッドメトリクスを備えた総合評価スイートが組み込まれている。
  論文  参考訳（メタデータ） (2025-08-11T03:14:55Z)
• HumanVideo-MME: Benchmarking MLLMs for Human-Centric Video Understanding [120.84817886550765]
  MLLM(Multimodal Large Language Models)は、画像とビデオの両方を含む視覚的理解タスクにおいて、大きな進歩を見せている。 既存の人間中心のベンチマークは、主にビデオ生成の品質と行動認識を強調し、人間中心のシナリオに必要な知覚と認知の能力を見落としている。 我々は,人間中心のビデオ理解におけるMLLMのより総合的な評価を提供するために,厳格にキュレートされたベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-07-07T11:52:24Z)
• SoMi-ToM: Evaluating Multi-Perspective Theory of Mind in Embodied Social Interactions [36.010107260144586]
  SoMi-ToMベンチマークは,マルチエージェント複合社会相互作用におけるマルチパースペクティブToMを評価するために設計されている。 我々は,35人の第三者視点映像,633人の一人称視点画像,1225人の専門家による複数選択質問を含む挑戦的なデータセットを構築した。 その結果,SoMi-ToMではLVLMがヒトよりも有意に低下することが判明した。
  論文  参考訳（メタデータ） (2025-06-29T00:54:13Z)
• Synthetic Visual Genome [88.00433979509218]
  本稿では,高品質な高次グラフを大規模に構築できる密接な注釈付き関係を持つ命令設計法であるROBINを紹介する。 我々のデータセットは合計146K画像と2.6Mオブジェクトの5.6M関係を含んでいる。 ROBIN-3Bモデルは300万件未満のインスタンスでトレーニングされているにもかかわらず、関係理解ベンチマークで3億件以上のインスタンスでトレーニングされた類似サイズのモデルを上回っている。
  論文  参考訳（メタデータ） (2025-06-09T11:09:10Z)
• Human Cognitive Benchmarks Reveal Foundational Visual Gaps in MLLMs [65.93003087656754]
  VisFactorは、よく確立された認知心理学評価から20の視覚中心のサブテストをデジタル化するベンチマークである。 GPT、Gemini、Claude、LLaMA、Qwen、SEEDファミリーから20のフロンティアマルチモーダル言語モデル(MLLM)を評価する。 最高のパフォーマンスモデルは100点中25.19点のスコアしか得られず、精神的な回転、空間的関係推論、図形の識別といったタスクに一貫して失敗する。
  論文  参考訳（メタデータ） (2025-02-23T04:21:32Z)
• iMiGUE: An Identity-free Video Dataset for Micro-Gesture Understanding and Emotion Analysis [23.261770969903065]
  iMiGUE(iMiGUE)は、マイクロジェスチャ理解・感情分析のためのアイデンティティフリービデオデータセットである。 iMiGUEは、内的感情によって引き起こされる意図しない行動(micro-gesture)に焦点を当てている。
  論文  参考訳（メタデータ） (2021-07-01T08:15:14Z)
• Micro-expression spotting: A new benchmark [74.69928316848866]
  マイクロ表現(ME)は、人々が本当の感情を隠そうとしたり、感情を隠そうとするときに起こる、簡潔で不随意の表情である。 コンピュータビジョンの分野では、MEの研究はスポッティングと認識という2つの主要なタスクに分けられる。 本稿ではSMIC-Eデータベースの拡張,すなわちSMIC-E-Longデータベースを紹介する。
  論文  参考訳（メタデータ） (2020-07-24T09:18:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。