論文の概要: SOMA: A Benchmark for Fine-Grained Egocentric Behavior and Body-Motion Understanding

• arxiv url: http://arxiv.org/abs/2610.36384v1
• Date: Mon, 26 Oct 2026 22:59:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.447058
• Title: SOMA: A Benchmark for Fine-Grained Egocentric Behavior and Body-Motion Understanding
• Title（参考訳）: SOMA: 微粒なエゴセントリックな行動と身体運動理解のためのベンチマーク
• Abstract要約: 我々は,エゴセントリックビデオからの微粒な身体動作理解のためのベンチマークであるSOMAを紹介する。 ビデオだけでは難しい(精度は68.5%)が、MLLMよりも明らかに優れている。 我々の誤り分析は、MLLMが着用者の身体、時間の誤判定イベントを誤読し、偏見を生じやすいことを示している。
• 参考スコア（独自算出の注目度）: 46.4253477074962
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Perceiving human body motion is critical for multimodal systems that understand and assist people. Yet current evaluations of Multimodal Large Language Models (MLLMs) largely focus on objects, scenes, and coarse actions, leaving their ability to reason about the body itself poorly assessed. This is especially challenging from the egocentric perspective, in which the body is only partially visible and motion must be inferred from occluded and temporally distributed cues. We introduce SOMA, a benchmark for fine-grained body-motion understanding from egocentric video, comprising 1,632 human-verified questions across three capability axes: body configuration, motion dynamics, and temporal reasoning. We evaluate 37 leading closed-source, open-source, and specialized egocentric MLLMs, complemented by an extensive human evaluation. We find that humans also find this task difficult from video alone (68.5% accuracy), yet clearly outperform the strongest MLLM (Qwen3.6-27B), which reaches 50.0% zero-shot accuracy. Our error analysis shows that MLLMs often misread the wearer's own body, misjudge events in time, and are prone to biases such as favoring the right hand or under-counting repetitions. To narrow the gap to human performance and support further progress, we introduce a training dataset of aligned video, body motion, and language supervision, and a multimodal baseline that jointly learns from these modalities. By identifying common failure modes and missing capabilities in current MLLMs, we hope SOMA will inspire future research on body-motion understanding and multimodal reasoning. Full benchmark, training data, and code will be released at: https://cnai.epfl.ch/soma
• Abstract（参考訳）: 人間の身体の動きを知覚することは、人々の理解と支援を行うマルチモーダルシステムにとって重要である。 しかし、Multimodal Large Language Models (MLLM) の現在の評価は、主にオブジェクト、シーン、粗いアクションに焦点を合わせており、身体自体を判断する能力は不十分である。 これは、身体が部分的にしか見えず、運動は閉鎖的かつ時間的に分散された手がかりから推論されなければならないという、自我中心的な視点から特に困難である。 我々は,身体構成,運動力学,時間的推論という3つの能力軸にまたがる1,632の人間による検証された質問を含む,エゴセントリックビデオからの微粒な身体動作理解のためのベンチマークであるSOMAを紹介した。 我々は,37個のオープンソース,オープンソース,特殊自我中心型MLLMを評価し,広範囲な人的評価によって補完した。 また、このタスクはビデオだけでは難しい(精度68.5%)が、最強のMLLM(Qwen3.6-27B)よりも明らかに優れており、0ショット精度は50.0%である。 我々の誤り分析は、MLLMが着用者の身体、時間の誤判定イベントを誤読することがしばしばあり、右手を好んだり、経時的な繰り返しを好んだりする傾向にあることを示している。 人間のパフォーマンスとのギャップを狭め,さらなる進歩を支援するために,映像,身体の動き,言語指導のトレーニングデータセットと,これらのモダリティから共同で学習するマルチモーダルベースラインを導入する。 現在のMLLMでは、一般的な障害モードと機能欠如を識別することで、SOMAが身体動作の理解とマルチモーダル推論に関する将来の研究を刺激することを期待している。 完全なベンチマーク、トレーニングデータ、コードは次の通りリリースされる。

関連論文リスト

• Mind's Eye: A Benchmark of Visual Abstraction, Transformation and Composition for Multimodal LLMs [31.411469692692766]
  我々は,古典的な人間の知能テストに触発された8つの視覚認知タスクのベンチマークである"Mind's Eye"を紹介する。 タスクは、パターン誘導、アナログ関係マッピング、メンタルトランスフォーメーションなどの流体インテリジェンスのコアプロセスを探索する。 人間は80%の精度を達成し、トップパフォーマンスのMLLMは50%以下にとどまる。
  論文  参考訳（メタデータ） (2026-04-17T13:29:46Z)
• Video-Only ToM: Enhancing Theory of Mind in Multimodal Large Language Models [40.30801020339839]
  VisionToMは、タスク認識推論を強化するために設計された視覚指向の介入フレームワークである。 視覚表現を正しいセマンティックターゲットと整列する介入ベクトルを計算する。 このガイダンスにより、モデルが突発的な言語的先行への依存を減らすことができる。
  論文  参考訳（メタデータ） (2026-03-25T16:24:50Z)
• Human-MME: A Holistic Evaluation Benchmark for Human-Centric Multimodal Large Language Models [118.44328586173556]
  MLLM(Multimodal Large Language Models)は視覚的理解タスクにおいて大きな進歩を見せている。 Human-MMEは、人間中心のシーン理解におけるMLLMのより総合的な評価を提供するために設計された、キュレートされたベンチマークである。 我々のベンチマークは、単一対象の理解を多対多の相互理解に拡張する。
  論文  参考訳（メタデータ） (2025-09-30T12:20:57Z)
• HumanVideo-MME: Benchmarking MLLMs for Human-Centric Video Understanding [120.84817886550765]
  MLLM(Multimodal Large Language Models)は、画像とビデオの両方を含む視覚的理解タスクにおいて、大きな進歩を見せている。 既存の人間中心のベンチマークは、主にビデオ生成の品質と行動認識を強調し、人間中心のシナリオに必要な知覚と認知の能力を見落としている。 我々は,人間中心のビデオ理解におけるMLLMのより総合的な評価を提供するために,厳格にキュレートされたベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-07-07T11:52:24Z)
• EgoToM: Benchmarking Theory of Mind Reasoning from Egocentric Videos [26.930652137352197]
  我々は、EgoToMというビデオ質問応答ベンチマークを導入し、エゴセントリックなドメインに対する理論・オブ・ミンドの評価を拡張した。 因果ToMモデルを用いて、Ego4Dデータセットのマルチ選択ビデオQAインスタンスを生成し、カメラ装着者の目標、信念、次のアクションを予測する能力をベンチマークする。 これら3つの相互接続型推論問題に対して,人間と芸術マルチモーダル大言語モデル(MLLM)の性能について検討した。
  論文  参考訳（メタデータ） (2025-03-28T05:10:59Z)
• HumanVBench: Exploring Human-Centric Video Understanding Capabilities of MLLMs with Synthetic Benchmark Data [55.739633494946204]
  我々は,ビデオMLLMの評価において,ギャップを埋めるために巧みに構築された,革新的なベンチマークであるHumanVBenchを紹介する。 HumanVBenchは、内的感情と外的表現、静的、動的、基本的、複雑にまたがる2つの主要な側面と、単一モーダルとクロスモーダルという2つの側面を慎重に検討する16のタスクで構成されている。 22のSOTAビデオMLLMの総合評価では、特にクロスモーダルおよび感情知覚において、現在のパフォーマンスに顕著な制限が示される。
  論文  参考訳（メタデータ） (2024-12-23T13:45:56Z)
• TOMATO: Assessing Visual Temporal Reasoning Capabilities in Multimodal Foundation Models [55.48403691519395]
  トマト(Tomato)は、ビデオ理解におけるMFMの時間的推論能力を厳格に評価するための新しいベンチマークである。 TOMATOは、6つのタスクにまたがる1,484件の注意深いキュレーションと人間による注釈付き質問で構成されている。 総合評価の結果, 人体モデルの性能差は57.3%であり, 最良性能モデルでは57.3%であった。
  論文  参考訳（メタデータ） (2024-10-30T17:50:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。