論文の概要: GesBench: When and Where Do Multimodal Language Models Perceive Social Meaning?
- arxiv url: http://arxiv.org/abs/2610.15129v1
- Date: Sat, 10 Oct 2026 19:15:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.167197
- Title: GesBench: When and Where Do Multimodal Language Models Perceive Social Meaning?
- Title（参考訳）: GesBench: マルチモーダル言語モデルはソーシャルな意味を認識できるのか?
- Abstract要約: マルチモーダルLLMにおけるキューレベルの社会的知覚のための人為的なベンチマークであるGesBenchを紹介する。
GesBenchは、スクリプト付きおよび未記述の会話データセットから6000以上の発話レベルのクリップから構築されている。
オープンでクローズドなマルチモーダルモデル全体で、人間とモデルの間に明確なギャップがある。人間は早期に予測的理解を形成し、より頻繁に修正する。
- 参考スコア（独自算出の注目度）: 7.494689995779022
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Human social perception is incremental: we infer intent before an utterance is complete, revise our interpretation as new cues arrive, and attend to specific facial, gestural, or prosodic signals that shape social meaning. Current multimodal LLM benchmarks largely evaluate final-answer understanding over complete episodes, rewarding post-hoc recognition of social meaning rather than the unfolding perception required for real-time interaction. Drawing on interactionally embedded Gestalt principles of multimodal human communication, we introduce GesBench: a human-grounded benchmark for cue-level social perception in multimodal LLMs. GesBench uses cumulative sub-utterance clips to measure when models form stable interpretations of speaker intention and social affordance, and human gaze-guided corruption to evaluate whether regions attended by humans are functionally important for model judgments. Built from more than 6000 utterance-level clips from scripted and unscripted conversational datasets, GesBench includes human annotations of unfolding judgments and gaze on a representative subset. Across open and closed multimodal models, we find a clear human-model gap: humans form predictive understandings early and revise more often, while models often hedge or repeat across different clips. GesBench shifts social evaluation from whether models eventually recognize meaning to when and where that meaning is formed. Our codes are publicly available at https://anonymous.4open.science/status/GesBench-share-212C.
- Abstract（参考訳）: 人間の社会的知覚は段階的であり、発話が完了する前に意図を推測し、新しい手がかりが到着すると解釈を見直し、社会的意味を形成する特定の顔、ジェスチャー、または韻律的な信号に出席する。
現在のマルチモーダルLCMベンチマークは、リアルタイムインタラクションに必要な展開認識よりも、社会的な意味のポストホック認識に報いる、完全なエピソードに対する最終回答の理解を概ね評価している。
マルチモーダルな人間コミュニケーションのゲシュタルト原理に基づいて,マルチモーダルなLLMにおけるキューレベルの社会的知覚のための人為的なベンチマークであるGesBenchを紹介した。
GesBenchは累積的なサブ発話クリップを使用して、モデルが話者意図と社会的余裕の安定した解釈を形成するかを測定する。
GesBenchは、スクリプト付きおよび未記述の会話データセットから6000以上の発話レベルクリップから構築され、展開する判断の人間のアノテーションと代表サブセットを見つめる。
オープンでクローズドなマルチモーダルモデル全体で、人間とモデルの間に明確なギャップがある。人間は早期に予測的理解を形成し、より頻繁に修正する。
GesBenchは、最終的にモデルが意味を認識できるかどうかから、その意味がいつどこで形成されるかに移行する。
私たちのコードはhttps://anonymous.4open.science/status/GesBench-share-212Cで公開されています。
関連論文リスト
- HUG-VIS: A Multimodal Benchmark for Human-centered Understanding and Generation in Visual Intelligence [82.1284258781622]
視覚知能は、視覚世界を理解し、解釈し、合成しようとする。
HUG-VISは、ビジュアルインテリジェンスにおける人間中心の理解と生成のための統一されたベンチマークである。
論文 参考訳（メタデータ） (2026-08-27T01:43:47Z) - SocialPersona: Benchmarking Personalized Profiling and Response with Multimodal Social-Media Context [51.206396477505116]
SocialPersonaは、マルチモーダルな大規模言語モデル(MLLM)が、縦方向のソーシャルメディアタイムラインから明らかにされた好みを回復し、対話で使用することができるかどうかを評価するためのベンチマークである。
SocialPersonaには、テキスト、画像、タイムスタンプ、および7つの関心領域にまたがる2,597の人間認証された好みタグが含まれている。
論文 参考訳（メタデータ） (2026-06-25T06:31:56Z) - Resonant Minds: Closed-Loop Social Avatars with Theory of Mind [16.880605576970538]
本稿では,認識,社会的推論,表現を連続的な相互作用サイクルに統合した閉ループ二重エージェントフレームワークを提案する。
知覚モジュールは、パートナーのマルチモーダルな振る舞いをビデオから分析し、社会的推論モジュールは、心の理論を通して隠れた精神状態を予測する。
その後、表情モジュールは、リスナーの反応行動とともに、話者音声と表現の両方の感情制御可能なデュアルエージェントビデオを生成する。
論文 参考訳（メタデータ） (2026-06-04T09:03:43Z) - SocialOmni: Benchmarking Audio-Visual Social Interactivity in Omni Models [86.19617358080016]
Social Omniは、3つのコア次元にわたる対話性の評価を運用するベンチマークである。
Social Omniは2000の知覚サンプルと209の相互作用生成インスタンスの品質管理された診断セットを備えている。
本分析により,モデルの知覚的精度と,文脈的に適切な割り込みを生成する能力との間に顕著な疎結合が明らかとなった。
論文 参考訳（メタデータ） (2026-03-17T17:58:44Z) - HumanLLM: Towards Personalized Understanding and Simulation of Human Nature [72.55730315685837]
HumanLLMは個人のパーソナライズされた理解とシミュレーションのために設計された基礎モデルである。
私たちはまず、Reddit、Twitter、Blogger、Amazonといったプラットフォーム上で、現実世界のユーザデータをキュレートした大規模なコーパスであるCognitive Genomeを構築しました。
次に、多様な学習タスクを定式化し、教師付き微調整を行い、モデルの幅広い個人化された人間の行動、思考、経験を予測する。
論文 参考訳（メタデータ） (2026-01-22T09:27:27Z) - SI-Bench: Benchmarking Social Intelligence of Large Language Models in Human-to-Human Conversations [8.453848538355508]
大規模言語モデル(LLM)における社会的知能の側面を評価するための新しいベンチマークであるSI-Benchを紹介する。
SI-Benchは幅広い社会科学理論に基づいており、ソーシャルネットワーキングアプリケーションから収集された2,221の真のマルチターン対話を含んでいる。
実験では、複雑な社会的状況下でのプロセス推論において、SOTAモデルが人間の専門家を上回る結果となったが、それでも回答の品質は人間に劣っている。
論文 参考訳（メタデータ） (2025-10-27T10:21:46Z) - HumanVideo-MME: Benchmarking MLLMs for Human-Centric Video Understanding [120.84817886550765]
MLLM(Multimodal Large Language Models)は、画像とビデオの両方を含む視覚的理解タスクにおいて、大きな進歩を見せている。
既存の人間中心のベンチマークは、主にビデオ生成の品質と行動認識を強調し、人間中心のシナリオに必要な知覚と認知の能力を見落としている。
我々は,人間中心のビデオ理解におけるMLLMのより総合的な評価を提供するために,厳格にキュレートされたベンチマークを提案する。
論文 参考訳（メタデータ） (2025-07-07T11:52:24Z) - OmniBench: Towards The Future of Universal Omni-Language Models [63.16606414452612]
OmniBenchは、視覚的、音響的、テキスト的入力を同時に認識し、解釈し、推論する能力を評価するために設計された新しいベンチマークである。
評価の結果,オープンソース OLM は三モーダル文脈における命令追従や推論に重大な制限があることが明らかとなった。
我々は,OLM性能を向上させるため,より堅牢な3モーダル統合技術とトレーニング戦略の開発を提唱する。
論文 参考訳（メタデータ） (2024-09-23T17:59:05Z) - Modeling Multimodal Social Interactions: New Challenges and Baselines with Densely Aligned Representations [20.848802791989307]
本稿では,複数の人物間の微粒化動態をモデル化するための3つの新しい課題を紹介する。
視覚特徴とそれに対応する発話を同期させることにより、密集した言語-視覚表現を活用する新しいマルチモーダルベースラインを提案する。
実験では, よりきめ細かい社会相互作用をモデル化する上で, 密集したマルチモーダル表現を用いた提案手法の有効性を実証した。
論文 参考訳（メタデータ） (2024-03-04T14:46:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。