論文の概要: Before Words, Beyond Speech: Evaluating Nonverbal Social Reasoning in Early Childhood
- arxiv url: http://arxiv.org/abs/2611.13213v2
- Date: Fri, 13 Nov 2026 01:20:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.222731
- Title: Before Words, Beyond Speech: Evaluating Nonverbal Social Reasoning in Early Childhood
- Title(参考訳): 口頭・口頭・口頭・口頭・口頭・口頭・口頭・口頭・口頭・口頭・口頭・口頭・口頭・口頭・口頭・口頭・口頭・口頭・口頭・口頭・口頭・口頭・口頭
- Abstract要約: ベンチは、非言語的社会的推論のための最初の子供中心のベンチマークである。
ベンチは 社会的推論の 進歩的なレベルに原子間相互作用を 構築する 構成スキーマを導入した
幼少期には、社会的基盤を持つ人工知能を前進させるための厳格なテストベッドを提供する。
- 参考スコア(独自算出の注目度): 18.18863996666014
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Children's earliest years are a period of intense social learning, during which meaning is built through gaze, gesture, and physical contact. Yet, this critical aspect of social interaction remains under-evaluated in multimodal video understanding, as existing benchmarks prioritize the conversation-driven interactions of adults. We address this gap with \bench ($\textbf{N}$aturalistic $\textbf{E}$arly-childhood $\textbf{S}$ocial in$\textbf{T}$eractions), the first child-centric benchmark for nonverbal social reasoning. \bench comprises \totalvids manually annotated clips ($\sim$12s) curated for diversity across naturalistic settings, cultural contexts, and developmental stages. Beyond a lack of data, targeted model improvement in this domain is hindered by coarse evaluation schemas that conflate basic perception with higher-order reasoning. To resolve this, \bench introduces a compositional schema that builds atomic interaction cues into progressive levels of social reasoning: contextual, behavioral, interpersonal, and open-ended descriptions. Extensive analysis of state-of-the-art Vision-Language Models (VLMs) reveals a stark performance collapse: despite strong contextual recognition, models exhibit substantial gaps in decoding precise behavioral and interpersonal cues. We trace these failures to specific biases, including poor consequence grounding and temporal sensitivity. Finally, we ground \bench in real-world applications by evaluating VLMs using domain adaptation strategies. Ultimately, \bench provides a rigorous testbed for advancing socially grounded artificial intelligence in early childhood. Project page: https://laubravo.github.io/nest_website/.
- Abstract(参考訳): 子供の初期の時代は激しい社会学習の時期であり、その間、視線、ジェスチャー、身体的接触によって意味が構築される。
しかし、この社会的相互作用の重要な側面は、既存のベンチマークが成人の会話駆動インタラクションを優先しているため、マルチモーダルビデオ理解において過小評価され続けている。
このギャップには、非言語的社会的推論のための最初の子中心ベンチマークである \bench ($\textbf{N}$aturalistic $\textbf{E}$arly-childhood $\textbf{S}$ocial in$\textbf{T}$eractions で対処する。
\benchは、自然主義的な設定、文化的な文脈、発達段階にまたがる多様性のために、手動でアノテートされたクリップ(\sim$12s)で構成されている。
データ不足に加えて、この領域におけるターゲットモデルの改善は、高次の推論と基本的な認識を分割する粗い評価スキーマによって妨げられる。
これを解決するために、Shabench氏は、文脈的、行動的、対人的、オープンな記述という、進化的な社会的推論のレベルに原子間相互作用の手がかりを構築する構成スキーマを導入した。
最先端のVision-Language Models (VLMs) の大規模解析は、強い文脈認識にもかかわらず、モデルは正確な行動と対人的な手がかりを復号する際にかなりのギャップを示す。
これらの失敗を、結果の根拠の粗悪さや時間的感受性など、特定のバイアスにトレースします。
最後に、ドメイン適応戦略を用いてVLMを評価し、実世界のアプリケーションに‘bench’を組み込む。
最終的に、Shabenchは、幼少期に社会的基盤を持つ人工知能を前進させるための厳格なテストベッドを提供する。
プロジェクトページ: https://laubravo.github.io/nest_website/。
関連論文リスト
- GesBench: When and Where Do Multimodal Language Models Perceive Social Meaning? [7.494689995779022]
マルチモーダルLLMにおけるキューレベルの社会的知覚のための人為的なベンチマークであるGesBenchを紹介する。
GesBenchは、スクリプト付きおよび未記述の会話データセットから6000以上の発話レベルのクリップから構築されている。
オープンでクローズドなマルチモーダルモデル全体で、人間とモデルの間に明確なギャップがある。人間は早期に予測的理解を形成し、より頻繁に修正する。
論文 参考訳(メタデータ) (2026-10-10T19:15:11Z) - PERCEIVE: A Benchmark for Personalized Emotion and Communication Behavior Understanding on Social Media [12.727513169450503]
PERCEIVEはソーシャルメディアにおける社会的知覚分析の新しいベンチマークである。
著者が作成したコンテンツ、真の読者の感情的なフィードバック、コミュニケーション行動、ユーザー属性、ソーシャルグラフの5つの重要な側面を統合するのは、これが初めてである。
PerCEIVEは、社会的文脈に根ざした感情と行動の本質的な結合をモデル化するためのユニークなリソースを提供する。
論文 参考訳(メタデータ) (2026-04-10T09:35:56Z) - SIV-Bench: A Video Benchmark for Social Interaction Understanding and Reasoning [53.16179295245888]
SIV-Benchは、SSU(Social Scene Understanding)、SSR(Social State Reasoning)、SDP(Social Dynamics Prediction)におけるMLLM(Multimodal Large Language Models)の機能を評価するための新しいビデオベンチマークである。
SIV-Benchは、2,792本のビデオクリップと8,792本の人間とLLMのコラボレーティブパイプラインから得られた精巧に生成された質問応答ペアを備えている。
また、異なるテキストキュー固有のオンスクリーンテキスト、追加の対話、あるいはノーテキストの影響を分析するための専用の設定も含まれている。
論文 参考訳(メタデータ) (2025-06-05T05:51:35Z) - SocialMaze: A Benchmark for Evaluating Social Reasoning in Large Language Models [41.68365456601248]
社会的推論を評価するために特別に設計された新しいベンチマークであるSocialMazeを紹介する。
SocialMazeは、深い推論、動的なインタラクション、情報の不確実性という3つの主要な課題を体系的に取り入れている。
ソーシャル推論ゲーム、日々のインタラクション、デジタルコミュニティプラットフォームという3つの主要な設定にまたがる6つの多様なタスクを提供する。
論文 参考訳(メタデータ) (2025-05-29T17:47:36Z) - SS-GEN: A Social Story Generation Framework with Large Language Models [87.11067593512716]
自閉症スペクトラム障害(ASD)を持つ子供たちは、しばしば社会的状況を誤解し、日々のルーチンに参加するのに苦労する。
社会物語は伝統的にこれらの課題に対処するために厳格な制約の下で心理学の専門家によって作られた。
大規模言語モデル(LLM)を用いたソーシャルストーリージェネレーションフレームワークであるSS-GENを提案する。
この研究は、AIを活用して、大規模に自閉症の子供にとって費用対効果の高いソーシャルストーリーをパーソナライズするための重要なステップである。
論文 参考訳(メタデータ) (2024-06-22T00:14:48Z) - The Devil is in the Neurons: Interpreting and Mitigating Social Biases in Pre-trained Language Models [78.69526166193236]
プレトレーニング言語モデル(PLM)は、社会的バイアスのような有害な情報を含むことが認識されている。
我々は,社会バイアスなどの望ましくない行動に起因する言語モデルにおいて,正確に単位(すなわちニューロン)を特定するために,sc Social Bias Neuronsを提案する。
StereoSetの以前の測定値からわかるように、我々のモデルは、低コストで言語モデリング能力を維持しながら、より高い公平性を達成する。
論文 参考訳(メタデータ) (2024-06-14T15:41:06Z) - From a Social Cognitive Perspective: Context-aware Visual Social Relationship Recognition [59.57095498284501]
我々は,textbfContextual textbfSocial textbfRelationships (textbfConSoR) を社会的認知の観点から認識する新しいアプローチを提案する。
画像ごとの社会的関係を考慮した社会認識記述言語プロンプトを構築した。
印象的なことに、ConSoRは従来の手法を上回り、Person-in-Social-Context(PISC)データセットでは12.2%、Person-in-Photo-Album(PIPA)ベンチマークでは9.8%向上している。
論文 参考訳(メタデータ) (2024-06-12T16:02:28Z) - Co-Located Human-Human Interaction Analysis using Nonverbal Cues: A
Survey [71.43956423427397]
本研究の目的は,非言語的キューと計算手法を同定し,効果的な性能を実現することである。
この調査は、最も広い範囲の社会現象と相互作用設定を巻き込むことによって、相手と異なる。
もっともよく使われる非言語キュー、計算方法、相互作用環境、センシングアプローチは、それぞれマイクとカメラを備えた3,4人で構成される会話活動、ベクターマシンのサポート、ミーティングである。
論文 参考訳(メタデータ) (2022-07-20T13:37:57Z) - Enhancing Social Relation Inference with Concise Interaction Graph and
Discriminative Scene Representation [56.25878966006678]
我々はtextbfSocial rtextbfElation (PRISE) における textbfPractical textbfInference のアプローチを提案する。
人の対話的特徴と全体主義的な場面の識別的特徴を簡潔に学習する。
PRISEはPIPAデータセットにおけるドメイン分類の改善を6.8$%で達成している。
論文 参考訳(メタデータ) (2021-07-30T04:20:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。