論文の概要: Social Genome: Grounded Social Reasoning Abilities of Multimodal Models

• arxiv url: http://arxiv.org/abs/2502.15109v1
• Date: Fri, 21 Feb 2025 00:05:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 16:11:00.155975
• Title: Social Genome: Grounded Social Reasoning Abilities of Multimodal Models
• Title（参考訳）: 社会ゲノム:マルチモーダルモデルの社会的推論能力
• Authors: Leena Mathur, Marian Qian, Paul Pu Liang, Louis-Philippe Morency,
• Abstract要約: ソーシャルゲノム(Social Genome)は、マルチモーダルモデルのきめ細かいきめ細やかな社会的推論能力を示す最初のベンチマークである。 相互作用の272のビデオと、これらの相互作用に関する推論に関連する1,486人の注釈付き推論トレースを含んでいる。 社会ゲノムはまた、社会的推論における外部知識を研究するための最初のモデリング課題である。
• 参考スコア（独自算出の注目度）: 61.88413918026431
• License:
• Abstract: Social reasoning abilities are crucial for AI systems to effectively interpret and respond to multimodal human communication and interaction within social contexts. We introduce Social Genome, the first benchmark for fine-grained, grounded social reasoning abilities of multimodal models. Social Genome contains 272 videos of interactions and 1,486 human-annotated reasoning traces related to inferences about these interactions. These traces contain 5,777 reasoning steps that reference evidence from visual cues, verbal cues, vocal cues, and external knowledge (contextual knowledge external to videos). Social Genome is also the first modeling challenge to study external knowledge in social reasoning. Social Genome computes metrics to holistically evaluate semantic and structural qualities of model-generated social reasoning traces. We demonstrate the utility of Social Genome through experiments with state-of-the-art models, identifying performance gaps and opportunities for future research to improve the grounded social reasoning abilities of multimodal models.
• Abstract（参考訳）: 社会的推論能力は、AIシステムが社会的文脈内でのマルチモーダルなヒューマンコミュニケーションと相互作用を効果的に解釈し、応答するために重要である。 マルチモーダルモデルのきめ細かな基礎的な社会的推論能力を示す最初のベンチマークであるSocial Genomeを紹介する。 ソーシャルゲノムには272の相互作用のビデオと、これらの相互作用に関する推論に関連する1,486の人間の注釈付き推論トレースが含まれている。 これらの痕跡には、視覚的手がかり、言語的手がかり、声道的手がかり、外部知識(ビデオ以外の文脈的知識)から証拠を引用する5,777の推論ステップが含まれている。 社会ゲノムはまた、社会的推論における外部知識を研究するための最初のモデリング課題である。 Social Genomeは、モデル生成の社会的推論トレースのセマンティクスと構造的特性を全体評価するためにメトリクスを計算する。 我々は、最先端モデルを用いた実験を通じて、社会ゲノムの有用性を実証し、マルチモーダルモデルの基盤となる社会的推論能力を改善するために、パフォーマンスギャップと将来の研究機会を特定する。

関連論文リスト

• Advancing Social Intelligence in AI Agents: Technical Challenges and Open Questions [67.60397632819202]
  ソーシャルインテリジェントAIエージェント(Social-AI)の構築は、多分野、マルチモーダルな研究目標である。 我々は、社会AIを前進させるために、基礎となる技術的課題と、コンピューティングコミュニティ全体にわたる研究者のためのオープンな質問を特定します。
  論文  参考訳（メタデータ） (2024-04-17T02:57:42Z)
• SocialDial: A Benchmark for Socially-Aware Dialogue Systems [45.3266270265532]
  中国社会文化を基盤とした初の社会認識対話コーパス「SocialDial」を提示する。 SocialDialは2つの部分から構成される:2人の話者間の1,563のマルチターン対話と、ChatGPTによって生成された4,870の合成会話である。 人間のコーパスには5つの社会的規範があり、合計で14のサブカテゴリがある。
  論文  参考訳（メタデータ） (2023-04-24T11:55:22Z)
• Neural Theory-of-Mind? On the Limits of Social Intelligence in Large LMs [77.88043871260466]
  私たちは、今日の最大の言語モデルのひとつに、このようなソーシャルインテリジェンスを最初から欠いていることを示しています。 我々は、人中心のNLPアプローチは、マインドの神経理論に対してより効果的であるかもしれないと結論づける。
  論文  参考訳（メタデータ） (2022-10-24T14:58:58Z)
• Predicting Opinion Dynamics via Sociologically-Informed Neural Networks [31.77040611129394]
  本稿では,理論モデルとソーシャルメディアデータを統合した社会学的インフォームドニューラルネットワーク(SINN)を提案する。 特に、理論モデルを常微分方程式(ODE)として再キャストする。 我々は、データを同時に近似し、社会科学的知識を表すODEに適合するニューラルネットワークを訓練する。
  論文  参考訳（メタデータ） (2022-07-07T05:55:47Z)
• Didn't see that coming: a survey on non-verbal social human behavior forecasting [47.99589136455976]
  近年,非言語的社会的行動予測が研究コミュニティの関心を集めている。 人間とロボットの相互作用や社会的に認識された人間のモーション生成への直接的な応用は、非常に魅力的な分野である。 本稿では,複数の対話エージェントに対する行動予測問題を,社会的信号予測と人間の動作予測の分野の統合を目的とした汎用的な方法で定義する。
  論文  参考訳（メタデータ） (2022-03-04T18:25:30Z)
• Social Neuro AI: Social Interaction as the "dark matter" of AI [0.0]
  我々は、社会心理学と社会神経科学の実証結果と力学の枠組みが、よりインテリジェントな人工エージェントの開発にインスピレーションを与えることができると主張している。
  論文  参考訳（メタデータ） (2021-12-31T13:41:53Z)
• PHASE: PHysically-grounded Abstract Social Events for Machine Social Perception [50.551003004553806]
  私たちは、物理的に根拠のある抽象的なソーシャルイベント、フェーズのデータセットを作成します。 フェーズは人間の実験によって検証され、人間は社会出来事において豊かな相互作用を知覚する。 ベースラインモデルとして,最新のフィードフォワードニューラルネットワークよりも優れたベイズ逆計画手法SIMPLEを導入する。
  論文  参考訳（メタデータ） (2021-03-02T18:44:57Z)
• Graph-Based Social Relation Reasoning [101.9402771161935]
  社会関係認識のためのグラフ関係推論ネットワーク(GR2N)を提案する。 本手法は,社会関係グラフの構築による連関関係推定のパラダイムを考察する。 実験結果から,本手法は合理的で一貫した社会関係グラフを生成することが示された。
  論文  参考訳（メタデータ） (2020-07-15T03:01:11Z)
• Theory In, Theory Out: The uses of social theory in machine learning for social science [3.180013942295509]
  機械学習パイプラインの各段階で生じる基本的な方法論的および解釈的疑問に、社会理論がどのように答えられるかを示す。 本論文は,機械学習のツールをソーシャルデータに適用する際の現実的な疑問を,コンピュータや社会科学者のガイドとして扱うことができると考えている。
  論文  参考訳（メタデータ） (2020-01-09T20:04:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。