論文の概要: Characterizing Datasets for Social Visual Question Answering, and the New TinySocial Dataset

• arxiv url: http://arxiv.org/abs/2010.11997v1
• Date: Thu, 8 Oct 2020 03:20:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 11:41:33.765330
• Title: Characterizing Datasets for Social Visual Question Answering, and the New TinySocial Dataset
• Title（参考訳）: ソーシャルビジュアル質問応答のためのデータセットの特徴付けと新しいtinysocialデータセット
• Authors: Zhanwen Chen, Shiyao Li, Roxanne Rashedi, Xiaoman Zi, Morgan Elrod-Erickson, Bryan Hollis, Angela Maliakal, Xinyu Shen, Simeng Zhao, Maithilee Kunda
• Abstract要約: ソーシャルインテリジェンスには、ビデオを見て、社会的および理論関連コンテンツに関する質問に答える機能が含まれている。 社会的視覚的質問応答(社会的VQA)は、人間とAIエージェントの両方における社会的推論を研究するための貴重な方法論として浮上している。 本稿では,ソーシャルVQAデータセットの作成と特徴付け方法について議論する。
• 参考スコア（独自算出の注目度）: 0.7313653675718068
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern social intelligence includes the ability to watch videos and answer questions about social and theory-of-mind-related content, e.g., for a scene in Harry Potter, "Is the father really upset about the boys flying the car?" Social visual question answering (social VQA) is emerging as a valuable methodology for studying social reasoning in both humans (e.g., children with autism) and AI agents. However, this problem space spans enormous variations in both videos and questions. We discuss methods for creating and characterizing social VQA datasets, including 1) crowdsourcing versus in-house authoring, including sample comparisons of two new datasets that we created (TinySocial-Crowd and TinySocial-InHouse) and the previously existing Social-IQ dataset; 2) a new rubric for characterizing the difficulty and content of a given video; and 3) a new rubric for characterizing question types. We close by describing how having well-characterized social VQA datasets will enhance the explainability of AI agents and can also inform assessments and educational interventions for people.
• Abstract（参考訳）: 現代の社会知性には、ビデオを見たり、社会や心の理論に関する質問に答える能力がある。例えばハリー・ポッターのシーンでは、「父親は、少年が車を飛ばすことに本当に腹を立てているのか? 社会的視覚的質問応答 (social VQA) は、人間(自閉症の子供など)とAIエージェントの両方で社会的推論を研究するための貴重な方法論として浮上している。 しかし、この問題空間はビデオと質問の両方に大きなバリエーションがある。 ソーシャルVQAデータセットの作成と特徴付け手法について論じる。 1)クラウドソーシングと社内オーサリングの2つの新しいデータセット(tinysocial-crowdとtinysocial-inhouse)と既存のsocial-iqデータセットのサンプル比較を含む。 2 所定の映像の難易度及び内容を特徴付ける新しいルーブリック及び 3)質問タイプを特徴付ける新しいルーブリック。 我々は、ソーシャルvqaデータセットがaiエージェントの説明可能性を高め、人々の評価や教育的介入にどのように影響を与えるかを説明して締めくくった。

関連論文リスト

• SS-GEN: A Social Story Generation Framework with Large Language Models [87.11067593512716]
  自閉症スペクトラム障害(ASD)を持つ子供たちは、しばしば社会的状況を誤解し、日々のルーチンに参加するのに苦労する。 社会物語は伝統的にこれらの課題に対処するために厳格な制約の下で心理学の専門家によって作られた。 幅広い範囲でリアルタイムでソーシャルストーリーを生成するフレームワークである textbfSS-GEN を提案する。
  論文  参考訳（メタデータ） (2024-06-22T00:14:48Z)
• From a Social Cognitive Perspective: Context-aware Visual Social Relationship Recognition [59.57095498284501]
  我々は,textbfContextual textbfSocial textbfRelationships (textbfConSoR) を社会的認知の観点から認識する新しいアプローチを提案する。 画像ごとの社会的関係を考慮した社会認識記述言語プロンプトを構築した。 印象的なことに、ConSoRは従来の手法を上回り、Person-in-Social-Context(PISC)データセットでは12.2%、Person-in-Photo-Album(PIPA)ベンチマークでは9.8%向上している。
  論文  参考訳（メタデータ） (2024-06-12T16:02:28Z)
• Social Intelligence Data Infrastructure: Structuring the Present and Navigating the Future [59.78608958395464]
  私たちは、包括的な社会AI分類と480のNLPデータセットからなるデータライブラリで構成される、ソーシャルAIデータインフラストラクチャを構築しています。 インフラストラクチャにより、既存のデータセットの取り組みを分析し、異なるソーシャルインテリジェンスの観点から言語モデルのパフォーマンスを評価することができます。 多面的なデータセットの必要性、言語と文化の多様性の向上、より長期にわたる社会的状況、そして将来のソーシャルインテリジェンスデータ活動におけるよりインタラクティブなデータの必要性が示されている。
  論文  参考訳（メタデータ） (2024-02-28T00:22:42Z)
• DeSIQ: Towards an Unbiased, Challenging Benchmark for Social Intelligence Understanding [60.84356161106069]
  複雑な社会的相互作用のビデオ上での複数選択質問のデータセットであるSocial-IQの健全性について検討する。 分析の結果,Social-IQにはある程度のバイアスがあり,適度に強い言語モデルによって活用できることがわかった。 ソーシャルIQに単純な摂動を適用して構築した,新たな挑戦的データセットであるDeSIQを紹介する。
  論文  参考訳（メタデータ） (2023-10-24T06:21:34Z)
• Video Question Answering: Datasets, Algorithms and Challenges [99.9179674610955]
  Video Question Answering (VideoQA) は、与えられたビデオに応じて自然言語の質問に答えることを目的としている。 本稿では、データセット、アルゴリズム、ユニークな課題に焦点を当てた、ビデオQAの明確な分類と包括的分析を提供する。
  論文  参考訳（メタデータ） (2022-03-02T16:34:09Z)
• Semantic Categorization of Social Knowledge for Commonsense Question Answering [13.343786884695323]
  本稿では,SocialIQA を例として,コモンセンスな質問応答タスクに必要なセマンティクスの分類を提案する。 従来の研究とは異なり、社会知識のセマンティックな分類でモデルを観察すると、比較的単純なモデルで同等のパフォーマンスが得られる。
  論文  参考訳（メタデータ） (2021-09-11T02:56:14Z)
• Detecting socially interacting groups using f-formation: A survey of taxonomy, methods, datasets, applications, challenges, and future research directions [3.995408039775796]
  社会的行動は、ロボットが持つことのできる最も追求された性質の1つである。 このような品質を持つためには、ロボットがグループの形成を判断し、自らの位置を決定する必要がある。 この問題に関連するすべての懸念とモジュールを組み合わせた,新たな総合的な調査フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-13T11:51:17Z)
• SocialAI: Benchmarking Socio-Cognitive Abilities in Deep Reinforcement Learning Agents [23.719833581321033]
  人間との社会的相互作用に参加することができる、具体化された自律エージェントを構築することは、AIの主要な課題の1つだ。 人間レベルのAIを目指すためには、より広範な社会的スキルが必要である、と私たちは主張する。 DRLエージェントの社会的スキル獲得を評価するためのベンチマークであるSocialAIを提案する。
  論文  参考訳（メタデータ） (2021-07-02T10:39:18Z)
• SocialAI 0.1: Towards a Benchmark to Stimulate Research on Socio-Cognitive Abilities in Deep Reinforcement Learning Agents [23.719833581321033]
  人間との社会的相互作用に参加できる体型自律エージェントを構築することは、AIの主要な課題の1つです。 現在のアプローチは、非常に単純で非多様な社会状況におけるコミュニケーションツールとして言語に焦点を当てています。 人間レベルのAIを目指すためには、より広範な社会的スキルが必要であると私たちは主張します。
  論文  参考訳（メタデータ） (2021-04-27T14:16:29Z)
• PHASE: PHysically-grounded Abstract Social Events for Machine Social Perception [50.551003004553806]
  私たちは、物理的に根拠のある抽象的なソーシャルイベント、フェーズのデータセットを作成します。 フェーズは人間の実験によって検証され、人間は社会出来事において豊かな相互作用を知覚する。 ベースラインモデルとして,最新のフィードフォワードニューラルネットワークよりも優れたベイズ逆計画手法SIMPLEを導入する。
  論文  参考訳（メタデータ） (2021-03-02T18:44:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。