論文の概要: UpStory: the Uppsala Storytelling dataset
- arxiv url: http://arxiv.org/abs/2407.04352v1
- Date: Fri, 5 Jul 2024 08:46:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-08 14:09:46.648207
- Title: UpStory: the Uppsala Storytelling dataset
- Title（参考訳）: UpStory:Uppsalaストーリーテリングデータセット
- Authors: Marc Fraile, Natalia Calvo-Barajas, Anastasia Sophia Apeiron, Giovanna Varni, Joakim Lindblad, Nataša Sladoje, Ginevra Castellano,
- Abstract要約: UpStoryは、小学生間の自然主義的なダイアド相互作用のデータセットである。
データセットには35対のデータが含まれており、合計で3時間40mのオーディオとビデオが記録される。
データセットの匿名化バージョンが公開されており、フレーム単位のヘッドポーズ、ボディポーズ、顔の特徴が含まれている。
- 参考スコア（独自算出の注目度）: 2.7895834501191823
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Friendship and rapport play an important role in the formation of constructive social interactions, and have been widely studied in educational settings due to their impact on student outcomes. Given the growing interest in automating the analysis of such phenomena through Machine Learning (ML), access to annotated interaction datasets is highly valuable. However, no dataset on dyadic child-child interactions explicitly capturing rapport currently exists. Moreover, despite advances in the automatic analysis of human behaviour, no previous work has addressed the prediction of rapport in child-child dyadic interactions in educational settings. We present UpStory -- the Uppsala Storytelling dataset: a novel dataset of naturalistic dyadic interactions between primary school aged children, with an experimental manipulation of rapport. Pairs of children aged 8-10 participate in a task-oriented activity: designing a story together, while being allowed free movement within the play area. We promote balanced collection of different levels of rapport by using a within-subjects design: self-reported friendships are used to pair each child twice, either minimizing or maximizing pair separation in the friendship network. The dataset contains data for 35 pairs, totalling 3h 40m of audio and video recordings. It includes two video sources covering the play area, as well as separate voice recordings for each child. An anonymized version of the dataset is made publicly available, containing per-frame head pose, body pose, and face features; as well as per-pair information, including the level of rapport. Finally, we provide ML baselines for the prediction of rapport.
- Abstract（参考訳）: 友人関係とラプポートは、建設的な社会的相互作用の形成において重要な役割を担い、学生の成果に影響を及ぼすため、教育現場で広く研究されてきた。
機械学習(ML)を通じて、このような現象の分析を自動化することへの関心が高まっていることを考えると、注釈付きインタラクションデータセットへのアクセスは非常に貴重である。
しかしながら、ラプポートを明示的にキャプチャするダイズ児童の相互作用に関するデータセットは現存していない。
さらに、人間の行動の自動分析の進歩にもかかわらず、教育環境における児童と児童のダイアドの相互作用におけるラプポートの予測には、これまでの研究は対応していない。
UpStory - Uppsala Storytelling data: a novel dataset of naturalistic dyadic interaction between primary school old children, with a experimental operation of rapport。
8歳から10歳までの子どもたちのペアは、ストーリーを一緒にデザインし、プレイエリア内での自由な移動を許可するタスク指向の活動に参加します。
自己申告された友情は、友情ネットワークにおけるペア分離の最小化または最大化のいずれにおいても、それぞれの子どもを2度にペアリングするために使用される。
データセットには35対のデータが含まれており、合計3時間40mのオーディオとビデオが記録される。
プレイエリアをカバーしている2つのビデオソースと、子供ごとに別々の音声録音が含まれている。
データセットの匿名化バージョンが公開されており、フレーム単位のヘッドポーズ、ボディポーズ、顔の特徴、ラプポートのレベルを含むペアごとの情報が含まれている。
最後に,ラプポート予測のためのMLベースラインを提供する。
関連論文リスト
- Towards Student Actions in Classroom Scenes: New Dataset and Baseline [43.268586725768465]
複雑な教室シーンを対象とした,SAV(Multi-label student action video)データセットを提案する。
データセットは、758の教室から、4,324の慎重にトリミングされたビデオクリップで構成され、それぞれに15の教室で生徒が表示するアクションがラベル付けされている。
論文 参考訳（メタデータ） (2024-09-02T03:44:24Z) - InterAct: Capture and Modelling of Realistic, Expressive and Interactive Activities between Two Persons in Daily Scenarios [12.300105542672163]
我々は、2人の人物がシーケンス全体にわたって現実的なシナリオを実行する241のモーションシーケンスをキャプチャする。
両方の人の音声、身体の動き、表情はすべて、私たちのデータセットでキャプチャされます。
また,音声のみから2人の対話的動きを直接推定する拡散モデルに基づく最初のアプローチを示す。
論文 参考訳（メタデータ） (2024-05-19T22:35:02Z) - LEMON: Learning 3D Human-Object Interaction Relation from 2D Images [56.6123961391372]
人間の物体と物体の相互作用関係の学習は、AIと相互作用モデリングの具体化に不可欠である。
既存のほとんどの手法は、孤立した相互作用要素を予測することを学ぶことで目標に近づいている。
本稿では,相互の相互作用意図をマイニングし,幾何相関の抽出を導出するための曲率を用いた統一モデルLEMONを提案する。
論文 参考訳（メタデータ） (2023-12-14T14:10:57Z) - Learning From Free-Text Human Feedback -- Collect New Datasets Or Extend
Existing Ones? [57.16050211534735]
一般的な対話データセットにおける自由文フィードバックのタイプと頻度について検討する。
この結果から, エラータイプ, ユーザ応答タイプ, それらの関係性など, 調査したデータセットの構成に関する新たな知見が得られた。
論文 参考訳（メタデータ） (2023-10-24T12:01:11Z) - Action Class Relation Detection and Classification Across Multiple Video
Datasets [1.15520000056402]
我々は、アクションクラス関係の検出と分類という2つの新しい機械学習タスクについて検討する。
本稿では,クラスに関連する言語情報と視覚情報を用いて,アクションクラス間の関係を予測する統一モデルを提案する。
実験の結果, (i) テキストとビデオの事前学習した最近のニューラルネットワークモデルは高い予測性能に寄与し, (ii) アクションラベルテキストに基づく関係予測はビデオに基づくよりも正確であり, (iii) ブレンディングアプローチは, 場合によっては予測性能をさらに向上させることができることがわかった。
論文 参考訳（メタデータ） (2023-08-15T03:56:46Z) - BEHAVE: Dataset and Method for Tracking Human Object Interactions [105.77368488612704]
マルチビューのRGBDフレームとそれに対応する3D SMPLとオブジェクトをアノテートしたアノテートコンタクトに適合させる。
このデータを用いて、自然環境における人間と物体を、容易に使用可能なマルチカメラで共同で追跡できるモデルを学ぶ。
論文 参考訳（メタデータ） (2022-04-14T13:21:19Z) - JRDB-Act: A Large-scale Multi-modal Dataset for Spatio-temporal Action,
Social Group and Activity Detection [54.696819174421584]
大学構内環境における生活行動の実際の分布を反映したマルチモーダルデータセットであるJRDB-Actを紹介する。
JRDB-Actには280万以上のアクションラベルがある。
JRDB-Actは、現場での対話に基づいて個人をグループ化するタスクに着想を得た社会集団識別アノテーションが付属している。
論文 参考訳（メタデータ） (2021-06-16T14:43:46Z) - Watch and Learn: Mapping Language and Noisy Real-world Videos with
Self-supervision [54.73758942064708]
我々は、明示的なアノテーションを使わずに、文章と騒々しいビデオスニペットのマッピングを学習することで、視覚と自然言語を理解するように機械に教える。
トレーニングと評価のために、多数のオンラインビデオとサブタイトルを含む新しいデータセットApartmenTourをコントリビュートする。
論文 参考訳（メタデータ） (2020-11-19T03:43:56Z) - Vyaktitv: A Multimodal Peer-to-Peer Hindi Conversations based Dataset
for Personality Assessment [50.15466026089435]
本稿では,ピアツーピアのHindi会話データセットであるVyaktitvを提案する。
参加者の高品質な音声とビデオの録音と、会話ごとにヒングリッシュのテキストによる書き起こしで構成されている。
データセットには、収入、文化的指向など、すべての参加者のための豊富な社会デコグラフィー的特徴が含まれています。
論文 参考訳（メタデータ） (2020-08-31T17:44:28Z) - RKT : Relation-Aware Self-Attention for Knowledge Tracing [2.9778695679660188]
知識追跡のためのリレーショナル・アウェア・セルフアテンション・モデル(RKT)を提案する。
文脈情報を組み込んだ関係認識型自己認識層を導入する。
我々のモデルは最先端の知識追跡手法より優れている。
論文 参考訳（メタデータ） (2020-08-28T16:47:03Z) - Dyadic Speech-based Affect Recognition using DAMI-P2C Parent-child
Multimodal Interaction Dataset [29.858195646762297]
2人の話者による音声ストリームにおける各人の感情表現を認識するためのエンドツーエンドのディープラーニング手法を設計する。
提案手法は,対象話者の感情情報を含む領域に焦点を当てることが可能であることを示す。
論文 参考訳（メタデータ） (2020-08-20T20:53:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。