論文の概要: Personality-aware Human-centric Multimodal Reasoning: A New Task
- arxiv url: http://arxiv.org/abs/2304.02313v1
- Date: Wed, 5 Apr 2023 09:09:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-06 13:02:25.058521
- Title: Personality-aware Human-centric Multimodal Reasoning: A New Task
- Title（参考訳）: パーソナリティを考慮した人間中心型マルチモーダル推論:新しい課題
- Authors: Yaochen Zhu, Xiangqing Shen, Rui Xia
- Abstract要約: パーソナリティを意識した人間中心型マルチモーダル推論(Personality-aware HMR)タスクを導入する。
Myers-Briggs Type Indicator (MBTI) は、個人の個性を表現するために注釈付けされ、使用された。
実験の結果,人中心型マルチモーダル推論の性能を効果的に向上できることが示された。
- 参考スコア（独自算出の注目度）: 15.49953179170769
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal reasoning, an area of artificial intelligence that aims at make
inferences from multimodal signals such as vision, language and speech, has
drawn more and more attention in recent years. People with different
personalities may respond differently to the same situation. However, such
individual personalities were ignored in the previous studies. In this work, we
introduce a new Personality-aware Human-centric Multimodal Reasoning
(Personality-aware HMR) task, and accordingly construct a new dataset based on
The Big Bang Theory television shows, to predict the behavior of a specific
person at a specific moment, given the multimodal information of its past and
future moments. The Myers-Briggs Type Indicator (MBTI) was annotated and
utilized in the task to represent individuals' personalities. We benchmark the
task by proposing three baseline methods, two were adapted from the related
tasks and one was newly proposed for our task. The experimental results
demonstrate that personality can effectively improve the performance of
human-centric multimodal reasoning. To further solve the lack of personality
annotation in real-life scenes, we introduce an extended task called
Personality-predicted HMR, and propose the corresponding methods, to predict
the MBTI personality at first, and then use the predicted personality to help
multimodal reasoning. The experimental results show that our method can
accurately predict personality and achieves satisfactory multimodal reasoning
performance without relying on personality annotations.
- Abstract（参考訳）: マルチモーダル推論(multimodal reasoning)は、視覚、言語、音声といったマルチモーダル信号から推論することを目的とした人工知能の分野であり、近年ますます注目を集めている。
異なる個性を持つ人々は、同じ状況に対して異なる反応をすることができる。
しかし、このような個性は以前の研究では無視された。
本研究では,人間中心型マルチモーダル推論(Personality-aware Human-centric Multimodal Reasoning, Personality-aware HMR)タスクを導入し,その過去と未来についてのマルチモーダル情報から,特定の瞬間における特定の人物の行動を予測するために,The Big Bang Theory TV Showに基づく新しいデータセットを構築した。
Myers-Briggs Type Indicator (MBTI) は、個人の個性を表現するために注釈付きで使用された。
3つのベースラインメソッドを提案,2つは関連するタスクから適応し,1つはタスクに新たに提案された。
実験の結果,人中心型マルチモーダル推論の性能を効果的に向上できることが示された。
実写シーンにおけるパーソナリティアノテーションの欠如を解消するため,Personality-predicted HMRと呼ばれる拡張タスクを導入し,対応する手法を提案し,まずMBTIのパーソナリティを予測するとともに,予測されたパーソナリティを用いてマルチモーダル推論を支援する。
実験の結果,本手法は人格を正確に予測し,人格アノテーションに頼らずに満足なマルチモーダル推論性能が得られることが示された。
関連論文リスト
- Multi-Transmotion: Pre-trained Model for Human Motion Prediction [68.87010221355223]
マルチトランスモーション(Multi-Transmotion)は、モダリティ事前トレーニング用に設計された革新的なトランスフォーマーベースのモデルである。
提案手法は,下流タスクにおける各種データセット間の競合性能を示す。
論文 参考訳（メタデータ） (2024-11-04T23:15:21Z) - PersonalityScanner: Exploring the Validity of Personality Assessment Based on Multimodal Signals in Virtual Reality [44.15145632980038]
PersonalityScannerは、認知プロセスを刺激し、日々の行動をシミュレートするVRシミュレータである。
ビデオ、音声、テキスト、アイトラッキング、顔のマイクロ圧縮、ポーズ、深度データ、ログ、慣性測定ユニットを含む10つのモードの同期マルチモーダルデータセットを収集する。
論文 参考訳（メタデータ） (2024-07-29T06:17:41Z) - PsyCoT: Psychological Questionnaire as Powerful Chain-of-Thought for
Personality Detection [50.66968526809069]
PsyCoTと呼ばれる新しい人格検出手法を提案する。これは、個人がマルチターン対話方式で心理的質問を完遂する方法を模倣するものである。
実験の結果,PsyCoTは人格検出におけるGPT-3.5の性能とロバスト性を大幅に向上させることがわかった。
論文 参考訳（メタデータ） (2023-10-31T08:23:33Z) - Editing Personality for Large Language Models [73.59001811199823]
本稿では,Large Language Models (LLMs) の性格特性の編集に焦点をあてた革新的なタスクを紹介する。
このタスクに対処する新しいベンチマークデータセットであるPersonalityEditを構築します。
論文 参考訳（メタデータ） (2023-10-03T16:02:36Z) - Learning signatures of decision making from many individuals playing the
same game [54.33783158658077]
我々は、個人の「行動スタイル」を符号化する表現を学習する予測フレームワークを設計する。
我々は,3本腕のバンディットタスクを行う1,000人の人間による大規模行動データセットに本手法を適用した。
論文 参考訳（メタデータ） (2023-02-21T21:41:53Z) - Domain-specific Learning of Multi-scale Facial Dynamics for Apparent
Personality Traits Prediction [3.19935268158731]
本稿では,新しい映像に基づく人格特徴認識手法を提案する。
本研究は,(1)人格関係の短期的顔行動の特徴を抽出する顔行動モデリングモジュール,(2)ビデオの短期的特徴をすべて長期的・ビデオレベルの人格表現として要約する顔行動モデリングモジュール,(3)全ての特徴間の関係をモデル化し,映像レベルの人格表現に基づいて共同で予測する人格特性予測モジュールからなる。
論文 参考訳（メタデータ） (2022-09-09T07:08:55Z) - Two-Faced Humans on Twitter and Facebook: Harvesting Social Multimedia
for Human Personality Profiling [74.83957286553924]
我々は、"PERS"と呼ばれる新しい多視点融合フレームワークを適用して、マイアーズ・ブリッグス・パーソナリティ・タイプインジケータを推定する。
実験の結果,多視点データからパーソナリティ・プロファイリングを学習する能力は,多様なソーシャル・マルチメディア・ソースからやってくるデータを効率的に活用できることが示唆された。
論文 参考訳（メタデータ） (2021-06-20T10:48:49Z) - Multitask Learning for Emotion and Personality Detection [17.029426018676997]
本研究では,人格特性と感情行動の相関関係を解明し,新しいマルチタスク学習フレームワークSoGMTLを提案する。
当社の計算効率の高いCNNベースのマルチタスクモデルは、複数の有名なパーソナリティおよび感情データセットにわたる最先端のパフォーマンスを実現します。
論文 参考訳（メタデータ） (2021-01-07T03:09:55Z) - Model-agnostic Fits for Understanding Information Seeking Patterns in
Humans [0.0]
不確実な意思決定タスクでは、人間はそのタスクに関連する情報を探し、統合し、行動する際、特徴的なバイアスを示す。
ここでは,これらのバイアスを総合的に測定・分類した,大規模に収集した先行設計実験のデータを再検討した。
これらのバイアスを集約的に再現するディープラーニングモデルを設計し、個々の行動の変化を捉えます。
論文 参考訳（メタデータ） (2020-12-09T04:34:58Z) - Vyaktitv: A Multimodal Peer-to-Peer Hindi Conversations based Dataset
for Personality Assessment [50.15466026089435]
本稿では,ピアツーピアのHindi会話データセットであるVyaktitvを提案する。
参加者の高品質な音声とビデオの録音と、会話ごとにヒングリッシュのテキストによる書き起こしで構成されている。
データセットには、収入、文化的指向など、すべての参加者のための豊富な社会デコグラフィー的特徴が含まれています。
論文 参考訳（メタデータ） (2020-08-31T17:44:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。