Fugu-MT 論文翻訳(概要): Personality-aware Human-centric Multimodal Reasoning: A New Task, Dataset and Baselines

論文の概要: Personality-aware Human-centric Multimodal Reasoning: A New Task, Dataset and Baselines

arxiv url: http://arxiv.org/abs/2304.02313v2
Date: Mon, 4 Mar 2024 12:33:46 GMT
ステータス: 処理完了
システム内更新日: 2024-03-07 03:47:23.420431
Title: Personality-aware Human-centric Multimodal Reasoning: A New Task, Dataset and Baselines
Title（参考訳）: パーソナリティを考慮した人間中心型マルチモーダル推論:新しいタスク,データセット,ベースライン
Authors: Yaochen Zhu, Xiangqing Shen, Rui Xia
Abstract要約: 我々はPersonality-aware Human-centric Multimodal Reasoning (PHMR) (T1)と呼ばれる新しいタスクを導入する。課題は、過去の事例から得たマルチモーダル情報を用いて、個性要素を統合しながら、特定の個人の将来行動を予測することである。実験の結果,性格特性を取り入れることで,人間中心の多モーダル推論性能が向上することが示された。
参考スコア（独自算出の注目度）: 32.82738983843281
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Personality traits, emotions, and beliefs shape individuals' behavioral choices and decision-making processes. However, for one thing, the affective computing community normally focused on predicting personality traits but overlooks their application in behavior prediction. For another, the multimodal reasoning task emphasized the prediction of future states and behaviors but often neglected the incorporation of individual personality traits. In this work, we introduce a new task called Personality-aware Human-centric Multimodal Reasoning (PHMR) (T1), with the goal of forecasting the future behavior of a particular individual using multimodal information from past instances, while integrating personality factors. We accordingly construct a new dataset based on six television shows, encompassing 225 characters and 12k samples. To establish a benchmark for the task, we propose seven baseline methods: three adapted from related tasks, two pre-trained model, and two multimodal large language models. The experimental results demonstrate that incorporating personality traits enhances human-centric multimodal reasoning performance. To further solve the lack of personality annotation in real-life scenes, we introduce an extension task called Personality-predicted Human-centric Multimodal Reasoning task (T2) along with the corresponding dataset and method. We will make our dataset and code available on GitHub.
Abstract（参考訳）: 性格特性、感情、信念は個人の行動選択と意思決定プロセスを形成する。しかし、情緒的コンピューティングコミュニティは通常、パーソナリティ特性の予測に焦点を当てているが、行動予測における応用を見落としている。別の例として、マルチモーダル推論タスクは将来の状態や行動の予測を強調したが、個性的特徴の組み入れをしばしば無視していた。本研究は,パーソナリティを意識した人間中心マルチモーダル推論(phmr:human-centric multimodal reasoning, phmr)と呼ばれる新しいタスクを提案する。 225文字と1kサンプルを包含する6つのテレビ番組に基づくデータセットを構築した。タスクのベンチマークを確立するために,関連するタスクから適応した3つのベースライン,事前学習された2つのモデル,マルチモーダルな2つの大規模言語モデルを提案する。実験結果から,人中心型マルチモーダル推論性能が向上することが示唆された。実生活シーンにおけるパーソナリティアノテーションの欠如を更に解決するため,人間中心型マルチモーダル推論タスク(T2)と呼ばれる拡張タスクと対応するデータセットとメソッドを導入する。データセットとコードはGitHubで公開します。

関連論文リスト

Multi-Transmotion: Pre-trained Model for Human Motion Prediction [68.87010221355223]
マルチトランスモーション(Multi-Transmotion)は、モダリティ事前トレーニング用に設計された革新的なトランスフォーマーベースのモデルである。提案手法は,下流タスクにおける各種データセット間の競合性能を示す。
論文参考訳（メタデータ） (2024-11-04T23:15:21Z)
PersonalityScanner: Exploring the Validity of Personality Assessment Based on Multimodal Signals in Virtual Reality [44.15145632980038]
PersonalityScannerは、認知プロセスを刺激し、日々の行動をシミュレートするVRシミュレータである。ビデオ、音声、テキスト、アイトラッキング、顔のマイクロ圧縮、ポーズ、深度データ、ログ、慣性測定ユニットを含む10つのモードの同期マルチモーダルデータセットを収集する。
論文参考訳（メタデータ） (2024-07-29T06:17:41Z)
PsyCoT: Psychological Questionnaire as Powerful Chain-of-Thought for Personality Detection [50.66968526809069]
PsyCoTと呼ばれる新しい人格検出手法を提案する。これは、個人がマルチターン対話方式で心理的質問を完遂する方法を模倣するものである。実験の結果,PsyCoTは人格検出におけるGPT-3.5の性能とロバスト性を大幅に向上させることがわかった。
論文参考訳（メタデータ） (2023-10-31T08:23:33Z)
Editing Personality for Large Language Models [73.59001811199823]
本稿では,Large Language Models (LLMs) の性格特性の編集に焦点をあてた革新的なタスクを紹介する。このタスクに対処する新しいベンチマークデータセットであるPersonalityEditを構築します。
論文参考訳（メタデータ） (2023-10-03T16:02:36Z)
Learning signatures of decision making from many individuals playing the same game [54.33783158658077]
我々は、個人の「行動スタイル」を符号化する表現を学習する予測フレームワークを設計する。我々は,3本腕のバンディットタスクを行う1,000人の人間による大規模行動データセットに本手法を適用した。
論文参考訳（メタデータ） (2023-02-21T21:41:53Z)
Domain-specific Learning of Multi-scale Facial Dynamics for Apparent Personality Traits Prediction [3.19935268158731]
本稿では,新しい映像に基づく人格特徴認識手法を提案する。本研究は,(1)人格関係の短期的顔行動の特徴を抽出する顔行動モデリングモジュール,(2)ビデオの短期的特徴をすべて長期的・ビデオレベルの人格表現として要約する顔行動モデリングモジュール,(3)全ての特徴間の関係をモデル化し,映像レベルの人格表現に基づいて共同で予測する人格特性予測モジュールからなる。
論文参考訳（メタデータ） (2022-09-09T07:08:55Z)
Two-Faced Humans on Twitter and Facebook: Harvesting Social Multimedia for Human Personality Profiling [74.83957286553924]
我々は、"PERS"と呼ばれる新しい多視点融合フレームワークを適用して、マイアーズ・ブリッグス・パーソナリティ・タイプインジケータを推定する。実験の結果,多視点データからパーソナリティ・プロファイリングを学習する能力は,多様なソーシャル・マルチメディア・ソースからやってくるデータを効率的に活用できることが示唆された。
論文参考訳（メタデータ） (2021-06-20T10:48:49Z)
Multitask Learning for Emotion and Personality Detection [17.029426018676997]
本研究では,人格特性と感情行動の相関関係を解明し,新しいマルチタスク学習フレームワークSoGMTLを提案する。当社の計算効率の高いCNNベースのマルチタスクモデルは、複数の有名なパーソナリティおよび感情データセットにわたる最先端のパフォーマンスを実現します。
論文参考訳（メタデータ） (2021-01-07T03:09:55Z)
Model-agnostic Fits for Understanding Information Seeking Patterns in Humans [0.0]
不確実な意思決定タスクでは、人間はそのタスクに関連する情報を探し、統合し、行動する際、特徴的なバイアスを示す。ここでは,これらのバイアスを総合的に測定・分類した,大規模に収集した先行設計実験のデータを再検討した。これらのバイアスを集約的に再現するディープラーニングモデルを設計し、個々の行動の変化を捉えます。
論文参考訳（メタデータ） (2020-12-09T04:34:58Z)
Vyaktitv: A Multimodal Peer-to-Peer Hindi Conversations based Dataset for Personality Assessment [50.15466026089435]
本稿では,ピアツーピアのHindi会話データセットであるVyaktitvを提案する。参加者の高品質な音声とビデオの録音と、会話ごとにヒングリッシュのテキストによる書き起こしで構成されている。データセットには、収入、文化的指向など、すべての参加者のための豊富な社会デコグラフィー的特徴が含まれています。
論文参考訳（メタデータ） (2020-08-31T17:44:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。