論文の概要: Explainable Human-centered Traits from Head Motion and Facial Expression Dynamics

• arxiv url: http://arxiv.org/abs/2302.09817v2
• Date: Thu, 23 Feb 2023 15:46:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-24 11:57:54.740879
• Title: Explainable Human-centered Traits from Head Motion and Facial Expression Dynamics
• Title（参考訳）: 頭部運動と表情動態から説明可能な人間中心特性
• Authors: Surbhi Madan, Monika Gahalawat, Tanaya Guha, Roland Goecke and Ramanathan Subramanian
• Abstract要約: 本研究は,多モーダルな行動規範による人格予測と面接特有な特徴の解明に有効であることを示す。 我々は,これらの特徴を推定するために,キネム(kinemes)という基本的な頭部運動単位,行動単位と呼ばれる原子顔の動き,および音声特徴を利用する。 融合の方法として、意思決定と特徴レベルの融合、付加的な注意に基づく融合戦略について検討する。
• 参考スコア（独自算出の注目度）: 13.050530440884934
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We explore the efficacy of multimodal behavioral cues for explainable prediction of personality and interview-specific traits. We utilize elementary head-motion units named kinemes, atomic facial movements termed action units and speech features to estimate these human-centered traits. Empirical results confirm that kinemes and action units enable discovery of multiple trait-specific behaviors while also enabling explainability in support of the predictions. For fusing cues, we explore decision and feature-level fusion, and an additive attention-based fusion strategy which quantifies the relative importance of the three modalities for trait prediction. Examining various long-short term memory (LSTM) architectures for classification and regression on the MIT Interview and First Impressions Candidate Screening (FICS) datasets, we note that: (1) Multimodal approaches outperform unimodal counterparts; (2) Efficient trait predictions and plausible explanations are achieved with both unimodal and multimodal approaches, and (3) Following the thin-slice approach, effective trait prediction is achieved even from two-second behavioral snippets.
• Abstract（参考訳）: パーソナリティと面接特有の特徴を説明可能な予測にマルチモーダル行動手がかりの有効性を検討する。 頭部運動単位であるkinemes,行動単位と呼ばれる原子性顔面運動,発話特徴を用いて,これらの人間中心の特徴を推定する。 実験の結果、キネムとアクションユニットは複数の特性特異的な振る舞いの発見を可能にすると同時に、予測をサポートするための説明可能性も実現している。 そこで我々は,特徴予測のための3つのモードの相対的重要性を定量化する付加的な注意に基づく融合戦略について検討する。 mitインタビューと第1印象候補スクリーニング(fics)データセットにおける分類と回帰のための様々なlong-short term memory(lstm)アーキテクチャについて検討し、(1)マルチモーダルアプローチがユニモーダルアプローチよりも優れていること、(2)効率的な特性予測と説明がユニモーダルとマルチモーダルの両方で達成されていること、(3)シンスライスアプローチに従って、2秒の動作スニペットからでも効果的な特性予測が達成されていることを指摘した。

関連論文リスト

• Graph Stochastic Neural Process for Inductive Few-shot Knowledge Graph Completion [63.68647582680998]
  I-FKGC(inductive few-shot knowledge graph completion)と呼ばれる課題に焦点をあてる。 帰納的推論(inductive reasoning)の概念に着想を得て,I-FKGCを帰納的推論問題とした。 本稿では,仮説の連成分布をモデル化したニューラルプロセスに基づく仮説抽出器を提案する。 第2のモジュールでは、この仮説に基づいて、クエリセットのトリプルが抽出された仮説と一致するかどうかをテストするグラフアテンションベースの予測器を提案する。
  論文  参考訳（メタデータ） (2024-08-03T13:37:40Z)
• A Multi-Task, Multi-Modal Approach for Predicting Categorical and Dimensional Emotions [0.0]
  分類的・次元的な感情を予測するマルチタスク・マルチモーダルシステムを提案する。 その結果,2種類の感情の相互規則化の重要性が強調された。
  論文  参考訳（メタデータ） (2023-12-31T16:48:03Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)
• A Dual-Perspective Approach to Evaluating Feature Attribution Methods [40.73602126894125]
  本稿では,直観的特性を明らかにする忠実度パラダイムの中で,音性と完全性という2つの新しい視点を提案する。 健全性は、どの特徴が真に予測的特徴であるかを評価する一方、完全性は、結果の帰属が予測的特徴をどの程度うまく明らかにするかを調べる。 これらのメトリクスを主流属性法に適用し、特徴属性法を解析・比較するための新しいレンズを提供する。
  論文  参考訳（メタデータ） (2023-08-17T12:41:04Z)
• Qualitative Prediction of Multi-Agent Spatial Interactions [5.742409080817885]
  我々は,密集シーンにおけるマルチエージェントインタラクションをモデル化し,予測するための3つの新しいアプローチを提示し,ベンチマークする。 提案手法は、個々の相互作用を予測する静的および動的コンテキストを考慮したものである。 彼らはインプット・アンド・タイムアテンション・メカニズムを利用し、中・長期の地平線でテストされる。
  論文  参考訳（メタデータ） (2023-06-30T18:08:25Z)
• Multimodal Fusion Interactions: A Study of Human and Automatic Quantification [116.55145773123132]
  我々は、人間がマルチモーダル相互作用の2つの分類に注釈を付ける方法を研究する。 本稿では,部分的および対実的ラベルのアノテーションを情報分解に自動的に変換する手法を提案する。
  論文  参考訳（メタデータ） (2023-06-07T03:44:50Z)
• Variational Distillation for Multi-View Learning [104.17551354374821]
  我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。 厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
  論文  参考訳（メタデータ） (2022-06-20T03:09:46Z)
• Learning Theory of Mind via Dynamic Traits Attribution [59.9781556714202]
  本稿では,過去のトラジェクトリからアクターの潜在特性ベクトルを生成するニューラルToMアーキテクチャを提案する。 この特性ベクトルは、予測ニューラルネットワークの高速重み付けスキームを介して予測機構を乗法的に変調する。 実験により,高速重量はエージェントの特性をモデル化し,マインドリーディング能力を向上させるために優れた誘導バイアスを与えることが示された。
  論文  参考訳（メタデータ） (2022-04-17T11:21:18Z)
• Head Matters: Explainable Human-centered Trait Prediction from Head Motion Dynamics [15.354601615061814]
  本研究は,行動分析におけるキネム(kiinemes)と呼ばれる初等頭部運動ユニットの有用性を実証する。 頭の動きパターンを一連のキネムに変換することで、標的となる特徴を特徴付ける潜時的なシグネチャの発見が容易になる。
  論文  参考訳（メタデータ） (2021-12-15T12:17:59Z)
• Interactive Fusion of Multi-level Features for Compositional Activity Recognition [100.75045558068874]
  インタラクティブな融合によってこの目標を達成する新しいフレームワークを提案する。 本フレームワークは,位置から出現までの特徴抽出,意味的特徴の相互作用,意味から位置への予測という3つのステップで実装する。 我々は,2つの行動認識データセット,SomethingとCharadesに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2020-12-10T14:17:18Z)
• Pedestrian Behavior Prediction via Multitask Learning and Categorical Interaction Modeling [13.936894582450734]
  マルチモーダルデータに頼って歩行者の軌跡や行動を同時に予測するマルチタスク学習フレームワークを提案する。 本モデルでは, トラジェクティブと動作予測を最大22%, 6%向上させる。
  論文  参考訳（メタデータ） (2020-12-06T15:57:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。