論文の概要: Deception Detection in Dyadic Exchanges Using Multimodal Machine Learning: A Study on a Swedish Cohort

• arxiv url: http://arxiv.org/abs/2506.21429v1
• Date: Thu, 26 Jun 2025 16:11:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-27 19:53:10.18228
• Title: Deception Detection in Dyadic Exchanges Using Multimodal Machine Learning: A Study on a Swedish Cohort
• Title（参考訳）: マルチモーダル機械学習を用いたダイアディック取引所の誤認検出:スウェーデンのコホートについて
• Authors: Franco Rugolon, Thomas Jack Samuels, Stephan Hau, Lennart Högman,
• Abstract要約: 本研究は,マルチモーダル機械学習技術を用いて,ディヤド相互作用の誤認を検出することの有効性について検討する。 私たちは、オーディオとビデオデータ、具体的にはアクションユニットと視線情報を利用して、早期と後期の融合アプローチを比較します。 その結果, 音声情報と顔情報の両方を組み込むことで, 単一モダリティ手法よりも優れた性能が得られることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This study investigates the efficacy of using multimodal machine learning techniques to detect deception in dyadic interactions, focusing on the integration of data from both the deceiver and the deceived. We compare early and late fusion approaches, utilizing audio and video data - specifically, Action Units and gaze information - across all possible combinations of modalities and participants. Our dataset, newly collected from Swedish native speakers engaged in truth or lie scenarios on emotionally relevant topics, serves as the basis for our analysis. The results demonstrate that incorporating both speech and facial information yields superior performance compared to single-modality approaches. Moreover, including data from both participants significantly enhances deception detection accuracy, with the best performance (71%) achieved using a late fusion strategy applied to both modalities and participants. These findings align with psychological theories suggesting differential control of facial and vocal expressions during initial interactions. As the first study of its kind on a Scandinavian cohort, this research lays the groundwork for future investigations into dyadic interactions, particularly within psychotherapy settings.
• Abstract（参考訳）: 本研究では,マルチモーダル機械学習技術を用いて,デバイバとデバイバの両方からのデータの統合に着目し,ディバイダ間相互作用の誤認を検出する方法の有効性について検討した。 我々は、あらゆる可能なモダリティと参加者の組み合わせに対して、オーディオとビデオデータ(特にアクションユニットと視線情報)を利用する、早期と後期の融合アプローチを比較します。 スウェーデンの母語話者から新たに収集されたデータセットは、感情的な話題に関するシナリオを偽り、分析の基盤となっている。 その結果, 音声情報と顔情報の両方を組み込むことで, 単一モダリティ手法よりも優れた性能が得られることがわかった。 さらに, 両参加者のデータを含むと, 偽造検出精度が著しく向上し, 最適性能(71%) は, 遅発融合戦略を用いて達成される。 これらの知見は、初期相互作用における表情と声の差分制御を示唆する心理学的理論と一致している。 スカンジナビアのコホートに関する最初の研究として、この研究は、特に心理療法の環境でのダイアド相互作用の研究の基盤となる。

関連論文リスト

• Multimodal Fusion with LLMs for Engagement Prediction in Natural Conversation [70.52558242336988]
  我々は,不関心や混乱の兆候を検出することを目的として,言語的および非言語的手がかりを精査することにより,ダイアディック的相互作用における係り合いを予測することに焦点を当てた。 本研究では,カジュアルなダイアディック会話に携わる34人の参加者を対象に,各会話の最後に自己報告されたエンゲージメント評価を行うデータセットを収集する。 大規模言語モデル(LLMs)を用いた新たな融合戦略を導入し,複数行動モダリティをマルチモーダル・トランスクリプトに統合する。
  論文  参考訳（メタデータ） (2024-09-13T18:28:12Z)
• A Study on Bias Detection and Classification in Natural Language Processing [2.908482270923597]
  我々の研究の目的は、ヘイトスピーチの検出と分類のタスクにおいて、公開データセットをもっとうまく組み合わせてモデルを訓練する方法を決定することである。 我々は,これらの課題を実験の展開と合わせて議論し,異なるデータセットの組み合わせがモデルの性能に大きな影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2024-08-14T11:49:24Z)
• Re-mine, Learn and Reason: Exploring the Cross-modal Semantic Correlations for Language-guided HOI detection [57.13665112065285]
  ヒューマンオブジェクトインタラクション(HOI)検出は、コンピュータビジョンの課題である。 本稿では,構造化テキスト知識を組み込んだHOI検出フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-25T14:20:52Z)
• Multimodal Learning Without Labeled Multimodal Data: Guarantees and Applications [90.6849884683226]
  ラベル付き単調データのみを用いた半教師付き環境における相互作用定量化の課題について検討する。 相互作用の正確な情報理論的定義を用いて、我々の重要な貢献は下界と上界の導出である。 本稿では、これらの理論結果を用いてマルチモーダルモデルの性能を推定し、データ収集をガイドし、様々なタスクに対して適切なマルチモーダルモデルを選択する方法について述べる。
  論文  参考訳（メタデータ） (2023-06-07T15:44:53Z)
• Expanding the Role of Affective Phenomena in Multimodal Interaction Research [57.069159905961214]
  マルチモーダルインタラクション, 感情計算, 自然言語処理において, 選ばれたカンファレンスから16,000以上の論文を調査した。 本論文では,感情関連論文910を同定し,情緒現象の役割について分析した。 我々は、人間の社会的行動や認知状態の機械的理解を高めるために、AIシステムによって感情と感情の予測がどのように使用されるかについて、限られた研究結果を得た。
  論文  参考訳（メタデータ） (2023-05-18T09:08:39Z)
• Co-Located Human-Human Interaction Analysis using Nonverbal Cues: A Survey [71.43956423427397]
  本研究の目的は,非言語的キューと計算手法を同定し,効果的な性能を実現することである。 この調査は、最も広い範囲の社会現象と相互作用設定を巻き込むことによって、相手と異なる。 もっともよく使われる非言語キュー、計算方法、相互作用環境、センシングアプローチは、それぞれマイクとカメラを備えた3,4人で構成される会話活動、ベクターマシンのサポート、ミーティングである。
  論文  参考訳（メタデータ） (2022-07-20T13:37:57Z)
• Towards Understanding Confusion and Affective States Under Communication Failures in Voice-Based Human-Machine Interaction [8.602681427083553]
  本稿では,音声に基づく人間と機械のインタラクションにおけるユーザの感情状態を理解するための2つの研究について述べる。 研究は,(1)音声ベースの仮想エージェントとのコミュニケーションに関連する2つのタスクから成っている。(1) 機械に話しかけ,機械が何を言っているかを理解すること,(2) 参加者がパズルや謎を解くが,機械への回答を口頭で説明するよう求められる非コミュニケーション関連,問題解決タスクである。
  論文  参考訳（メタデータ） (2022-07-15T18:32:48Z)
• Towards Unbiased Visual Emotion Recognition via Causal Intervention [63.74095927462]
  本稿では,データセットバイアスによる負の効果を軽減するために,新しい感情認識ネットワーク(IERN)を提案する。 IERNの有効性を検証する一連の設計されたテストと、3つの感情ベンチマークの実験は、IERNが他の最先端のアプローチよりも優れていることを示した。
  論文  参考訳（メタデータ） (2021-07-26T10:40:59Z)
• Video Sentiment Analysis with Bimodal Information-augmented Multi-Head Attention [7.997124140597719]
  本研究では,複数のモダリティの時系列データを含むビデオの感情分析に注目する。 重要な問題は、これらの異種データをどのように融合するかです。 バイモーダル相互作用に基づいて、より重要なバイモーダル特徴はより大きな重みが割り当てられる。
  論文  参考訳（メタデータ） (2021-03-03T12:30:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。