論文の概要: Towards Multimodal Human Intention Understanding Debiasing via
Subject-Deconfounding
- arxiv url: http://arxiv.org/abs/2403.05025v1
- Date: Fri, 8 Mar 2024 04:03:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-11 21:07:54.108739
- Title: Towards Multimodal Human Intention Understanding Debiasing via
Subject-Deconfounding
- Title(参考訳): マルチモーダルヒューマンインテンション理解のデバイアス化に向けて
- Authors: Dingkang Yang, Dongling Xiao, Ke Li, Yuzheng Wang, Zhaoyu Chen, Jinjie
Wei, Lihua Zhang
- Abstract要約: 本研究では,非保守的共同創設者として働く被験者の影響を抑えるために,因果介入モジュールであるSuCIを提案する。
プラグアンドプレイコンポーネントとして、SuCIは偏見のない予測を求めるほとんどの方法に広く適用することができる。
- 参考スコア(独自算出の注目度): 15.525357031558753
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal intention understanding (MIU) is an indispensable component of
human expression analysis (e.g., sentiment or humor) from heterogeneous
modalities, including visual postures, linguistic contents, and acoustic
behaviors. Existing works invariably focus on designing sophisticated
structures or fusion strategies to achieve impressive improvements.
Unfortunately, they all suffer from the subject variation problem due to data
distribution discrepancies among subjects. Concretely, MIU models are easily
misled by distinct subjects with different expression customs and
characteristics in the training data to learn subject-specific spurious
correlations, significantly limiting performance and generalizability across
uninitiated subjects.Motivated by this observation, we introduce a
recapitulative causal graph to formulate the MIU procedure and analyze the
confounding effect of subjects. Then, we propose SuCI, a simple yet effective
causal intervention module to disentangle the impact of subjects acting as
unobserved confounders and achieve model training via true causal effects. As a
plug-and-play component, SuCI can be widely applied to most methods that seek
unbiased predictions. Comprehensive experiments on several MIU benchmarks
clearly demonstrate the effectiveness of the proposed module.
- Abstract(参考訳): マルチモーダル意図理解(multimodal intent understanding, miu)は、視覚姿勢、言語内容、音響行動など、異質なモダリティから人間表現分析(例えば感情やユーモア)に欠かせない要素である。
既存の作品は、印象的な改善を達成するために、洗練された構造や融合戦略を設計することに集中しています。
残念ながら、各被験者はデータ分散の相違により、被験者の変動に悩まされる。
具体的には、MIUモデルは、異なる表現習慣と訓練データの特徴を持つ個別の被験者によって容易に誤解され、被検者間での性能と一般化性を著しく制限し、MIUの手順を定式化し、被検者の結束効果を分析するために再カプセル化因果グラフを導入する。
そこで本研究では,無観測共同創設者として行動する被験者の影響を解消し,真の因果効果によるモデルトレーニングを実現するための,シンプルで効果的な因果介入モジュールSuCIを提案する。
プラグアンドプレイコンポーネントとして、SuCIは偏見のない予測を求めるほとんどの方法に広く適用することができる。
複数のMIUベンチマークの総合的な実験により,提案モジュールの有効性が明らかとなった。
関連論文リスト
- Towards Multimodal Sentiment Analysis Debiasing via Bias Purification [21.874393778398765]
マルチモーダル・センティメント・アナリティクス(MSA)は、多様なモダリティから感情に関連する手がかりを統合することで、人間の意図を理解することを目的としている。
MSAタスクは、計画されていないデータセットバイアス、特にマルチモーダル発話レベルのラベルバイアスと単語レベルのコンテキストバイアスに悩まされる。
本稿では,従来の可能性ではなく因果関係に基づくマルチモーダル・カウンターファクト・インジェクチャ・インセプティメント分析フレームワークを提案する。
論文 参考訳(メタデータ) (2024-03-08T03:55:27Z) - Revealing Multimodal Contrastive Representation Learning through Latent
Partial Causal Models [85.67870425656368]
マルチモーダルデータに特化して設計された統一因果モデルを提案する。
マルチモーダル・コントラスト表現学習は潜在結合変数の同定に優れていることを示す。
実験では、仮定が破られたとしても、我々の発見の堅牢性を示す。
論文 参考訳(メタデータ) (2024-02-09T07:18:06Z) - Triple Disentangled Representation Learning for Multimodal Affective
Analysis [22.27805914323415]
マルチモーダル学習は感情分析タスクにおいて大きな優位性を示した。
多くの新しい研究は、入力データからモダリティ不変およびモダリティ固有表現を切り離し、予測のためにそれらを融合することに焦点を当てている。
入力データから、モダリティ不変量、有効モダリティ特化度、非効率モダリティ特化度をアンタングル化する新しい三重非アンタングル化手法TriDiRAを提案する。
論文 参考訳(メタデータ) (2024-01-29T12:45:27Z) - Unraveling the Temporal Dynamics of the Unet in Diffusion Models [33.326244121918634]
拡散モデルはガウスノイズをトレーニングデータに導入し、元のデータを反復的に再構築する。
この反復プロセスの中心は単一のUnetであり、生成を容易にするために時間ステップを越えて適応する。
近年の研究では, この生成過程における組成および脱臭相の存在が明らかにされている。
論文 参考訳(メタデータ) (2023-12-17T04:40:33Z) - Mitigating Biases with Diverse Ensembles and Diffusion Models [99.6100669122048]
拡散確率モデル(DPM)を利用したアンサンブル多様化フレームワークを提案する。
DPMは、相関した入力特徴を示すサンプルを用いて訓練しても、新しい特徴の組み合わせで画像を生成することができることを示す。
そこで本研究では,DPM誘導の多様化は,制御信号の追加を必要とせず,一次ショートカットキューへの依存を取り除くのに十分であることを示す。
論文 参考訳(メタデータ) (2023-11-23T15:47:33Z) - Exploiting Modality-Specific Features For Multi-Modal Manipulation
Detection And Grounding [54.49214267905562]
マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。
本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。
本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
論文 参考訳(メタデータ) (2023-09-22T06:55:41Z) - Multimodal Imbalance-Aware Gradient Modulation for Weakly-supervised
Audio-Visual Video Parsing [107.031903351176]
弱分離型音声視覚ビデオ解析(WS-AVVP)は、音声、視覚および音声視覚イベントインスタンスの時間的範囲をローカライズすることを目的としている。
WS-AVVPは、トレーニング用にビデオレベルのカテゴリラベルのみを使用して、対応するイベントカテゴリを特定することを目的としている。
論文 参考訳(メタデータ) (2023-07-05T05:55:10Z) - Context De-confounded Emotion Recognition [12.037240778629346]
コンテキストアウェア感情認識(CAER)は、対象者の感情状態を文脈情報で知覚することを目的としている。
長年見過ごされてきた問題は、既存のデータセットのコンテキストバイアスが感情状態のかなり不均衡な分布をもたらすことである。
本稿では、そのようなバイアスの影響からモデルを切り離し、CAERタスクにおける変数間の因果関係を定式化する因果関係に基づく視点を提供する。
論文 参考訳(メタデータ) (2023-03-21T15:12:20Z) - Dynamic Latent Separation for Deep Learning [67.62190501599176]
機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。
本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
論文 参考訳(メタデータ) (2022-10-07T17:56:53Z) - Supervised Contrastive Learning for Affect Modelling [2.570570340104555]
情報に影響を及ぼすことを考慮に入れた訓練表現のための3つの異なる教師付きコントラスト学習手法を導入する。
その結果、コントラスト学習の表現能力と、影響モデルの精度を高めるための効率が示された。
論文 参考訳(メタデータ) (2022-08-25T17:40:19Z) - A Variational Information Bottleneck Approach to Multi-Omics Data
Integration [98.6475134630792]
本稿では,不完全な多視点観測のための深い変動情報ボトルネック (IB) 手法を提案する。
本手法は,対象物に関連のある視点内および視点間相互作用に焦点をあてるために,観測された視点の辺縁および結合表現にISBフレームワークを適用した。
実世界のデータセットの実験から、我々の手法はデータ統合から常に利益を得て、最先端のベンチマークより優れています。
論文 参考訳(メタデータ) (2021-02-05T06:05:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。