論文の概要: Counterfactual Reasoning for Out-of-distribution Multimodal Sentiment Analysis

• arxiv url: http://arxiv.org/abs/2207.11652v1
• Date: Sun, 24 Jul 2022 03:57:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-26 13:18:56.001714
• Title: Counterfactual Reasoning for Out-of-distribution Multimodal Sentiment Analysis
• Title（参考訳）: アウト・オブ・ディストリビューション型マルチモーダル感性分析のための因果推論
• Authors: Teng Sun, Wenjie Wang, Liqiang Jing, Yiran Cui, Xuemeng Song, Liqiang Nie
• Abstract要約: 本稿では,OODの高次一般化に対するテキストモダリティの悪影響を推定・緩和することを目的とする。 そこで本研究では,マルチモーダル感情分析のためのモデルに依存しない反現実的フレームワークを考案した。
• 参考スコア（独自算出の注目度）: 56.84237932819403
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing studies on multimodal sentiment analysis heavily rely on textual modality and unavoidably induce the spurious correlations between textual words and sentiment labels. This greatly hinders the model generalization ability. To address this problem, we define the task of out-of-distribution (OOD) multimodal sentiment analysis. This task aims to estimate and mitigate the bad effect of textual modality for strong OOD generalization. To this end, we embrace causal inference, which inspects the causal relationships via a causal graph. From the graph, we find that the spurious correlations are attributed to the direct effect of textual modality on the model prediction while the indirect one is more reliable by considering multimodal semantics. Inspired by this, we devise a model-agnostic counterfactual framework for multimodal sentiment analysis, which captures the direct effect of textual modality via an extra text model and estimates the indirect one by a multimodal model. During the inference, we first estimate the direct effect by the counterfactual inference, and then subtract it from the total effect of all modalities to obtain the indirect effect for reliable prediction. Extensive experiments show the superior effectiveness and generalization ability of our proposed framework.
• Abstract（参考訳）: 既存のマルチモーダル感情分析の研究は、テキストのモダリティに大きく依存しており、テキストの単語と感情ラベルの急激な相関を必然的に引き起こす。 これはモデル一般化能力を大きく阻害する。 この問題に対処するため,我々はout-of-distribution (ood) マルチモーダル感情分析のタスクを定義する。 本課題は,強いOOD一般化のためのテキストモダリティの悪影響を推定・緩和することを目的とする。 この目的のために、因果関係を因果グラフを用いて検査する因果関係推論を採用する。 グラフから、スプリアス相関はモデル予測に対するテクストモーダルモダリティの直接的な効果に起因し、間接相関はマルチモーダルセマンティクスを考えることによってより信頼性が高いことが分かる。 そこで本研究では,テキストモデルによるテキストモダリティの直接的効果を捉え,その間接的効果をマルチモーダルモデルにより推定する,マルチモーダル感情分析のためのモデル非依存の逆ファクトアルフレームワークを考案した。 提案手法では,まず,反現実的推論による直接効果を推定し,すべてのモーダルの全体効果から抽出し,信頼性のある予測のための間接効果を得る。 大規模な実験により,提案フレームワークの優れた有効性と一般化能力を示す。

関連論文リスト

• Robust Emotion Recognition in Context Debiasing [12.487614699507793]
  文脈認識型感情認識(CAER)は、近年、制約のない環境における感情コンピューティング技術の実践的応用を高めている。 進歩にもかかわらず、最大の課題は、コンテキストバイアスの干渉によるものである。 本稿では,このような問題に対処する対実的感情推定(CLEF)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-09T17:05:43Z)
• Towards Multimodal Sentiment Analysis Debiasing via Bias Purification [21.170000473208372]
  マルチモーダル・センティメント・アナリティクス(MSA)は、多様なモダリティから感情に関連する手がかりを統合することで、人間の意図を理解することを目的としている。 MSAタスクは、計画されていないデータセットバイアス、特にマルチモーダル発話レベルのラベルバイアスと単語レベルのコンテキストバイアスに悩まされる。 本稿では,従来の可能性ではなく因果関係に基づくマルチモーダル・カウンターファクト・インジェクチャ・インセプティメント分析フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-08T03:55:27Z)
• Debiasing Multimodal Sarcasm Detection with Contrastive Learning [5.43710908542843]
  コントラスト学習を伴うマルチモーダルサルカズム検出フレームワークを提案する。 特に,非類似な単語バイアスを持つ正のサンプルを構築するために,まず反実データ拡張を設計する。 我々は、モデルが堅牢なタスク関連特徴を学習できるようにするために、適応型偏りの対照的な学習メカニズムを考案する。
  論文  参考訳（メタデータ） (2023-12-16T16:14:50Z)
• Inducing Causal Structure for Abstractive Text Summarization [76.1000380429553]
  要約データの因果構造を誘導する構造因果モデル(SCM)を導入する。 本稿では因果的要因を模倣できる因果的表現を学習するための因果性インスピレーション付き系列列列モデル(CI-Seq2Seq)を提案する。 2つの広く使われているテキスト要約データセットの実験結果は、我々のアプローチの利点を示している。
  論文  参考訳（メタデータ） (2023-08-24T16:06:36Z)
• Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
  ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。 提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。 複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
  論文  参考訳（メタデータ） (2023-06-09T08:30:51Z)
• Interpretable multimodal sentiment analysis based on textual modality descriptions by using large-scale language models [1.4213973379473654]
  マルチモーダル感情分析は、ユーザの内部状態を理解する上で重要な領域である。 従来の研究は、注意重みやベクトル分布を使って解釈性を提供しようと試みてきた。 本研究では,非言語的モダリティをテキスト記述に変換することによって解釈可能性を実現する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-07T06:48:06Z)
• Disentangled Representation for Causal Mediation Analysis [25.114619307838602]
  因果媒介分析(英: Causal mediation analysis)は、直接的および間接的な効果を明らかにするためにしばしば用いられる方法である。 深層学習はメディエーション分析において有望であるが、現在の手法では、治療、メディエーター、結果に同時に影響を及ぼす潜在的共同創設者のみを前提としている。 そこで本研究では,助成金の表現を3つのタイプに分けて,自然的直接効果,自然間接効果,および全効果を正確に推定する,ディスタングル・メディエーション分析変分自動エンコーダ(DMAVAE)を提案する。
  論文  参考訳（メタデータ） (2023-02-19T23:37:17Z)
• Causal Intervention Improves Implicit Sentiment Analysis [67.43379729099121]
  インスツルメンタル・バリアブル(ISAIV)を用いたインシシット・センシティメント分析のための因果介入モデルを提案する。 まず、因果的視点から感情分析をレビューし、このタスクに存在する共同設立者を分析する。 そこで本研究では,文章と感情の因果関係を解消し,純粋因果関係を抽出するインストゥルメンタル変数を提案する。
  論文  参考訳（メタデータ） (2022-08-19T13:17:57Z)
• Adversarial Robustness through the Lens of Causality [105.51753064807014]
  ディープニューラルネットワークの敵対的脆弱性は、機械学習において大きな注目を集めている。 我々は、因果関係を敵対的脆弱性の軽減に組み込むことを提案する。 我々の手法は、敵の脆弱性を緩和するために因果性を利用する最初の試みと見なすことができる。
  論文  参考訳（メタデータ） (2021-06-11T06:55:02Z)
• Learning Causal Semantic Representation for Out-of-Distribution Prediction [125.38836464226092]
  因果推論に基づく因果意味生成モデル(CSG)を提案し,その2つの要因を別々にモデル化する。 CSGはトレーニングデータに適合させることで意味的因子を識別できることを示し、この意味的識別はOOD一般化誤差の有界性を保証する。
  論文  参考訳（メタデータ） (2020-11-03T13:16:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。