論文の概要: Debiasing Multimodal Sarcasm Detection with Contrastive Learning
- arxiv url: http://arxiv.org/abs/2312.10493v2
- Date: Tue, 19 Dec 2023 15:55:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-20 12:18:17.809877
- Title: Debiasing Multimodal Sarcasm Detection with Contrastive Learning
- Title（参考訳）: コントラスト学習によるマルチモーダルサーカズム検出の偏り
- Authors: Mengzhao Jia, Can Xie, Liqiang Jing
- Abstract要約: コントラスト学習を伴うマルチモーダルサルカズム検出フレームワークを提案する。
特に,非類似な単語バイアスを持つ正のサンプルを構築するために,まず反実データ拡張を設計する。
我々は、モデルが堅牢なタスク関連特徴を学習できるようにするために、適応型偏りの対照的な学習メカニズムを考案する。
- 参考スコア（独自算出の注目度）: 5.43710908542843
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite commendable achievements made by existing work, prevailing multimodal
sarcasm detection studies rely more on textual content over visual information.
It unavoidably induces spurious correlations between textual words and labels,
thereby significantly hindering the models' generalization capability. To
address this problem, we define the task of out-of-distribution (OOD)
multimodal sarcasm detection, which aims to evaluate models' generalizability
when the word distribution is different in training and testing settings.
Moreover, we propose a novel debiasing multimodal sarcasm detection framework
with contrastive learning, which aims to mitigate the harmful effect of biased
textual factors for robust OOD generalization. In particular, we first design
counterfactual data augmentation to construct the positive samples with
dissimilar word biases and negative samples with similar word biases.
Subsequently, we devise an adapted debiasing contrastive learning mechanism to
empower the model to learn robust task-relevant features and alleviate the
adverse effect of biased words. Extensive experiments show the superiority of
the proposed framework.
- Abstract（参考訳）: 既存の研究による賞賛に値する成果にもかかわらず、マルチモーダルサーカズム検出研究は、視覚情報よりもテキストコンテンツに依存している。
それは避けられないほど、テキストの単語とラベルの間のスプリアスな相関を誘発し、モデルの一般化能力を著しく阻害する。
この問題に対処するために,我々は,トレーニングやテストの設定で単語の分布が異なる場合に,モデルの一般化性を評価することを目的とした,out-of-distribution (ood) multimodal sarcasm detectionのタスクを定義する。
さらに, 頑健なOOD一般化のためのバイアス付きテキスト因子の有害な影響を軽減することを目的とした, コントラスト学習によるマルチモーダルサルカズム検出フレームワークを提案する。
特に,異なる単語バイアスを持つ正のサンプルと類似した単語バイアスを持つ負のサンプルを構築するために,反実データ拡張を最初に設計する。
次に,適応型デバイアス型コントラスト学習機構を考案し,頑健なタスク関連特徴を学習し,バイアス付き単語の悪影響を緩和する。
大規模な実験は提案フレームワークの優位性を示している。
関連論文リスト
- Biased or Flawed? Mitigating Stereotypes in Generative Language Models by Addressing Task-Specific Flaws [12.559028963968247]
生成言語モデルは、しばしば出力の社会的バイアスを反映し増幅します。
生成モデルにおいて観測されたステレオタイプを暗黙的に緩和する目的のステレオタイプ緩和フレームワークを提案する。
複数の次元にわたるステレオタイプ出力を60%以上削減する。
論文 参考訳（メタデータ） (2024-12-16T03:29:08Z) - Multi-View Incongruity Learning for Multimodal Sarcasm Detection [40.10921890527881]
マルチモーダルサルカズム検出(MSD)は下流の様々なタスクに不可欠である。
既存のMSD法は、素早い相関に依存する傾向がある。
本稿では,マルチモーダルサルカズム検出のためのコントラスト学習(MICL)によるマルチモーダルイングルリティの統合手法を提案する。
論文 参考訳（メタデータ） (2024-12-01T10:29:36Z) - Improving Network Interpretability via Explanation Consistency Evaluation [56.14036428778861]
本稿では、より説明可能なアクティベーションヒートマップを取得し、同時にモデル性能を向上させるフレームワークを提案する。
具体的には、モデル学習において、トレーニングサンプルを適応的に重み付けするために、新しいメトリクス、すなわち説明整合性を導入する。
そこで,本フレームワークは,これらのトレーニングサンプルに深い注意を払ってモデル学習を促進する。
論文 参考訳（メタデータ） (2024-08-08T17:20:08Z) - Fairness-guided Few-shot Prompting for Large Language Models [93.05624064699965]
インコンテキスト学習は、トレーニング例、例えば順、プロンプトフォーマットのバリエーションによって、高い不安定性に悩まされる可能性がある。
ラベルや属性に対する固定的なプロンプトの予測バイアスを評価するための指標を導入する。
そこで本研究では,テキスト内学習の性能向上のための最寄りのプロンプトを特定するための,欲求探索に基づく新しい探索手法を提案する。
論文 参考訳（メタデータ） (2023-03-23T12:28:25Z) - Debiasing Stance Detection Models with Counterfactual Reasoning and
Adversarial Bias Learning [15.68462203989933]
スタンス検出モデルは、ショートカットとしてテキスト部分のデータセットバイアスに依存する傾向がある。
より正確にバイアスをモデル化するための逆バイアス学習モジュールを提案する。
論文 参考訳（メタデータ） (2022-12-20T16:20:56Z) - Mind Your Bias: A Critical Review of Bias Detection Methods for
Contextual Language Models [2.170169149901781]
文脈言語モデルに対する厳密な分析とバイアス検出手法の比較を行う。
私たちの結果は、マイナーな設計と実装の決定(またはエラー)が、導出バイアススコアに大きく、しばしば重大な影響を与えていることを示している。
論文 参考訳（メタデータ） (2022-11-15T19:27:54Z) - Counterfactual Reasoning for Out-of-distribution Multimodal Sentiment
Analysis [56.84237932819403]
本稿では,OODの高次一般化に対するテキストモダリティの悪影響を推定・緩和することを目的とする。
そこで本研究では,マルチモーダル感情分析のためのモデルに依存しない反現実的フレームワークを考案した。
論文 参考訳（メタデータ） (2022-07-24T03:57:40Z) - Keywords and Instances: A Hierarchical Contrastive Learning Framework
Unifying Hybrid Granularities for Text Generation [59.01297461453444]
入力テキスト中のハイブリッドな粒度意味を統一する階層的コントラスト学習機構を提案する。
実験により,本モデルがパラフレージング,対話生成,ストーリーテリングタスクにおいて,競争ベースラインより優れていることが示された。
論文 参考訳（メタデータ） (2022-05-26T13:26:03Z) - General Greedy De-bias Learning [163.65789778416172]
本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。
GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
論文 参考訳（メタデータ） (2021-12-20T14:47:32Z) - Improving Robustness by Augmenting Training Sentences with
Predicate-Argument Structures [62.562760228942054]
データセットバイアスに対するロバスト性を改善する既存のアプローチは、主にトレーニング目標の変更に焦点を当てている。
本稿では,学習データ中の入力文に対応する述語句構造を付加することを提案する。
特定のバイアスを対象とせずに、文の増大は、複数のバイアスに対してトランスフォーマーモデルの堅牢性を向上することを示す。
論文 参考訳（メタデータ） (2020-10-23T16:22:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。