論文の概要: Reducing Spurious Correlations for Aspect-Based Sentiment Analysis with
Variational Information Bottleneck and Contrastive Learning
- arxiv url: http://arxiv.org/abs/2303.02846v1
- Date: Mon, 6 Mar 2023 02:52:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-07 17:30:46.940919
- Title: Reducing Spurious Correlations for Aspect-Based Sentiment Analysis with
Variational Information Bottleneck and Contrastive Learning
- Title(参考訳): 変動情報ボトルネックとコントラスト学習を用いたアスペクトベース感情分析のためのスプリアス相関の低減
- Authors: Mingshan Chang, Min Yang, Qingshan Jiang, and Ruifeng Xu
- Abstract要約: 本稿では,感情分析の素早い相関を抑えるために,CVIB(Contrastive Variational Information Bottleneck)フレームワークを提案する。
CVIB法は, 全体的な予測性能, 堅牢性, 一般化の点で, 強力な競合相手よりも優れた性能を実現する。
- 参考スコア(独自算出の注目度): 26.81550988672256
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The literature on aspect-based sentiment analysis (ABSA) has been overwhelmed
by deep neural networks, yielding state-of-the-art results for ABSA. However,
these deep models are susceptible to learning spurious correlations between
input features and output labels, which in general suffer from poor robustness
and generalization. In this paper, we propose a novel Contrastive Variational
Information Bottleneck framework (called CVIB) to reduce spurious correlations
for ABSA. The proposed CVIB framework is composed of an original network and a
self-pruned network, and these two networks are optimized simultaneously via
contrastive learning. Concretely, we employ the Variational Information
Bottleneck (VIB) principle to learn an informative and compressed network
(self-pruned network) from the original network, which discards the superfluous
patterns or spurious correlations between input features and prediction labels.
Then, self-pruning contrastive learning is devised to pull together
semantically similar positive pairs and push away dissimilar pairs, where the
representations of the anchor learned by the original and self-pruned networks
respectively are regarded as a positive pair while the representations of two
different sentences within a mini-batch are treated as a negative pair.
Extensive experiments on five benchmark ABSA datasets demonstrate that our CVIB
method achieves better performance than the strong competitors in terms of
overall prediction performance, robustness, and generalization.
- Abstract(参考訳): アスペクトベースの感情分析(ABSA)に関する文献は、深層ニューラルネットワークに圧倒され、ABSAの最先端の結果が得られた。
しかし、これらの深層モデルは入力特徴と出力ラベルの間の急激な相関を学習し、一般には頑健さや一般化に悩まされる。
本稿では,ABSAの相関関係を緩和するために,CVIB(Contrastive Variational Information Bottleneck)フレームワークを提案する。
提案するCVIBフレームワークは,元のネットワークと自走ネットワークで構成され,これら2つのネットワークは,コントラスト学習によって同時に最適化される。
具体的には,入力特徴と予測ラベル間の過剰なパターンや急激な相関を排除した情報圧縮ネットワーク(自己表現型ネットワーク)を元のネットワークから学習するために,変分情報ボトルネック(VIB)の原理を用いる。
次に、意味的に類似する正の対を引き合いに出し、類似の対を押し出すために、自己相関学習を考案し、元のネットワークで学習されたアンカーの表現をそれぞれ正のペアとし、ミニバッチ内の2つの異なる文の表現を負のペアとして扱う。
5つのベンチマークABSAデータセットの大規模な実験により、CVIB法は、全体的な予測性能、堅牢性、一般化の点で、強力な競合相手よりも優れた性能を達成することが示された。
関連論文リスト
- Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳(メタデータ) (2023-12-27T09:03:43Z) - Cross-Inferential Networks for Source-free Unsupervised Domain
Adaptation [17.718392065388503]
クロス推論ネットワーク (CIN) と呼ばれる新しい手法を提案する。
主な考え方は、符号化された特徴からサンプルラベルを予測するためにネットワークモデルを適用する際に、これらの予測結果を用いて、派生したラベルを用いた新しいトレーニングサンプルを構築することである。
ベンチマークデータを用いた実験の結果,提案手法により,ソースフリーなUDAの性能が大幅に向上することが示された。
論文 参考訳(メタデータ) (2023-06-29T14:04:24Z) - Regularization Through Simultaneous Learning: A Case Study on Plant
Classification [0.0]
本稿では,トランスファーラーニングとマルチタスクラーニングの原則に基づく正規化アプローチである同時学習を紹介する。
我々は、ターゲットデータセットであるUFOP-HVDの補助データセットを活用し、カスタマイズされた損失関数でガイドされた同時分類を容易にする。
興味深いことに,本手法は正規化のないモデルよりも優れた性能を示す。
論文 参考訳(メタデータ) (2023-05-22T19:44:57Z) - Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。
GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
論文 参考訳(メタデータ) (2023-02-06T16:38:43Z) - Siamese Prototypical Contrastive Learning [24.794022951873156]
コントラスト型自己教師学習(Contrastive Self-supervised Learning, CSL)は、大規模データから意味のある視覚的表現を教師なしアプローチで学習する実践的ソリューションである。
本稿では,単純かつ効果的なコントラスト学習フレームワークを導入することで,この問題に対処する。
重要な洞察は、シアメスタイルのメートル法損失を用いて、原型間特徴間の距離を増大させながら、原型内特徴と一致させることである。
論文 参考訳(メタデータ) (2022-08-18T13:25:30Z) - Entity-Graph Enhanced Cross-Modal Pretraining for Instance-level Product
Retrieval [152.3504607706575]
本研究の目的は, 細粒度製品カテゴリを対象とした, 弱制御型マルチモーダル・インスタンスレベルの製品検索である。
まず、Product1Mデータセットをコントリビュートし、2つの実際のインスタンスレベルの検索タスクを定義します。
我々は、マルチモーダルデータから重要な概念情報を組み込むことができるより効果的なクロスモーダルモデルを訓練するために活用する。
論文 参考訳(メタデータ) (2022-06-17T15:40:45Z) - Stacked Hybrid-Attention and Group Collaborative Learning for Unbiased
Scene Graph Generation [62.96628432641806]
Scene Graph Generationは、まず与えられた画像内の視覚的コンテンツをエンコードし、次にそれらをコンパクトな要約グラフに解析することを目的としている。
まず,モーダル内改良とモーダル間相互作用を容易にする新しいスタック型ハイブリッド・アテンションネットワークを提案する。
次に、デコーダを最適化するための革新的なグループ協調学習戦略を考案する。
論文 参考訳(メタデータ) (2022-03-18T09:14:13Z) - Holistic Deep Learning [3.718942345103135]
本稿では、入力摂動、過度なパラメータ化、性能不安定といった脆弱性の課題に対処する、新しい総合的なディープラーニングフレームワークを提案する。
提案したフレームワークは、標準的なディープラーニングモデルよりも正確性、堅牢性、疎性、安定性を全面的に改善する。
論文 参考訳(メタデータ) (2021-10-29T14:46:32Z) - Deep Stable Learning for Out-Of-Distribution Generalization [27.437046504902938]
深層ニューラルネットワークに基づくアプローチは、同様の分布を持つデータとトレーニングデータをテストする際に顕著なパフォーマンスを達成した。
トレーニングとテストデータ間の分散シフトの影響を排除することは、パフォーマンス向上の深層モデルの構築に不可欠です。
トレーニングサンプルの学習重みによる特徴間の依存関係を除去し,この問題に対処することを提案する。
論文 参考訳(メタデータ) (2021-04-16T03:54:21Z) - Anomaly Detection on Attributed Networks via Contrastive Self-Supervised
Learning [50.24174211654775]
本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。
このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。
高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
論文 参考訳(メタデータ) (2021-02-27T03:17:20Z) - Pairwise Supervised Hashing with Bernoulli Variational Auto-Encoder and
Self-Control Gradient Estimator [62.26981903551382]
バイナリ潜在変数を持つ変分自動エンコーダ(VAE)は、文書検索の精度の観点から最先端のパフォーマンスを提供する。
本稿では、クラス内類似度とクラス間類似度に報いるために、個別潜伏型VAEを用いたペアワイズ損失関数を提案する。
この新しいセマンティックハッシュフレームワークは、最先端技術よりも優れたパフォーマンスを実現する。
論文 参考訳(メタデータ) (2020-05-21T06:11:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。