論文の概要: Analyzing Modality Robustness in Multimodal Sentiment Analysis

• arxiv url: http://arxiv.org/abs/2205.15465v1
• Date: Mon, 30 May 2022 23:30:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-02 05:17:46.709041
• Title: Analyzing Modality Robustness in Multimodal Sentiment Analysis
• Title（参考訳）: マルチモーダル感性分析におけるモダリティロバスト性の解析
• Authors: Devamanyu Hazarika, Yingting Li, Bo Cheng, Shuai Zhao, Roger Zimmermann, Soujanya Poria
• Abstract要約: 堅牢なマルチモーダルモデルの構築は、荒野における信頼性の高いデプロイメントを実現する上で極めて重要です。 訓練されたマルチモーダルモデルにおけるモダリティロバストネスの簡易診断チェックを提案する。 問題を軽減するために、よく知られた堅牢なトレーニング戦略を分析します。
• 参考スコア（独自算出の注目度）: 48.52878002917685
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Building robust multimodal models are crucial for achieving reliable deployment in the wild. Despite its importance, less attention has been paid to identifying and improving the robustness of Multimodal Sentiment Analysis (MSA) models. In this work, we hope to address that by (i) Proposing simple diagnostic checks for modality robustness in a trained multimodal model. Using these checks, we find MSA models to be highly sensitive to a single modality, which creates issues in their robustness; (ii) We analyze well-known robust training strategies to alleviate the issues. Critically, we observe that robustness can be achieved without compromising on the original performance. We hope our extensive study-performed across five models and two benchmark datasets-and proposed procedures would make robustness an integral component in MSA research. Our diagnostic checks and robust training solutions are simple to implement and available at https://github. com/declare-lab/MSA-Robustness.
• Abstract（参考訳）: 堅牢なマルチモーダルモデルの構築は,信頼性の高いデプロイメントを実現する上で極めて重要です。 その重要性にもかかわらず、マルチモーダル・センティメント・アナリティクス(MSA)モデルの堅牢性を特定し改善するためには、あまり注意が払われていない。 この研究で、私たちはそれを解決したいと考えています。 一 訓練されたマルチモーダルモデルにおけるモダリティロバスト性の簡易診断チェックの提供。 これらのチェックを用いて、MSAモデルは単一のモダリティに非常に敏感であることを発見し、その堅牢性に問題を引き起こす。 (ii)この問題を軽減するために,よく知られたロバストなトレーニング戦略を分析する。 批判的には、本来のパフォーマンスを損なうことなく、堅牢性を実現することができる。 5つのモデルと2つのベンチマークデータセットにわたる広範な研究成果と、提案された手順が、MSA研究において堅牢性を不可欠な要素にすることを期待しています。 診断チェックと堅牢なトレーニングソリューションは実装が簡単で、https://github.com/で利用可能です。 MSA-Robustness.com/declare-lab/MSA-Robustness。

関連論文リスト

• RADAR: Robust Two-stage Modality-incomplete Industrial Anomaly Detection [61.71770293720491]
  本稿では,2段階のロバスト・モードアリティ不完全融合とFlaAmewoRkの検出について提案する。 我々のブートストラッピング哲学は、MIIADの2段階を強化し、マルチモーダルトランスの堅牢性を向上させることである。 実験の結果,提案手法は従来のMIAD法よりも有効性とロバスト性に優れていた。
  論文  参考訳（メタデータ） (2024-10-02T16:47:55Z)
• Multimodal Large Language Models to Support Real-World Fact-Checking [80.41047725487645]
  MLLM(Multimodal large language model)は、膨大な情報処理において人間を支援する能力を持つ。 MLLMはすでにファクトチェックツールとして使用されていますが、その能力や制限については検討中です。 本稿では,現実のファクトチェックを容易にするために,現在のマルチモーダルモデルの能力を体系的に評価するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-06T11:32:41Z)
• Quantifying and Enhancing Multi-modal Robustness with Modality Preference [9.367733452960492]
  マルチモーダルモデルは、ユニモーダル攻撃や欠落状態のような広汎な摂動に対して脆弱である。 より大きいユニモーダル表現マージンとより信頼性の高いモダリティの統合は、より高いロバスト性を達成するために必須の要素である。 理論的な発見に触発されて,認証ロバストマルチモーダルトレーニング(Certible Robust Multi-modal Training)と呼ばれるトレーニング手順を導入する。
  論文  参考訳（メタデータ） (2024-02-09T08:33:48Z)
• RoAST: Robustifying Language Models via Adversarial Perturbation with Selective Training [105.02614392553198]
  選択的トレーニング(RoAST)を用いた逆方向摂動を用いたロバスト化法を提案する。 RoASTは、モデルの堅牢性、摂動入力に対する堅牢性、および事前訓練されたLMにおける一般化可能な知識の2つの重要な情報源を組み込んでいる。 6種類のLM上での最先端の微調整法と比較して,RoASTの有効性を実証した。
  論文  参考訳（メタデータ） (2023-12-07T04:23:36Z)
• A Comprehensive Study on Robustness of Image Classification Models: Benchmarking and Rethinking [54.89987482509155]
  ディープニューラルネットワークのロバスト性は、通常、敵の例、共通の腐敗、分散シフトに欠けている。 画像分類タスクにおいてtextbfARES-Bench と呼ばれる総合的なベンチマークロバスト性を確立する。 それに応じてトレーニング設定を設計することにより、新しい最先端の対人ロバスト性を実現する。
  論文  参考訳（メタデータ） (2023-02-28T04:26:20Z)
• Defending Multimodal Fusion Models against Single-Source Adversaries [6.019777076722421]
  標準マルチモーダル融合モデルは単一ソースの敵に対して脆弱であることを示す。 単一のモダリティに対する攻撃は、複数の乱れのないモダリティからの正しい情報を克服し、モデルを失敗させる。 この発見に触発され、逆向きに堅牢な核融合戦略を提案する。
  論文  参考訳（メタデータ） (2022-06-25T18:57:02Z)
• Measure and Improve Robustness in NLP Models: A Survey [23.515869499536237]
  堅牢性は視覚やNLPなどのアプリケーションで別々に研究されており、様々な定義、評価、緩和戦略が研究の複数のラインで行われている。 まず、ロバスト性の定義を複数結合し、その後、ロバスト性障害を特定し、モデルのロバスト性を評価する様々な作業ラインを統一します。 我々は、NLPモデルの堅牢性を効果的に改善する方法をより体系的な視点で、データ駆動型、モデル駆動型、インダクティブプライオリベースである緩和戦略を提案する。
  論文  参考訳（メタデータ） (2021-12-15T18:02:04Z)
• On Fast Adversarial Robustness Adaptation in Model-Agnostic Meta-Learning [100.14809391594109]
  モデルに依存しないメタラーニング(MAML)は、数発の学習において最も成功したメタラーニング手法の1つである。 メタモデルの一般化力にもかかわらず、マルチショット学習においてMDLがいかに敵対的堅牢性を維持することができるかは明らかではない。 本稿では,ラベルなしデータ拡張,高速な攻撃生成,計算量軽微な微調整を可能にする,汎用的かつ最適化が容易なロバストネス正規化メタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-20T22:03:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。