論文の概要: Mitigating Spurious Correlations in Multi-modal Models during Fine-tuning

• arxiv url: http://arxiv.org/abs/2304.03916v2
• Date: Tue, 30 May 2023 21:19:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-02 02:41:32.251323
• Title: Mitigating Spurious Correlations in Multi-modal Models during Fine-tuning
• Title（参考訳）: 微調整時のマルチモーダルモデルにおけるスプリアス相関の緩和
• Authors: Yu Yang, Besmira Nushi, Hamid Palangi, Baharan Mirzasoleiman
• Abstract要約: モデル一般化を低下させたり、間違った理由でモデルが正しいことを導いたという豪華な相関は、現実世界のデプロイメントにおいて大きな堅牢性に関する懸念の1つです。 本稿では,特定の関心領域の微調整において,刺激的な相関に対処する新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 18.45898471459533
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spurious correlations that degrade model generalization or lead the model to be right for the wrong reasons are one of the main robustness concerns for real-world deployments. However, mitigating these correlations during pre-training for large-scale models can be costly and impractical, particularly for those without access to high-performance computing resources. This paper proposes a novel approach to address spurious correlations during fine-tuning for a given domain of interest. With a focus on multi-modal models (e.g., CLIP), the proposed method leverages different modalities in these models to detect and explicitly set apart spurious attributes from the affected class, achieved through a multi-modal contrastive loss function that expresses spurious relationships through language. Our experimental results and in-depth visualizations on CLIP show that such an intervention can effectively i) improve the model's accuracy when spurious attributes are not present, and ii) directs the model's activation maps towards the actual class rather than the spurious attribute when present. In particular, on the Waterbirds dataset, our algorithm achieved a worst-group accuracy 23% higher than ERM on CLIP with a ResNet-50 backbone, and 32% higher on CLIP with a ViT backbone, while maintaining the same average accuracy as ERM.
• Abstract（参考訳）: モデル一般化を劣化させたり、間違った理由でモデルが正しいように導くような散発的な相関は、現実世界のデプロイメントにおける主要な強固な懸念の1つです。 しかしながら、大規模モデルの事前トレーニング中にこれらの相関を緩和することは、特に高性能コンピューティングリソースにアクセスできない人々にとって、コスト的かつ非実用的である。 本稿では,特定の関心領域の微調整における散発的相関に対処するための新しい手法を提案する。 提案手法は,マルチモーダルモデル(例えばCLIP)に焦点をあて,これらのモデルにおける異なるモダリティを活用して,言語を通してスプリアス関係を表現するマルチモーダルコントラスト損失関数を用いて,影響を受けるクラスからスプリアス属性を検出し,明示的に設定する。 このような介入が効果的に有効であることを示す実験結果とCLIPの詳細な可視化 一 突発的属性が存在しないときのモデルの精度を向上し、 ii) モデルのアクティベーションマップは、存在する場合のスプリアス属性ではなく、実際のクラスに向けられる。 特にwaterbirdsデータセットでは,resnet-50バックボーンを持つクリップのermよりも23%,vitバックボーンを持つクリップでは32%,ermと同じ平均精度を維持しながら,最悪のグループ精度を達成した。

関連論文リスト

• Autoencoder based approach for the mitigation of spurious correlations [2.7624021966289605]
  純粋な相関は、真の基盤となる関係を反映しないデータの誤関連を指す。 これらの相関により、ディープニューラルネットワーク(DNN)は、さまざまなデータセットや実世界のシナリオで堅牢でないパターンを学ぶことができる。 本稿では,GWHD(Global Wheat Head Detection)2021データセットに存在するスプリアス相関の性質を自動エンコーダで解析する手法を提案する。
  論文  参考訳（メタデータ） (2024-06-27T05:28:44Z)
• Spuriousness-Aware Meta-Learning for Learning Robust Classifiers [26.544938760265136]
  Spurious correlations is brittle associations between certain attribute of inputs and target variables。 深部画像分類器はしばしばそれらを予測に利用し、相関が持たないデータの一般化が不十分になる。 スプリアス相関の影響を緩和することはロバストなモデル一般化に不可欠であるが、しばしばデータ内のスプリアス相関のアノテーションを必要とする。
  論文  参考訳（メタデータ） (2024-06-15T21:41:25Z)
• Dealing with negative samples with multi-task learning on span-based joint entity-relation extraction [0.7252027234425334]
  近年のスパン型関節抽出モデルでは, 実体認識と関係抽出の両面で有意な優位性を示した。 本稿では,スパンベースマルチタスク・エンティティ・リレーション・ジョイント抽出モデルを提案する。
  論文  参考訳（メタデータ） (2023-09-18T12:28:46Z)
• Structured Radial Basis Function Network: Modelling Diversity for Multiple Hypotheses Prediction [51.82628081279621]
  多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。 構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。 この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
  論文  参考訳（メタデータ） (2023-09-02T01:27:53Z)
• Stubborn Lexical Bias in Data and Models [50.79738900885665]
  我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。 トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。 驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
  論文  参考訳（メタデータ） (2023-06-03T20:12:27Z)
• Precision-Recall Divergence Optimization for Generative Modeling with GANs and Normalizing Flows [54.050498411883495]
  本研究では,ジェネレーティブ・アドバイサル・ネットワークや正規化フローなどの生成モデルのための新しいトレーニング手法を開発した。 指定された精度-リコールトレードオフを達成することは、textitPR-divergencesと呼ぶ家族からのユニークな$f$-divergenceを最小化することを意味する。 当社のアプローチは,ImageNetなどのデータセットでテストした場合の精度とリコールの両面で,BigGANのような既存の最先端モデルの性能を向上させる。
  論文  参考訳（メタデータ） (2023-05-30T10:07:17Z)
• Less is More: Mitigate Spurious Correlations for Open-Domain Dialogue Response Generation Models by Causal Discovery [52.95935278819512]
  本研究で得られたCGDIALOGコーパスに基づくオープンドメイン応答生成モデルのスプリアス相関に関する最初の研究を行った。 因果探索アルゴリズムに着想を得て,反応生成モデルの学習と推論のための新しいモデル非依存手法を提案する。
  論文  参考訳（メタデータ） (2023-03-02T06:33:48Z)
• Sparse MoEs meet Efficient Ensembles [49.313497379189315]
  このようなモデルの2つの一般的なクラス、すなわちニューラルネットワークのアンサンブルと専門家のスパースミックス(スパースMoE)の相互作用について研究する。 Efficient Ensemble of Experts (E$3$)は、両モデルのクラスを最大限に活用するスケーラブルでシンプルなMoEのアンサンブルであり、深いアンサンブルよりも最大45%少ないFLOPを使用する。
  論文  参考訳（メタデータ） (2021-10-07T11:58:35Z)
• Beyond Marginal Uncertainty: How Accurately can Bayesian Regression Models Estimate Posterior Predictive Correlations? [13.127549105535623]
  入力位置の異なる関数値間の予測的相関を推定することは、しばしば有用である。 まず、後続の予測相関に依存する下流タスクについて考察する:トランスダクティブアクティブラーニング(TAL) TALは高価で間接的にアルゴリズムの開発を誘導できないため、予測相関をより直接的に評価する2つの指標を導入する。
  論文  参考訳（メタデータ） (2020-11-06T03:48:59Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [55.28436972267793]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。