論文の概要: Surprisingly Fragile: Assessing and Addressing Prompt Instability in Multimodal Foundation Models

• arxiv url: http://arxiv.org/abs/2408.14595v1
• Date: Mon, 26 Aug 2024 19:26:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-28 17:40:47.395862
• Title: Surprisingly Fragile: Assessing and Addressing Prompt Instability in Multimodal Foundation Models
• Title（参考訳）: 驚くべきことに、マルチモーダルファンデーションモデルにおける急激な不安定性の評価と対処
• Authors: Ian Stewart, Sameera Horawalavithana, Brendan Kennedy, Sai Munikoti, Karl Pazdernik,
• Abstract要約: OFASysのようなマルチモーダル基礎モデル(MFM)は、テキストプロンプトだけで複雑なデータの解析をアンロックする可能性を示している。 彼らのパフォーマンスは、トレーニング分布と若干異なるテキスト入力に直面している場合があります。 本研究は, 即時不安定性はMFMにとって大きな関心事であり, 全てのモダリティに対して一貫した性能低下をもたらすことを示した。
• 参考スコア（独自算出の注目度）: 1.9001431325800364
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal foundation models (MFMs) such as OFASys show the potential to unlock analysis of complex data such as images, videos, and audio data via text prompts alone. However, their performance may suffer in the face of text input that differs even slightly from their training distribution, which is surprising considering the use of modality-specific data to "ground" the text input. This study demonstrates that prompt instability is a major concern for MFMs, leading to a consistent drop in performance across all modalities, but that instability can be mitigated with additional training with augmented data. We evaluate several methods for grounded prompt perturbation, where we generate perturbations and filter based on similarity to text and/or modality data. After re-training the models on the augmented data, we find improved accuracy and more stable performance on the perturbed test data regardless of perturbation condition, suggesting that the data augmentation strategy helps the models handle domain shifts more effectively. In error analysis, we find consistent patterns of performance improvement across domains, suggesting that retraining on prompt perturbations tends to help general reasoning capabilities in MFMs.
• Abstract（参考訳）: OFASysのようなマルチモーダル基礎モデル(MFM)は、画像、ビデオ、音声データなどの複雑なデータをテキストプロンプトのみでアンロックする可能性を示している。 しかし、それらの性能は、テキスト入力の「接地」にモダリティ特化データを用いることを考えると、トレーニング分布と若干異なるテキスト入力に直面している可能性がある。 本研究は,MFMの急激な不安定性が大きな関心事であり,全てのモダリティに対して一貫した性能低下をもたらすが,拡張データによる追加トレーニングにより不安定性を軽減することができることを示した。 そこで本研究では,テキストやモダリティデータと類似性に基づいて摂動とフィルタを生成する。 拡張データ上でモデルの再トレーニングを行った結果,摂動条件に関わらず,摂動テストデータ上での精度の向上と安定性の向上が得られた。 エラー解析では、ドメイン間での性能改善が一貫したパターンを見いだし、急激な摂動による再トレーニングは、MFMの一般的な推論機能に役立つ傾向があることを示唆している。

関連論文リスト

• FedMAC: Tackling Partial-Modality Missing in Federated Learning with Cross-Modal Aggregation and Contrastive Regularization [11.954904313477176]
  Federated Learning(FL)は、分散データソースを使用して機械学習モデルをトレーニングする手法である。 本研究ではFedMACという新しいフレームワークを提案し,FLに欠落した部分モダリティ条件下でのマルチモダリティの解消を図った。
  論文  参考訳（メタデータ） (2024-10-04T01:24:02Z)
• Unveiling the Flaws: Exploring Imperfections in Synthetic Data and Mitigation Strategies for Large Language Models [89.88010750772413]
  大規模言語モデル(LLM)の学習における高品質なデータ不足問題に対する解決法として,合成データを提案する。 我々の研究は、Q-A(Q-A)ペア、一般的な合成データに関連するこれらの特定の欠陥を掘り下げ、これらの欠陥を軽減するための未学習技術に基づく方法を提案する。 我々の研究は、より堅牢で効率的なLLMトレーニングを促進することを目的として、合成データの効果的な利用に関する重要な洞察を得た。
  論文  参考訳（メタデータ） (2024-06-18T08:38:59Z)
• Sexism Detection on a Data Diet [14.899608305188002]
  モデルのトレーニング中に、インフルエンススコアを利用してデータポイントの重要性を推定する方法を示します。 ドメイン外の3つのデータセット上で異なるプルーニング戦略を用いて、データプルーニングに基づいてトレーニングされたモデル性能を評価する。
  論文  参考訳（メタデータ） (2024-06-07T12:39:54Z)
• Combating Missing Modalities in Egocentric Videos at Test Time [92.38662956154256]
  現実のアプリケーションは、プライバシの懸念、効率性の必要性、ハードウェアの問題により、不完全なモダリティを伴う問題に直面することが多い。 再トレーニングを必要とせずに,テスト時にこの問題に対処する新しい手法を提案する。 MiDlは、欠落したモダリティをテスト時にのみ扱う、自己管理型のオンラインソリューションとしては初めてのものだ。
  論文  参考訳（メタデータ） (2024-04-23T16:01:33Z)
• Robustness Analysis on Foundational Segmentation Models [28.01242494123917]
  本研究では,セグメンテーションタスクのためのVisual Foundation Models (VFM) のロバストネス解析を行う。 2つの異なるデータセットを使用して、7つの最先端セグメンテーションアーキテクチャをベンチマークする。 VFMは、強靭性において不定形モデルをすべて上回るものではないにもかかわらず、圧縮誘起汚損に対する脆弱性を示し、マルチモーダルモデルはゼロショットシナリオにおける競争力を示し、VFMは特定の対象カテゴリに対して強靭性を示す。
  論文  参考訳（メタデータ） (2023-06-15T16:59:42Z)
• Cluster-level pseudo-labelling for source-free cross-domain facial expression recognition [94.56304526014875]
  表情認識のためのSFUDA法を提案する。 本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。 提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-11T08:24:50Z)
• Automatic Data Augmentation via Invariance-Constrained Learning [94.27081585149836]
  下位のデータ構造は、しばしば学習タスクのソリューションを改善するために利用される。 データ拡張は、入力データに複数の変換を適用することで、トレーニング中にこれらの対称性を誘導する。 この作業は、学習タスクを解決しながらデータ拡張を自動的に適応することで、これらの問題に対処する。
  論文  参考訳（メタデータ） (2022-09-29T18:11:01Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• Virtual Data Augmentation: A Robust and General Framework for Fine-tuning Pre-trained Models [51.46732511844122]
  強力な事前訓練型言語モデル(PLM)は、小さな摂動や意図的な攻撃によって騙されることがある。 VDA(Virtual Data Augmentation)は,PLMを高度に微調整するための一般的なフレームワークである。 本手法は, PLMの堅牢性を向上し, 敵攻撃時の性能劣化を軽減する。
  論文  参考訳（メタデータ） (2021-09-13T09:15:28Z)
• Improving Commonsense Causal Reasoning by Adversarial Training and Data Augmentation [14.92157586545743]
  本稿では,因果推論の領域において,モデルをより堅牢にするための多くの手法を提案する。 少数の追加生成データポイントがなくても、パフォーマンスと両方のデータセットの統計的に有意な改善を示します。
  論文  参考訳（メタデータ） (2021-01-13T09:55:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。