論文の概要: Zero-Shot Robustification of Zero-Shot Models

• arxiv url: http://arxiv.org/abs/2309.04344v2
• Date: Mon, 12 Feb 2024 17:15:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-13 22:33:37.620466
• Title: Zero-Shot Robustification of Zero-Shot Models
• Title（参考訳）: ゼロショットモデルのロバスト化
• Authors: Dyah Adila, Changho Shin, Linrong Cai, Frederic Sala
• Abstract要約: 完全ゼロショット方式で事前学習したモデル埋め込みのロバスト性を改善する手法であるRoboShotを提案する。 まず、タスク記述から有用な洞察を得るために言語モデル(LM)を用いる。 これらの洞察は組み込まれ、有害なコンポーネントを取り除くために使われます。
• 参考スコア（独自算出の注目度）: 13.143596481809508
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Zero-shot inference is a powerful paradigm that enables the use of large pretrained models for downstream classification tasks without further training. However, these models are vulnerable to inherited biases that can impact their performance. The traditional solution is fine-tuning, but this undermines the key advantage of pretrained models, which is their ability to be used out-of-the-box. We propose RoboShot, a method that improves the robustness of pretrained model embeddings in a fully zero-shot fashion. First, we use language models (LMs) to obtain useful insights from task descriptions. These insights are embedded and used to remove harmful and boost useful components in embeddings -- without any supervision. Theoretically, we provide a simple and tractable model for biases in zero-shot embeddings and give a result characterizing under what conditions our approach can boost performance. Empirically, we evaluate RoboShot on nine image and NLP classification tasks and show an average improvement of 15.98% on worst group accuracy, with trivial decrease in overall accuracy over several zero-shot baselines. Additionally, we demonstrate that RoboShot is compatible with a variety of pretrained and language models and propose a way to further boost performance with a zero-shot adaptation variant.
• Abstract（参考訳）: ゼロショット推論(zero-shot inference)は,ダウンストリーム分類タスクに事前トレーニングされた大規模モデルを,さらなるトレーニングなしで使用可能にする,強力なパラダイムである。 しかしながら、これらのモデルは、パフォーマンスに影響を与える可能性がある継承バイアスに弱い。 従来のソリューションは微調整だが、これは事前訓練されたモデルのキーとなる利点を損なう。 完全ゼロショット方式で事前学習したモデル埋め込みのロバスト性を改善する手法であるRoboShotを提案する。 まず、タスク記述から有用な洞察を得るために言語モデル(LM)を用いる。 これらの洞察は組み込まれていて、有害なコンポーネントを取り除くために使われます。 理論的には、ゼロショット埋め込みにおけるバイアスの簡易かつトラクタブルなモデルを提供し、我々のアプローチがパフォーマンスを向上できる条件を特徴付ける結果を与える。 実験により,9つの画像およびNLP分類タスクにおけるRoboShotの評価を行い,最悪のグループ精度では平均15.98%向上し,ゼロショットベースラインでの全体的な精度は低下した。 さらに,RoboShotが事前訓練された言語モデルと互換性があることを実証し,ゼロショット適応変種を用いてパフォーマンスをさらに向上する方法を提案する。

関連論文リスト

• Enabling Small Models for Zero-Shot Classification through Model Label Learning [50.68074833512999]
  モデルと機能の間のギャップを埋める新しいパラダイムであるモデルラベル学習(MLL)を導入する。 7つの実世界のデータセットの実験により、MLLの有効性と効率が検証された。
  論文  参考訳（メタデータ） (2024-08-21T09:08:26Z)
• Adversarial Robustification via Text-to-Image Diffusion Models [56.37291240867549]
  アドリラルロバスト性は、ニューラルネットワークをエンコードする難しい性質として伝統的に信じられてきた。 データを使わずに敵の堅牢性を実現するために,スケーラブルでモデルに依存しないソリューションを開発した。
  論文  参考訳（メタデータ） (2024-07-26T10:49:14Z)
• Pre-trained Model Guided Fine-Tuning for Zero-Shot Adversarial Robustness [52.9493817508055]
  我々は,モデルがゼロショットの逆方向のロバスト性を高めるために,事前訓練されたモデル誘導逆方向の微調整(PMG-AFT)を提案する。 私たちのアプローチは、平均8.72%のクリーンな精度を継続的に改善します。
  論文  参考訳（メタデータ） (2024-01-09T04:33:03Z)
• Understanding Zero-Shot Adversarial Robustness for Large-Scale Models [31.295249927085475]
  ゼロショット対角ロバスト性に対する大規模モデルの強調問題を特定し,検討する。 本研究では,テキスト埋め込みと対向的視覚特徴を対照学習と整合させるテキスト誘導型対向的学習損失を提案する。 当社のアプローチは,ImageNetと15のゼロショットデータセットに対して,平均31ポイント以上の改善を達成し,CLIPに対するゼロショット対逆ロバスト性を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-12-14T04:08:56Z)
• Composing Ensembles of Pre-trained Models via Iterative Consensus [95.10641301155232]
  本稿では,異なる事前学習モデルのアンサンブルを構成するための統一的なフレームワークを提案する。 事前学習したモデルを「ジェネレータ」あるいは「スコーラ」として使用し、クローズドループ反復コンセンサス最適化により構成する。 スコアラーのアンサンブルによって達成されたコンセンサスは、シングルスコアラーのフィードバックよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-20T18:46:31Z)
• Language Models in the Loop: Incorporating Prompting into Weak Supervision [11.10422546502386]
  本稿では,ラベル付きトレーニングデータに制限がある場合に,大規模事前学習言語モデルを新しいタスクに適用するための新しい戦略を提案する。 典型的にゼロショットや少数ショットの方法でモデルを適用する代わりに、弱い監督フレームワークにおける関数のラベル付けの基盤としてモデルを扱います。
  論文  参考訳（メタデータ） (2022-05-04T20:42:40Z)
• Voting based ensemble improves robustness of defensive models [82.70303474487105]
  我々は、より堅牢性を高めるためのアンサンブルを作ることができるかどうか研究する。 最先端の先制防衛モデルを複数組み合わせることで,59.8%の堅牢な精度を達成できる。
  論文  参考訳（メタデータ） (2020-11-28T00:08:45Z)
• Adversarial Robustness: From Self-Supervised Pre-Training to Fine-Tuning [134.15174177472807]
  対戦型トレーニングを自己超越に導入し,汎用的な頑健な事前訓練モデルを初めて提供する。 提案するフレームワークが大きなパフォーマンスマージンを達成できることを示すため,広範な実験を行う。
  論文  参考訳（メタデータ） (2020-03-28T18:28:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。