論文の概要: Lipsum-FT: Robust Fine-Tuning of Zero-Shot Models Using Random Text Guidance

• arxiv url: http://arxiv.org/abs/2404.00860v1
• Date: Mon, 1 Apr 2024 02:01:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 01:31:23.540291
• Title: Lipsum-FT: Robust Fine-Tuning of Zero-Shot Models Using Random Text Guidance
• Title（参考訳）: Lipsum-FT:ランダムテキスト誘導を用いたゼロショットモデルのロバスト微調整
• Authors: Giung Nam, Byeongho Heo, Juho Lee,
• Abstract要約: 大規模なコントラスト付き視覚言語事前学習モデルは、下流データでのトレーニングを必要とせず、様々な画像分類タスクの競合性能を達成するゼロショットモデルを提供する。 近年の研究では、参照データにゼロショットモデルの微調整を加えることで、下流のパフォーマンスが向上することが確認されているが、分散シフトに対するモデルの堅牢性は損なわれている。 本稿では,視覚言語事前学習モデルの言語モデリングを効果的に活用する,頑健な微調整アルゴリズムLipsum-FTを提案する。
• 参考スコア（独自算出の注目度）: 27.91782770050068
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale contrastive vision-language pre-trained models provide the zero-shot model achieving competitive performance across a range of image classification tasks without requiring training on downstream data. Recent works have confirmed that while additional fine-tuning of the zero-shot model on the reference data results in enhanced downstream performance, it compromises the model's robustness against distribution shifts. Our investigation begins by examining the conditions required to achieve the goals of robust fine-tuning, employing descriptions based on feature distortion theory and joint energy-based models. Subsequently, we propose a novel robust fine-tuning algorithm, Lipsum-FT, that effectively utilizes the language modeling aspect of the vision-language pre-trained models. Extensive experiments conducted on distribution shift scenarios in DomainNet and ImageNet confirm the superiority of our proposed Lipsum-FT approach over existing robust fine-tuning methods.
• Abstract（参考訳）: 大規模なコントラスト付き視覚言語事前学習モデルは、下流データでのトレーニングを必要とせずに、様々な画像分類タスクの競合性能を達成するゼロショットモデルを提供する。 近年の研究では、参照データにゼロショットモデルを追加することで、下流のパフォーマンスが向上する一方で、分散シフトに対するモデルの堅牢性を損なうことが確認されている。 本研究は, 特徴歪み理論と連立エネルギーモデルに基づく記述を用いて, 頑健な微調整の目標を達成するために必要な条件を検討することから始まる。 次に,視覚言語事前学習モデルの言語モデリングを効果的に活用する,頑健な微調整アルゴリズムLipsum-FTを提案する。 DomainNet と ImageNet における分布シフトのシナリオに関する大規模な実験により,既存の頑健な微調整法よりもLipsum-FT アプローチの方が優れていることを確認した。

関連論文リスト

• Fine-Tuning Image-Conditional Diffusion Models is Easier than You Think [53.2706196341054]
  認識された非効率性は、これまで気付かれなかった推論パイプラインの欠陥によって引き起こされたことを示している。 タスク固有の損失を伴う単一ステップモデル上でエンドツーエンドの微調整を行い、他の拡散に基づく深さモデルや正規推定モデルよりも優れた決定論的モデルを得る。
  論文  参考訳（メタデータ） (2024-09-17T16:58:52Z)
• Adversarial Robustification via Text-to-Image Diffusion Models [56.37291240867549]
  アドリラルロバスト性は、ニューラルネットワークをエンコードする難しい性質として伝統的に信じられてきた。 データを使わずに敵の堅牢性を実現するために,スケーラブルでモデルに依存しないソリューションを開発した。
  論文  参考訳（メタデータ） (2024-07-26T10:49:14Z)
• Benchmarking Zero-Shot Robustness of Multimodal Foundation Models: A Pilot Study [61.65123150513683]
  CLIPのようなマルチモーダル基盤モデルは、最先端のゼロショット結果を生成する。 これらのモデルは、ImageNetでトレーニングされた教師付きモデルのパフォーマンスを一致させることで、ロバスト性ギャップを埋めることが報告されている。 CLIPは、ベンチマーク上の教師付きImageNetモデルと比較して、かなりの堅牢性低下をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-03-15T17:33:49Z)
• Robust Fine-Tuning of Vision-Language Models for Domain Generalization [6.7181844004432385]
  ファンデーションモデルは、分散シフトの下で、印象的なゼロショット推論能力とロバスト性を持っている。 一般的な視覚言語基盤モデルCLIPの微調整のための新しいレシピを提案する。 私たちの実験では、ゼロショットCLIPは、より複雑なベンチマークでトレーニング済みのビジョンモデルのパフォーマンスと一致しないが、少数ショットCLIPの微調整は、ビジョンのみのパフォーマンスよりも優れていることを示した。
  論文  参考訳（メタデータ） (2023-11-03T20:50:40Z)
• How to Estimate Model Transferability of Pre-Trained Speech Models? [84.11085139766108]
  事前学習音声モデルの伝達可能性推定のためのスコアベースアセスメントフレームワーク ベイズ確率推定と最適輸送という2つの表現理論を利用して、PSM候補のランクスコアを生成する。 本フレームワークは,候補モデルやレイヤを実際に微調整することなく,転送可能性スコアを効率的に計算する。
  論文  参考訳（メタデータ） (2023-06-01T04:52:26Z)
• POUF: Prompt-oriented unsupervised fine-tuning for large pre-trained models [62.23255433487586]
  モデルに微調整を施したり、ラベルのないターゲットデータにプロンプトを施したりするための教師なしの微調整フレームワークを提案する。 本稿では,プロンプトとターゲットデータから抽出した離散分布を整列させて,言語拡張視覚とマスキング言語モデルの両方に適用する方法を示す。
  論文  参考訳（メタデータ） (2023-04-29T22:05:22Z)
• Few-shot Text Classification with Dual Contrastive Consistency [31.141350717029358]
  本稿では,事前学習した言語モデルを用いて,数ショットのテキスト分類を行う方法について検討する。 ラベル付きデータが少ない場合の教師付きコントラスト学習と、ラベルなしデータの一貫性と規則化を採用する。
  論文  参考訳（メタデータ） (2022-09-29T19:26:23Z)
• Distributional Depth-Based Estimation of Object Articulation Models [21.046351215949525]
  本研究では,奥行き画像から直接,調音モデルパラメータの分布を効率よく学習する手法を提案する。 私たちのコアコントリビューションには、剛体変換に対する分布の新しい表現が含まれています。 本稿では,カテゴリに依存しない調音モデル推定を行う新しい深層学習手法DUST-netを提案する。
  論文  参考訳（メタデータ） (2021-08-12T17:44:51Z)
• End-to-End Weak Supervision [15.125993628007972]
  下流モデルを直接学習するためのエンドツーエンドアプローチを提案する。 下流テストセットにおけるエンドモデル性能の観点から,先行作業よりも性能が向上したことを示す。
  論文  参考訳（メタデータ） (2021-07-05T19:10:11Z)
• Self-Supervised Contrastive Learning for Unsupervised Phoneme Segmentation [37.054709598792165]
  このモデルは畳み込みニューラルネットワークであり、生波形上で直接動作する。 ノイズコントラスト推定原理を用いて信号のスペクトル変化を同定する。 テスト時には、モデル出力にピーク検出アルゴリズムを適用して最終境界を生成する。
  論文  参考訳（メタデータ） (2020-07-27T12:10:21Z)
• Control as Hybrid Inference [62.997667081978825]
  本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。 連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
  論文  参考訳（メタデータ） (2020-07-11T19:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。