論文の概要: Momentum-based Weight Interpolation of Strong Zero-Shot Models for Continual Learning

• arxiv url: http://arxiv.org/abs/2211.03186v1
• Date: Sun, 6 Nov 2022 17:41:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-08 16:08:27.323153
• Title: Momentum-based Weight Interpolation of Strong Zero-Shot Models for Continual Learning
• Title（参考訳）: 連続学習のための強ゼロショットモデルのモーメントベース重み補間
• Authors: Zafir Stojanovski, Karsten Roth, Zeynep Akata
• Abstract要約: 訓練済みでゼロショット対応の大型モデルは、標準転送と適応タスクの両方でかなりの成功を収めている。 しかし、直感的な微調整により、これらのゼロショットモデルは分布シフトに対する一般化性とロバスト性を失う。 本研究は, ゼロショット能力を持つモデルに適用するために微調整が不十分な場合, 単純な運動量に基づく重み付けが一貫した改善をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 46.80199921638615
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large pre-trained, zero-shot capable models have shown considerable success both for standard transfer and adaptation tasks, with particular robustness towards distribution shifts. In addition, subsequent fine-tuning can considerably improve performance on a selected downstream task. However, through naive fine-tuning, these zero-shot models lose their generalizability and robustness towards distribution shifts. This is a particular problem for tasks such as Continual Learning (CL), where continuous adaptation has to be performed as new task distributions are introduced sequentially. In this work, we showcase that where fine-tuning falls short to adapt such zero-shot capable models, simple momentum-based weight interpolation can provide consistent improvements for CL tasks in both memory-free and memory-based settings. In particular, we find improvements of over $+4\%$ on standard CL benchmarks, while reducing the error to the upper limit of jointly training on all tasks at once in parts by more than half, allowing the continual learner to inch closer to the joint training limits.
• Abstract（参考訳）: 大規模な事前訓練されたゼロショット能力を持つモデルでは、標準転送と適応タスクの両方で大きな成功を収めており、特に分布シフトに対する堅牢性を示している。 さらに、後続の微調整は、選択された下流タスクの性能を大幅に向上させることができる。 しかし、ナイーブな微調整により、これらのゼロショットモデルは分布シフトに対する一般化性と堅牢性を失う。 これは、継続学習(CL)のようなタスクでは特に問題であり、新しいタスク分布が順次導入されるにつれて、継続的適応を行う必要がある。 本研究では,このようなゼロショット対応モデルに微調整が不足している場合に,単純な運動量に基づく重み補間がメモリフリーとメモリベースの両方のclタスクに対して一貫した改善をもたらすことを示す。 特に,通常のCLベンチマークでは,+4\%以上の改善が見られ,また,一箇所で一度にすべてのタスクを共同トレーニングする上限まで誤差を減らし,継続学習者が共同トレーニング限界に近づくことが可能となった。

関連論文リスト

• ICL-TSVD: Bridging Theory and Practice in Continual Learning with Pre-trained Models [103.45785408116146]
  連続学習(CL)は、連続的に提示される複数のタスクを解決できるモデルを訓練することを目的としている。 最近のCLアプローチは、ダウンストリームタスクをうまく一般化する大規模な事前学習モデルを活用することで、強力なパフォーマンスを実現している。 しかし、これらの手法には理論的保証がなく、予期せぬ失敗をしがちである。 私たちは、経験的に強いアプローチを原則化されたフレームワークに統合することで、このギャップを埋めます。
  論文  参考訳（メタデータ） (2024-10-01T12:58:37Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• FeTT: Continual Class Incremental Learning via Feature Transformation Tuning [19.765229703131876]
  継続的学習(CL)は、静的で囲われた環境から動的で複雑なシナリオまで、ディープモデルを拡張することを目的としている。 最近のCLモデルは、パラメータ効率の良い微調整戦略を持つ事前学習モデルの利用に徐々に移行している。 本稿では,すべてのタスクにまたがる非パラメトリック微調整バックボーン機能に対するFeTTモデルを提案する。
  論文  参考訳（メタデータ） (2024-05-20T06:33:50Z)
• Calibrating Multi-modal Representations: A Pursuit of Group Robustness without Annotations [19.800907485589402]
  CLIPのような微調整済みの視覚言語モデルは、さまざまな下流タスクで成功している。 これらの調整されたモデルは高度に専門化され、実際の展開の実用性が制限される傾向にある。 微調整CLIPのための軽量表現校正法を提案する。
  論文  参考訳（メタデータ） (2024-03-12T01:47:17Z)
• Robust Fine-Tuning of Vision-Language Models for Domain Generalization [6.7181844004432385]
  ファンデーションモデルは、分散シフトの下で、印象的なゼロショット推論能力とロバスト性を持っている。 一般的な視覚言語基盤モデルCLIPの微調整のための新しいレシピを提案する。 私たちの実験では、ゼロショットCLIPは、より複雑なベンチマークでトレーニング済みのビジョンモデルのパフォーマンスと一致しないが、少数ショットCLIPの微調整は、ビジョンのみのパフォーマンスよりも優れていることを示した。
  論文  参考訳（メタデータ） (2023-11-03T20:50:40Z)
• Continual Learners are Incremental Model Generalizers [70.34479702177988]
  本稿では,継続学習モデル(CL)が事前学習者に与える影響を幅広く研究する。 その結果, 微調整性能が著しく低下することなく, 表現の伝達品質が徐々に向上することがわかった。 本稿では,下流タスクの解法において,リッチなタスクジェネリック表現を保存できる新しい微調整方式GLobal Attention Discretization(GLAD)を提案する。
  論文  参考訳（メタデータ） (2023-06-21T05:26:28Z)
• CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
  対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。 ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。 さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2023-02-02T04:27:54Z)
• Meta-Learned Attribute Self-Gating for Continual Generalized Zero-Shot Learning [82.07273754143547]
  トレーニング中に見られないカテゴリにモデルを一般化するためのメタ連続ゼロショット学習(MCZSL)アプローチを提案する。 属性の自己決定とスケールしたクラス正規化をメタラーニングベースのトレーニングと組み合わせることで、最先端の成果を上回ることができるのです。
  論文  参考訳（メタデータ） (2021-02-23T18:36:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。