論文の概要: Self-Soupervision: Cooking Model Soups without Labels

• arxiv url: http://arxiv.org/abs/2602.02890v1
• Date: Mon, 02 Feb 2026 22:48:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-04 18:37:15.123236
• Title: Self-Soupervision: Cooking Model Soups without Labels
• Title（参考訳）: セルフ・ソウパービジョン:ラベルなしでモデル・スープを調理する
• Authors: Anthony Fuller, James R. Green, Evan Shelhamer,
• Abstract要約: Self-emphSoupervisionはスープを自己教師型学習(SSL)に一般化する 破損したテストデータに基づいて自己解凍を行い, 故障した列車データから微調整し, 3.5%(ImageNet-C)と+7%(LAION-C)のロバスト性を高めることを示す。
• 参考スコア（独自算出の注目度）: 10.025298125862507
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model soups are strange and strangely effective combinations of parameters. They take a model (the stock), fine-tune it into multiple models (the ingredients), and then mix their parameters back into one model (the soup) to improve predictions. While all known soups require supervised learning, and optimize the same loss on labeled data, our recipes for Self-\emph{Soup}ervision generalize soups to self-supervised learning (SSL). Our Self-Souping lets us flavor ingredients on new data sources, e.g. from unlabeled data from a task for transfer or from a shift for robustness. We show that Self-Souping on corrupted test data, then fine-tuning back on uncorrupted train data, boosts robustness by +3.5\% (ImageNet-C) and +7\% (LAION-C). Self-\emph{Soup}ervision also unlocks countless SSL algorithms to cook the diverse ingredients needed for more robust soups. We show for the first time that ingredients can differ in their SSL hyperparameters -- and more surprisingly, in their SSL algorithms. We cook soups of MAE, MoCoV3, and MMCR ingredients that are more accurate than any one single SSL ingredient.
• Abstract（参考訳）: モデルスープは奇妙で、パラメータの奇妙な効果的な組み合わせです。 モデル(在庫)を複数のモデル(成分)に微調整し、パラメータを1つのモデル(スープ)に混ぜて予測を改善する。 すべての既知のスープは教師付き学習を必要とし、ラベル付きデータと同じ損失を最適化しますが、Self-\emph{Soup}ervisionのレシピは、スープを自己教師付き学習(SSL)に一般化します。 私たちのSelf-Soupingは、新しいデータソースにフレーバーを付けることができます。 劣化したテストデータに基づいて自己解凍を行い, 故障した列車データから微調整を行い, 画像Net-Cで+3.5\%, LAION-Cで+7\%のロバスト性を向上することを示す。 Self-\emph{Soup}ervisionは無数のSSLアルゴリズムをアンロックして、より堅牢なスープに必要なさまざまな成分を調理する。 私たちは、SSLハイパーパラメーターで要素が異なることを初めて示します -- そして、より驚くべきことに、SSLアルゴリズムでは。 MAE, MoCoV3, MMCR成分のスープを1つのSSL成分よりも高精度に調理する。

関連論文リスト

• Learning Scalable Model Soup on a Single GPU: An Efficient Subspace Training Strategy [45.48742652332425]
  モデルスープの変種であるLearned-Soupは、パフォーマンスを大幅に改善するが、メモリと時間コストが大幅に低下する。 本稿では,この問題に対処するために,メモリ効率の高いハイパープレーン学習スープ(MEHL-Soup)を提案する。 テスト精度ではMEHL-Soup(+)がLearred-Soup(+)より優れており,メモリ使用量も13ドル以上削減されている。
  論文  参考訳（メタデータ） (2024-07-04T05:23:22Z)
• MixSup: Mixed-grained Supervision for Label-efficient LiDAR-based 3D Object Detection [59.1417156002086]
  MixSupは、大量の安価な粗いラベルと、Mixed-fine Supervisionの限られた数の正確なラベルを同時に活用する、より実用的なパラダイムである。 MixSupは、安価なクラスタアノテーションと10%のボックスアノテーションを使用して、完全な教師付きパフォーマンスの97.31%を達成している。
  論文  参考訳（メタデータ） (2024-01-29T17:05:19Z)
• Descriptor and Word Soups: Overcoming the Parameter Efficiency Accuracy Tradeoff for Out-of-Distribution Few-shot Learning [13.075100580514212]
  記述子(descriptor)と単語スープ( word soups)という,より柔軟な方法を提案する。 Descriptor soupは、ジェネリックな数ショットのトレーニングデータを使用して、テキスト記述子の小さなセットを優しく選択する。 単語のスープは、似たような方法で単語の連鎖を優雅に組み立てる。
  論文  参考訳（メタデータ） (2023-11-21T23:30:01Z)
• Large Language Models as Sous Chefs: Revising Recipes with GPT-3 [56.7155146252028]
  我々は、複雑で多様で広く使われている指示の例としてレシピに焦点を当てている。 我々は、レシピと材料リストに基づいたプロンプトを開発し、レシピをより単純なステップに分解する。 また,レシピリビジョンの品質の人的判断を収集しながら,疲労軽減を念頭に設計したAmazon Mechanical Turkタスクにも貢献する。
  論文  参考訳（メタデータ） (2023-06-24T14:42:43Z)
• Evaluating Self-Supervised Learning via Risk Decomposition [100.73914689472507]
  自己教師付き学習(SSL)パイプラインは、アーキテクチャや拡張、事前トレーニングデータなど、多くの設計上の選択肢が異なる。 これはなぜモデルが良いのか、いつ良いのか、どのように改善するかについて、あまり洞察を提供していない。 本稿では,古典的教師付き近似-推定分解を一般化したSSLリスク分解を提案する。
  論文  参考訳（メタデータ） (2023-02-06T19:09:00Z)
• Model soups to increase inference without increasing compute time [0.0]
  3つの異なるモデル(ResNet、ViT、EfficientNet)におけるModel Soupsのパフォーマンスの比較を行う。 次に、Pruned Soupと呼ばれる新しいSoup Recipeを紹介します。 スープの結果は、トレーニング済みのビジョントランスフォーマーの最高の個別モデルよりも優れていたが、ResNetやEfficientNetでは最悪だった。
  論文  参考訳（メタデータ） (2023-01-24T15:59:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。