論文の概要: Exploring Weak-to-Strong Generalization for CLIP-based Classification

• arxiv url: http://arxiv.org/abs/2511.18396v1
• Date: Sun, 23 Nov 2025 10:47:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-25 18:34:24.819493
• Title: Exploring Weak-to-Strong Generalization for CLIP-based Classification
• Title（参考訳）: CLIPに基づく分類のための弱相関一般化の探索
• Authors: Jinhao Li, Sarah M. Erfani, Lei Feng, James Bailey, Feng Liu,
• Abstract要約: 現在の手法は人間の監督に頼っているが、モデルの複雑さが増大するにつれて実用的ではない。 最近提案された新しい解決策は、より弱いモデルを使用してより強いモデルを監視することである。 これまでの研究は、言語のみのモデルにおける弱強一般化の有効性を示してきた。 CLIPモデルの分類能力を高めることを目的としたクラスプロトタイプ学習法(CPL)を提案する。
• 参考スコア（独自算出の注目度）: 22.367331851262875
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Aligning large-scale commercial models with user intent is crucial to preventing harmful outputs. Current methods rely on human supervision but become impractical as model complexity increases. When models surpass human knowledge, providing accurate feedback becomes challenging and inefficient. A novel solution proposed recently is using a weaker model to supervise a stronger model. This concept leverages the ability of weaker models to perform evaluations, thereby reducing the workload on human supervisors. Previous work has shown the effectiveness of weak-to-strong generalization in the context of language-only models. Extending this concept to vision-language models leverages these insights, adapting the proven benefits to a multi-modal context. In our study, we explore weak-to-strong generalization for CLIP-based classification. We propose a method, class prototype learning (CPL), which aims to enhance the classification capabilities of the CLIP model, by learning more representative prototypes for each category. Our findings indicate that, despite using a simple loss function under weak supervision, CPL yields robust improvements in targeted scenarios, particularly when pretraining is limited. Extensive experiments demonstrate that our approach is effective under these settings, achieving a 3.67% improvement over strong baseline methods.
• Abstract（参考訳）: 大規模な商用モデルをユーザ意図で調整することは、有害なアウトプットを防ぐために不可欠である。 現在の手法は人間の監督に頼っているが、モデルの複雑さが増大するにつれて実用的ではない。 モデルが人間の知識を超えると、正確なフィードバックを提供することは困難で非効率になります。 最近提案された新しい解決策は、より弱いモデルを使用してより強いモデルを監視することである。 この概念は、より弱いモデルで評価を行う能力を活用し、それによって人間の監督者の作業負荷を減らす。 これまでの研究は、言語のみのモデルにおける弱強一般化の有効性を示してきた。 この概念を視覚言語モデルに拡張することは、これらの洞察を活用し、実証済みの利点をマルチモーダルな文脈に適用する。 そこで本研究では,CLIPに基づく分類の弱い一般化について検討する。 本稿では,CLIPモデルの分類能力向上を目的としたクラスプロトタイプ学習(CPL)を提案する。 以上の結果から,低監督下では単純な損失関数を用いても,特に事前訓練が限定された場合,CPLはターゲットシナリオの堅牢な改善をもたらすことが示唆された。 大規模な実験により,本手法はこれらの条件下で有効であることが示され,強力なベースライン法よりも3.67%向上した。

関連論文リスト

• Weak-to-Strong Generalization under Distribution Shifts [6.711930932187631]
  強弱から強弱の一般化フレームワークであるRAVENを提案する。 RAVENは強いモデルのパラメータに加えて弱いモデルの最適な組み合わせを学ぶ。 我々の結果は、RAVENがより正確な弱いモデルにより高い重みを割り当て、信頼に値する監督を自動的に識別する能力を示すことを示している。
  論文  参考訳（メタデータ） (2025-10-24T10:46:50Z)
• Model Steering: Learning with a Reference Model Improves Generalization Bounds and Scaling Laws [52.10468229008941]
  本稿では,戦略データの選択や重み付けを通じて,対象モデルのトレーニングを指導・強化するための基準として,訓練モデルを用いた新たな学習パラダイムを定式化する。 提案手法は,参照モデルを持たないトレーニングと比較して,一般化とデータの効率性を改善する理由に関する理論的知見を提供する。 これらの知見に基づいて,DRRho-CLIPと呼ばれる参照モデルを用いたコントラスト言語-画像事前学習手法を提案する。
  論文  参考訳（メタデータ） (2025-05-10T16:55:03Z)
• LoRE-Merging: Exploring Low-Rank Estimation For Large Language Model Merging [10.33844295243509]
  基本モデルであるtextscLoRE-Merging へのアクセスを必要とせず,タスクベクトルの低ランク推定に基づくモデルマージのための統一フレームワークを提案する。 我々のアプローチは、細調整されたモデルからのタスクベクトルは、しばしば支配的な特異値の限られた数しか示さず、低ランク推定が干渉しにくくなるという観察に動機づけられている。
  論文  参考訳（メタデータ） (2025-02-15T10:18:46Z)
• Towards Effective Evaluations and Comparisons for LLM Unlearning Methods [97.2995389188179]
  本稿では,大規模言語モデルにおける機械学習評価の精度向上を図る。 評価指標の堅牢性と、競合する目標間のトレードオフという、2つの重要な課題に対処します。
  論文  参考訳（メタデータ） (2024-06-13T14:41:00Z)
• Vision Superalignment: Weak-to-Strong Generalization for Vision Foundation Models [55.919653720979824]
  本稿では、より弱いモデルを用いてより強いモデルを監督する弱強一般化の概念に焦点を当てる。 弱強監督のための新規かつ適応的に調整可能な損失関数を提案する。 提案手法は, 強い一般化によって設定された性能ベンチマークを超えるだけでなく, データセット全体を用いた微調整の強いモデルの結果を上回る。
  論文  参考訳（メタデータ） (2024-02-06T06:30:34Z)
• ReCoRe: Regularized Contrastive Representation Learning of World Model [21.29132219042405]
  対照的な教師なし学習と介入不変正規化器を用いて不変特徴を学習する世界モデルを提案する。 提案手法は,現状のモデルベースおよびモデルフリーのRL法より優れ,iGibsonベンチマークで評価された分布外ナビゲーションタスクを大幅に改善する。
  論文  参考訳（メタデータ） (2023-12-14T15:53:07Z)
• Continual Learners are Incremental Model Generalizers [70.34479702177988]
  本稿では,継続学習モデル(CL)が事前学習者に与える影響を幅広く研究する。 その結果, 微調整性能が著しく低下することなく, 表現の伝達品質が徐々に向上することがわかった。 本稿では,下流タスクの解法において,リッチなタスクジェネリック表現を保存できる新しい微調整方式GLobal Attention Discretization(GLAD)を提案する。
  論文  参考訳（メタデータ） (2023-06-21T05:26:28Z)
• On the model-based stochastic value gradient for continuous reinforcement learning [50.085645237597056]
  モデルベースエージェントは,サンプル効率と最終報酬の両方の観点から,最先端のモデルフリーエージェントより優れていることを示す。 以上の結果から,モデルに基づく政策評価がより注目に値することが示唆された。
  論文  参考訳（メタデータ） (2020-08-28T17:58:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。