論文の概要: GroupCoOp: Group-robust Fine-tuning via Group Prompt Learning

• arxiv url: http://arxiv.org/abs/2509.23781v1
• Date: Sun, 28 Sep 2025 09:54:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.444618
• Title: GroupCoOp: Group-robust Fine-tuning via Group Prompt Learning
• Title（参考訳）: GroupCoOp: Group Prompt Learningによるグループロバストファインチューニング
• Authors: Nayeong Kim, Seong Joon Oh, Suha Kwak,
• Abstract要約: Group Context Optimization (GroupCoOp) は、単純で効果的な微調整アルゴリズムである。 微調整視覚言語モデル(VLM)の群ロバスト性を高める GroupCoOpは、5つのCLIPアーキテクチャにわたる5つのベンチマークで最高の結果を得た。
• 参考スコア（独自算出の注目度）: 57.888537648437115
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Parameter-efficient fine-tuning (PEFT) of vision-language models (VLMs) excels in various vision tasks thanks to the rich knowledge and generalization ability of VLMs. However, recent studies revealed that such fine-tuned VLMs are vulnerable to spurious correlations stemming from the subgroup imbalance in the fine-tuning datasets. To resolve this issue, we propose Group Context Optimization (GroupCoOp), a simple and effective debiased fine-tuning algorithm that enhances the group robustness of fine-tuned VLMs. Its key idea is to employ group-specific text prompts as group representatives serving as multiple classifiers for their target class. The rich semantic knowledge of the text encoder of VLM enables the discovery of effective group prompts even for groups with a small number of training samples. Leveraging the group prompts for each class addresses the issues caused by the group-imbalanced training set, such as the neglect of minority groups and the scattered distribution of each class in the embedding space. GroupCoOp achieved the best results on five benchmarks across five CLIP architectures and occasionally outperformed prior methods that fine-tune the entire network, despite training only 0.016\% of the network's parameters.
• Abstract（参考訳）: 視覚言語モデル(VLM)のパラメータ効率のよい微調整(PEFT)は、VLMの豊富な知識と一般化能力により、様々な視覚タスクに優れる。 しかし、最近の研究では、これらの微調整VLMは、微調整データセットのサブグループ不均衡から生じる急激な相関に弱いことが判明した。 この問題を解決するために,グループコンテキスト最適化(GroupCoOp)を提案する。 その鍵となる考え方は、グループ固有のテキストプロンプトを、ターゲットクラスの複数の分類子として機能するグループ代表として使うことである。 VLMのテキストエンコーダの豊富なセマンティック知識は、少数のトレーニングサンプルを持つグループであっても効果的なグループプロンプトの発見を可能にする。 各クラスに対するグループプロンプトの活用は、少数群の無視や埋め込み空間における各クラスの分散分布など、グループ不均衡なトレーニングセットによって引き起こされる問題に対処する。 GroupCoOpは5つのCLIPアーキテクチャにまたがる5つのベンチマークで最高の結果を得た。

関連論文リスト

• The Pitfalls of Growing Group Complexity: LLMs and Social Choice-Based Aggregation for Group Recommendations [2.6470894980840525]
  Group Recommender Systems (GRS) は、社会的選択に基づくアグリゲーション戦略を使って単一のレコメンデーションを導いた。 ゼロショット学習に基づいて,言語モデルがこれらの戦略を正しく実行できる条件について検討する。 100以上のレーティングを考慮すると、パフォーマンスが低下し始めています。 今後の研究は、GRS評価の要素としてグループ複雑性を含むべきであると結論付けている。
  論文  参考訳（メタデータ） (2025-05-08T07:43:01Z)
• Project-Probe-Aggregate: Efficient Fine-Tuning for Group Robustness [61.45587642780908]
  画像テキスト基礎モデルのパラメータ効率向上のための3段階のアプローチを提案する。 本手法は, マイノリティ標本同定とロバストトレーニングアルゴリズムの2つの重要な要素を改良する。 我々の理論分析は,PPAが少数群の識別を向上し,バランスの取れたグループエラーを最小限に抑えるためにベイズが最適であることを示している。
  論文  参考訳（メタデータ） (2025-03-12T15:46:12Z)
• Take One Gram of Neural Features, Get Enhanced Group Robustness [23.541213868620837]
  経験的リスク最小化で訓練された機械学習モデルの予測性能は、分散シフト下で大幅に低下する可能性がある。 本稿では,識別モデルの抽出した特徴の文法行列に基づいて,トレーニングデータセットをグループに分割する。 このアプローチは、ERMに対するグループロバスト性を向上するだけでなく、最近のすべてのベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-08-26T12:34:55Z)
• Improved Group Robustness via Classifier Retraining on Independent Splits [6.930560177764658]
  群分布的ロバスト最適化は、強力な最悪群性能を持つ学習モデルのベースラインとして広く使われている。 本稿では,トレーニングデータの独立分割に基づくリトレーニングのアイデアに基づいて,簡単な手法を設計する。 新たなサンプル分割手法を用いることで、微調整工程において、ロバストな最悪のグループ性能が得られることが判明した。
  論文  参考訳（メタデータ） (2022-04-20T16:22:27Z)
• Towards Group Robustness in the presence of Partial Group Labels [61.33713547766866]
  入力サンプルとターゲットラベルの間に 急激な相関関係がある ニューラルネットワークの予測を誤った方向に導く 本稿では,制約セットから最悪のグループ割り当てを最適化するアルゴリズムを提案する。 グループ間で総合的な集計精度を維持しつつ,少数集団のパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2022-01-10T22:04:48Z)
• BARACK: Partially Supervised Group Robustness With Guarantees [29.427365308680717]
  ニューラルネットワーク上での最悪のグループパフォーマンスを改善するためのフレームワークであるBARACKを提案する。 トレーニングデータの欠落したグループラベルを予測するためにモデルをトレーニングし、その上で、これらの予測されたグループラベルを頑健な最適化目標として使用する。 実験的な手法では, 1-33%のポイントにグループラベルがある場合でも, グループ情報を使用しないベースラインよりも優れている。
  論文  参考訳（メタデータ） (2021-12-31T23:05:21Z)
• Focus on the Common Good: Group Distributional Robustness Follows [47.62596240492509]
  本稿では,多様なグループ間で共有される特徴の学習を明示的に促進する,新しい,シンプルなアルゴリズムを提案する。 グループDROは、最低の正規化損失を持つグループに焦点を当て、代わりに、他のグループでもより良いパフォーマンスを実現するグループに焦点を当てるが、共有/共通機能を学ぶことにつながる可能性がある。
  論文  参考訳（メタデータ） (2021-10-06T09:47:41Z)
• Just Train Twice: Improving Group Robustness without Training Group Information [101.84574184298006]
  経験的リスク最小化による標準トレーニングは、特定のグループにおける平均的かつ低い精度で高い精度を達成するモデルを生成することができる。 群分布的ロバストな最適化 (group DRO) のような、最悪のグループ精度を達成する以前のアプローチでは、トレーニングポイントごとに高価なグループアノテーションが必要である。 本稿では,複数のエポックに対して標準的なERMモデルを訓練し,第1モデルが誤分類したトレーニング例を重み付けする第2モデルを訓練する,単純な2段階のアプローチであるJTTを提案する。
  論文  参考訳（メタデータ） (2021-07-19T17:52:32Z)
• You Never Cluster Alone [150.94921340034688]
  我々は、主流のコントラスト学習パラダイムをクラスタレベルのスキームに拡張し、同じクラスタに属するすべてのデータが統一された表現に寄与する。 分類変数の集合をクラスタ化代入信頼度として定義し、インスタンスレベルの学習トラックとクラスタレベルの学習トラックを関連付ける。 代入変数を再パラメータ化することで、TCCはエンドツーエンドでトレーニングされる。
  論文  参考訳（メタデータ） (2021-06-03T14:59:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。