論文の概要: Cross-Prompt Inference Mitigates Rare-Class Suppression in Imbalanced VLM Finetuning

• arxiv url: http://arxiv.org/abs/2610.21470v1
• Date: Thu, 15 Oct 2026 08:13:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.27657
• Title: Cross-Prompt Inference Mitigates Rare-Class Suppression in Imbalanced VLM Finetuning
• Title（参考訳）: クロスプロンプト推論は、不均衡なVLMファインタニングにおける希少なクラス抑制を緩和する
• Abstract要約: クラス不均衡データに対して視覚言語モデルが微調整された場合,レアクラスのリコールは,モデル自体のゼロショット性能よりはるかに低くなる可能性があることを示す。 推論時に記述的微調整プロンプトを再利用する標準的な選択は、異なる記述的プロンプトを使用する場合よりも、レアクラスのリコールを低くすることができる。
• 参考スコア（独自算出の注目度）: 2.985717287923235
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When a vision-language model is finetuned on class-imbalanced data, rare-class recall can fall well below the model's own zero-shot performance. In this regime, we uncover a surprising matched-prompt penalty whereby the standard choice of reusing the descriptive finetuning prompt at inference can yield lower rare-class recall than using a different descriptive prompt. We call this inference-time strategy cross-prompt inference. We evaluate diverse VLMs across six datasets and find that cross-prompt inference consistently recovers rare-class recall, with varying trade-offs in frequent-class recall. The effect reflects a train-eval prompt interaction rather than prompt quality alone, and does not arise with non-descriptive prompt changes. It is strongest when imbalance and visual confusability produce substantial rare-class suppression, and is weak or absent when such suppression does not occur. Using Tuning Contribution (TuCo), which decomposes a model's computation into pretrained and finetuning parts, we find that cross-prompt inference reduces reliance on finetuning-induced computation and shifts the model toward its pretrained component. Reducing that finetuning contribution also substantially reduces the cross-prompt advantage. These results show that rare-class knowledge suppressed by imbalanced finetuning can remain accessible under a different inference prompt.
• Abstract（参考訳）: クラス不均衡なデータに対して視覚言語モデルが微調整されると、レアクラスのリコールはモデル自身のゼロショット性能よりはるかに低い値となる。 この体制では、推論時に記述的微調整プロンプトを再利用するという標準的な選択が、異なる記述的プロンプトを使用するよりも低いレアクラスリコールをもたらすという驚くべき一致したプロンプトのペナルティを明らかにする。 私たちはこの推論タイム戦略をクロスプロンプト推論と呼んでいる。 我々は6つのデータセットにまたがる多様なVLMを評価し、クロスプロンプト推論がレアクラスのリコールを継続的に回復し、頻繁なクラスのリコールにおいて様々なトレードオフが生じることを発見した。 この効果は、品質のみを急ぐのではなく、列車と列車間の即時的な相互作用を反映しており、非記述的な即時的な変化は生じない。 不均衡と視覚的コンフューザビリティが著しくレアクラスの抑制をもたらす場合が最も強く、そのような抑制が起こらない場合には弱いか欠落している。 モデル計算を事前学習部品と微調整部品に分解するチューニング寄与(TuCo)を用いて,クロスプロンプト推論は微調整による計算への依存を低減し,事前訓練部品にモデルをシフトさせる。 微調整の貢献を減らすことで、クロスプロンプトの優位性も大幅に低下する。 これらの結果から,不均衡な微調整によって抑制されたレアクラスの知識は,異なる推論プロンプトの下でもアクセス可能であることが示唆された。

関連論文リスト

• Neutral-Reference Prompting for Vision-Language Models [14.563492336625004]
  モデルパラメータを変更することなく、未確認クラスの識別を改善するプラグイン・アンド・プレイ・プロンプト補正戦略であるNeRPを提案する。 我々は,NeRPが未知のクラスに対して,既知のクラス予測性能を維持しながら精度を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2026-05-15T04:54:08Z)
• When Context Sticks: Studying Interference in In-Context Learning [0.0]
  In-context Learning (ICL)における文脈の頑健性について検討する。 ICLは、初期の例では、後続のタスクに適応するトランスフォーマーの能力に即座に干渉する現象である。 逐次的、混合、ランダムなカリキュラムの下で訓練されたモデルが突然のタスクスイッチをどのように扱うかを検討する。
  論文  参考訳（メタデータ） (2026-04-25T16:35:25Z)
• Single-weight Model Editing for Post-hoc Spurious Correlation Neutralization [54.8794775172033]
  ニューラルネットワークのトレーニングは、トレーニング損失を最小限に抑えるショートカットとして、最も単純な機能を利用する傾向がある。 これらの特徴のいくつかは、ターゲットラベルと急激な相関関係があり、モデルによる誤った予測につながる可能性がある。 本稿では,一重の修正を行なえる独特な厳密なクラス除去手法を提案する。
  論文  参考訳（メタデータ） (2025-01-24T02:22:42Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• SINCERE: Supervised Information Noise-Contrastive Estimation REvisited [5.004880836963827]
  これまでの研究では、InfoNCEを拡張して利用可能なクラスラベルから学ぶために、教師付きコントラスト(SupCon)損失が示唆されていた。 本稿では,InfoNCE の教師付き拡張として Supervised InfoNCE Revisited (SINCERE) 損失を提案する。 実験により、SINCEREは、異なるクラスから埋め込みを分離し、転送学習の分類精度を向上させることが示されている。
  論文  参考訳（メタデータ） (2023-09-25T16:40:56Z)
• Mitigating Word Bias in Zero-shot Prompt-based Classifiers [55.60306377044225]
  一致したクラス先行は、オラクルの上界性能と強く相関していることを示す。 また,NLPタスクに対するプロンプト設定において,一貫したパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2023-09-10T10:57:41Z)
• Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
  埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。 プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。 我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
  論文  参考訳（メタデータ） (2021-10-22T01:55:01Z)
• Avoiding Inference Heuristics in Few-shot Prompt-based Finetuning [57.4036085386653]
  文ペア分類タスクのプロンプトベースモデルでは,語彙重なりに基づく推論の一般的な落とし穴が依然として残っていることを示す。 そこで,プレトレーニングウェイトを保存する正規化を加えることは,この破壊的な微調整の傾向を緩和するのに有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-09T10:10:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。