論文の概要: Technical report on label-informed logit redistribution for better domain generalization in low-shot classification with foundation models

• arxiv url: http://arxiv.org/abs/2501.17595v2
• Date: Thu, 30 Jan 2025 18:07:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-31 11:52:53.831583
• Title: Technical report on label-informed logit redistribution for better domain generalization in low-shot classification with foundation models
• Title（参考訳）: 基礎モデルを用いた低ショット分類におけるドメイン一般化のためのラベルインフォームドロジット再分配技術報告
• Authors: Behraj Khan, Tahir Syed,
• Abstract要約: 信頼度校正は、基礎モデルに基づく現実世界の意思決定システムにおいて、新たな課題である。 本研究では,微調整の際,不正分類を罰する損失目標に組み込んだペナルティを提案する。 CMP(textitconfidence misalignment penalty)と呼ぶ。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Confidence calibration is an emerging challenge in real-world decision systems based on foundations models when used for downstream vision classification tasks. Due to various reasons exposed, logit scores on the CLIP head remain large irrespective of whether the image-language pairs reconcile. It is difficult to address in data space, given the few-shot regime. We propose a penalty incorporated into loss objective that penalizes incorrect classifications whenever one is made during finetuning, by moving an amount of log-likelihood to the true class commensurate to the relative amplitudes of the two likelihoods. We refer to it as \textit{confidence misalignment penalty (CMP)}. Extensive experiments on $12$ vision datasets and $5$ domain generalization datasets supports the calibration performance of our method against stat-of-the-art. CMP outperforms the benchmarked prompt learning methods, demonstrating average improvement in Expected Calibration Error (ECE) by average $6.01$\%, $4.01$ \% at minimum and $9.72$\% at maximum.
• Abstract（参考訳）: 信頼度校正は、下流視覚分類タスクで使用する基礎モデルに基づく現実世界の意思決定システムにおいて、新たな課題である。 様々な理由から、画像言語対が一致しているかどうかに関わらず、CLIPヘッドのロジットスコアは大きいままである。 数発のレギュレーションを考えると、データ空間での対処は困難である。 本稿では,2つの可能性の相対振幅に比例した真のクラスにログライクな量のログを移動させることにより,微調整中に不正な分類を行うような損失対象に組み込まれたペナルティを提案する。 我々はそれを「textit{confidence misalignment penalty (CMP)」と呼ぶ。 12ドルのビジョンデータセットと5ドルのドメイン一般化データセットに関する大規模な実験は、我々の手法のキャリブレーション性能(stat-of-the-art)をサポートする。 CMPは、ベンチマークされた急進的な学習方法より優れており、期待校正誤差(ECE)を平均6.01$\%、最低4.01$ \%、最大9.72$\%改善している。

関連論文リスト

• Technical note on calibrating vision-language models under covariate shift [2.8470354623829577]
  低ショットビジョン分類のための視覚言語基盤モデルは、ターゲットデータ分布に一般化する限られた能力を有する。 我々は,共変量シフトと信頼の相違を緩和する統合フレームワークであるtextitConfidence-Calibrated Covariate Shift Correction(C3SC$)を提案する。 C3SC$はキャリブレーションの堅牢性(ECE)を最大5.82%向上させる。
  論文  参考訳（メタデータ） (2025-02-11T10:10:15Z)
• Enhancing Zero-Shot Vision Models by Label-Free Prompt Distribution Learning and Bias Correcting [55.361337202198925]
  CLIPのようなヴィジュアル言語モデルは、適切なテキスト記述を使用する際に、顕著な一般化能力を示している。 本稿では,ラベル付きデータを必要としないゼロショット性能を向上する,**Frolic**と呼ばれるラベルフリーな分布学習とバイアス補正フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-25T04:00:45Z)
• On support vector machines under a multiple-cost scenario [1.743685428161914]
  Support Vector Machine (SVM) はバイナリ分類において強力なツールである。 本稿では,性能制約を組み込んだ誤り分類コストを考慮した新しいSVMモデルを提案する。
  論文  参考訳（メタデータ） (2023-12-22T16:12:25Z)
• Divide and Contrast: Source-free Domain Adaptation via Adaptive Contrastive Learning [122.62311703151215]
  Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。 DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。 さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
  論文  参考訳（メタデータ） (2022-11-12T09:21:49Z)
• Label Distributionally Robust Losses for Multi-class Classification: Consistency, Robustness and Adaptivity [55.29408396918968]
  多クラス分類のためのラベル分布ロバスト(LDR)損失という損失関数群について検討した。 我々の貢献は、多クラス分類のためのLDR損失のトップ$kの一貫性を確立することによって、一貫性と堅牢性の両方を含んでいる。 本稿では,各インスタンスのクラスラベルの雑音度に個別化温度パラメータを自動的に適応させる適応型LDR損失を提案する。
  論文  参考訳（メタデータ） (2021-12-30T00:27:30Z)
• Newer is not always better: Rethinking transferability metrics, their peculiarities, stability and performance [5.650647159993238]
  小さなカスタマイズされたデータセット上で、大規模で事前訓練された画像と言語モデルの微調整が人気を集めている。 共分散推定における統計的問題により,Hスコアの性能が低下することが示唆された。 そこで我々は,そのような設定における相対的精度に対する相関性能を補正し,評価することを推奨する。
  論文  参考訳（メタデータ） (2021-10-13T17:24:12Z)
• Test-time Batch Statistics Calibration for Covariate Shift [66.7044675981449]
  我々は,推論中に深層モデルを新しい環境に適応させることを提案する。 バッチ統計の校正に$alpha$-BNの一般的な定式化を提案する。 また、統合テスト時間適応フレームワークCoreを形成するための新しい損失関数も提示する。
  論文  参考訳（メタデータ） (2021-10-06T08:45:03Z)
• Multi-label Contrastive Predictive Coding [125.03510235962095]
  差分相互情報(MI)推定器は、コントラスト予測符号化(CPC)のような教師なし表現学習法で広く利用されている。 本稿では,複数の正のサンプルを同時に同定する必要がある多ラベル分類問題に基づく新しい推定器を提案する。 同一量の負のサンプルを用いて複数ラベルのCPCが$log m$boundを超えることができる一方で、相互情報の有意な下限であることを示す。
  論文  参考訳（メタデータ） (2020-07-20T02:46:21Z)
• Generalized Focal Loss: Learning Qualified and Distributed Bounding Boxes for Dense Object Detection [85.53263670166304]
  一段検出器は基本的に、物体検出を密度の高い分類と位置化として定式化する。 1段検出器の最近の傾向は、局所化の質を推定するために個別の予測分岐を導入することである。 本稿では, 上記の3つの基本要素, 品質推定, 分類, ローカライゼーションについて述べる。
  論文  参考訳（メタデータ） (2020-06-08T07:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。