論文の概要: Bridging CLIP with DINO: Cross-Modal Information Maximization for Online Test-Time Adaptation

• arxiv url: http://arxiv.org/abs/2611.04489v1
• Date: Tue, 03 Nov 2026 08:19:29 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:26:36.881374
• Title: Bridging CLIP with DINO: Cross-Modal Information Maximization for Online Test-Time Adaptation
• Title（参考訳）: DINOによるCLIPのブリッジ:オンラインテスト時間適応のためのクロスモーダル情報最適化
• Abstract要約: CLIPのようなビジョン教師付きモデルは、任意のクラス名からゼロショット分類を可能にする。 テスト時の腐敗の下で、彼らのビジュアルエンコーダプロジェクトは、不正確なテキストアンカーに、高い信頼性で機能を歪ませた。 本稿では,このループを3段階に分割するオンラインテスト時間適応(TTA)手法を提案する。
• 参考スコア（独自算出の注目度）: 13.32138925517902
• License:
• Abstract: Vision-language models such as CLIP enable zero-shot classification from arbitrary class names, but under test-time corruptions, their visual encoder projects distorted features onto incorrect textual anchors with high confidence: a phenomenon we term modality bias. Standard entropy minimization reinforces these overconfident errors, which creates a confirmation-bias loop and collapses the predicted label distribution. We propose an online test-time adaptation (TTA) method that breaks this loop at three levels. At the representation level, a frozen self-supervised backbone (e.g., DINO v2) is combined with CLIP through a cross-covariance logit ensemble. CLIP text prototypes are projected into the feature space of this text-free backbone, so the self-supervised branch classifies native image features and is less affected by the text bias of CLIP. At the optimization level, a gated test-time information-maximization objective pairs per-sample sharpening with batch-level diversity, while an adaptive gate excludes unreliable samples from the gradient. At the prediction level, an online logit adjustment corrects the residual class-distribution skew. CDIM outperforms the compared CLIP-based online TTA baselines on ImageNet-C, CIFAR10-C, and CIFAR100-C, and remains competitive in continual and mixed-domain TTA. Extensive analyses and ablation studies verify the contribution of each of its components. Our code is available at https://github.com/B1ueC1oud/CDIM
• Abstract（参考訳）: CLIPのような視覚言語モデルは任意のクラス名からゼロショットの分類を可能にするが、テストタイムの破損の下で、彼らの視覚エンコーダプロジェクトは、不正確なテキストアンカーに機能を歪ませ、高い信頼性を持つ:我々はモダリティバイアス(modality bias)と呼ぶ現象を表現した。 標準エントロピー最小化は、これらの過信エラーを強化し、確認バイアスループを生成し、予測されたラベル分布を崩壊させる。 本稿では,このループを3段階に分割するオンラインテスト時間適応(TTA)手法を提案する。 表現レベルでは、凍結した自己制御バックボーン(eg, DINO v2)とCLIPが相互共分散ロジットアンサンブルを介して結合される。 CLIPテキストプロトタイプは、このテキストフリーバックボーンの機能空間に投影されるため、セルフ教師付きブランチはネイティブイメージの特徴を分類し、CLIPのテキストバイアスの影響を受けない。 最適化レベルでは、ゲートテスト時間情報最大化対象ペアがバッチレベルの多様性にしたがってサンプルごとのシャープ化を行う一方、適応ゲートは勾配から信頼できないサンプルを除外する。 予測レベルでは、オンラインロジット調整が残余のクラス分配スキューを補正する。 CDIMは、ImageNet-C、CIFAR10-C、CIFAR100-Cで比較したCLIPベースのオンラインTTAベースラインよりも優れており、連続および混合ドメインTTAでは競争力がある。 大規模な分析およびアブレーション研究は、それぞれの成分の寄与を検証する。 私たちのコードはhttps://github.com/B1ueC1oud/CDIMで利用可能です。

関連論文リスト

• Label Shift Aware Adaptation for Online Zero-shot Learning with Contrastive Language-Image Pre-Training (CLIP) [18.579333827854175]
  Label Shift Aware (LSA) は、オンラインゼロショット分類タスクをドメイン適応問題として定式化する。 未知のソース分布に基づいてトレーニングされたCLIPによって計算された予測を、ラベルのないテストデータのみを使用してターゲット分布に適応する。 提案したLSAは、CLIPに基づく最先端のオンラインゼロショット学習手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2026-06-13T07:36:24Z)
• Multimodal Learning on Low-Quality Data with Conformal Predictive Self-Calibration [72.0672328514289]
  マルチモーダル学習は、しばしば低品質データの課題に悩まされる。 コンフォーマル予測自己校正(Conformal Predictive Self-Calibration)と呼ばれる統合フレームワークを提案する。 私たちのフレームワークは、既存の最先端メソッドを一貫して上回ります。
  論文  参考訳（メタデータ） (2026-05-05T14:48:52Z)
• Learning from Emptiness: De-biasing Listwise Rerankers with Content-Agnostic Probability Calibration [76.08899010904652]
  CapCalは、ランキング決定から位置バイアスを機械的に分離する、トレーニング不要のフレームワークである。 シングルパス効率を保ちながら、トレーニング不要の手法で優れた性能を発揮する。
  論文  参考訳（メタデータ） (2026-04-11T10:47:22Z)
• Bridge Feature Matching and Cross-Modal Alignment with Mutual-filtering for Zero-shot Anomaly Detection [25.349261412750586]
  本研究では,ZSAD 用 textbfFiSeCLIP とトレーニング不要 textbfCLIP を導入し,特徴マッチングとクロスモーダルアライメントを組み合わせた。 本手法は,異常検出ベンチマークにおいて,異常分類とセグメンテーションの両方において優れた性能を示す。
  論文  参考訳（メタデータ） (2025-07-15T05:42:17Z)
• FACT: Multinomial Misalignment Classification for Point Cloud Registration [1.256245863497516]
  本稿では,登録ライダー点雲対のアライメント品質(登録誤差)を予測するためのFACTを提案する。 FACTは、登録されたペアからローカル特徴を抽出し、ポイントトランスフォーマーベースのネットワークで処理し、ミスアライメントクラスを予測する。
  論文  参考訳（メタデータ） (2025-04-09T07:01:57Z)
• Enhancing Zero-Shot Vision Models by Label-Free Prompt Distribution Learning and Bias Correcting [55.361337202198925]
  CLIPのようなヴィジュアル言語モデルは、適切なテキスト記述を使用する際に、顕著な一般化能力を示している。 本稿では,ラベル付きデータを必要としないゼロショット性能を向上する,**Frolic**と呼ばれるラベルフリーな分布学習とバイアス補正フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-25T04:00:45Z)
• CLIP's Visual Embedding Projector is a Few-shot Cornucopia [45.93202559299953]
  最適化のために'external'パラメータを追加することなく、数ショットのCLIP適応のための代替手法を導入する。 視覚の埋め込みプロジェクション行列を微調整するだけで、すべてのベースラインよりも優れたパフォーマンスが得られることが分かりました。 この単純なアプローチはProLIPと呼ばれ、11個の数ショットの分類ベンチマーク、数ショットのクロスデータセットエンコーダ転送、ドメインの一般化、ベース・ツー・ニューなクラス一般化に最先端のパフォーマンスをもたらす。
  論文  参考訳（メタデータ） (2024-10-07T17:59:59Z)
• CLIPArTT: Adaptation of CLIP to New Domains at Test Time [19.0284321951354]
  CLIP Adaptation duRing Test-Time(CLIPArTT)を導入する。これは、事前学習された視覚言語モデル(VLM)に対する完全なテスト時間適応(TTA)アプローチである。 提案手法では,複数の予測クラスを1つの新しいテキストプロンプトに集約し,入力を再分類するためにemphpseudoラベルとして使用する,ユニークで最小限の侵襲的なテキストプロンプトチューニング処理を採用している。 以上の結果から,新たなトランスフォーメーションやトレーニング可能なモジュールを必要とせずに,CLIPArTTは非破損データセット間で動的にパフォーマンスを向上することがわかった。
  論文  参考訳（メタデータ） (2024-05-01T07:24:30Z)
• ProTeCt: Prompt Tuning for Taxonomic Open Set Classification [59.59442518849203]
  分類学的オープンセット(TOS)設定では、ほとんどショット適応法はうまくいきません。 本稿では,モデル予測の階層的一貫性を校正する即時チューニング手法を提案する。 次に,階層整合性のための新しいPrompt Tuning(ProTeCt)手法を提案し,ラベル集合の粒度を分類する。
  論文  参考訳（メタデータ） (2023-06-04T02:55:25Z)
• Test-Time Adaptation with CLIP Reward for Zero-Shot Generalization in Vision-Language Models [76.410400238974]
  モデル出力を補正し、モデルが盲目的に自信を持たないようにするためのフィードバック付きTTAを提案する。 CLIPモデルは、TTA中に報酬モデルとして採用され、VLMにフィードバックを提供する。 提案したCLIPフィードバック(RLCF)フレームワークによるテキスト強化学習は非常に柔軟で普遍的である。
  論文  参考訳（メタデータ） (2023-05-29T11:03:59Z)
• CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
  対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。 ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。 さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2023-02-02T04:27:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。