論文の概要: To Adapt or Not to Adapt? Selective Adaptation for Vision-Language Models

• arxiv url: http://arxiv.org/abs/2609.08367v1
• Date: Tue, 08 Sep 2026 07:35:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.607183
• Title: To Adapt or Not to Adapt? Selective Adaptation for Vision-Language Models
• Title（参考訳）: 適応するか否か : 視覚言語モデルに対する選択的適応
• Authors: Siru Jiang, Yuwei Liang, Jian Liang, Ran He, Tieniu Tan,
• Abstract要約: テスト時適応(TTA)は、推論中の分布シフトに視覚言語モデルを適用するための顕著な戦略として現れている。 適応前後のモデル予測をサンプル単位で解析し、既存のTTA手法で2つの障害モードを観測する。 選択適応という新たな問題を導入し、与えられたテストサンプルを適応させるべきか、スキップすべきかを判断することを目的とする。
• 参考スコア（独自算出の注目度）: 50.94061118407214
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Test-time adaptation (TTA) has emerged as a prominent strategy for adapting vision-language models to distribution shifts during inference. We conduct a per-sample analysis of model predictions before and after adaptation, and observe two failure modes in existing TTA methods that echo previous work. Adaptations are frequently negligible, yielding no change in the model's predictions, and more severely, they can be detrimental by flipping previously correct predictions to incorrect ones. This naturally raises a question: Can we identify and skip such negligible or harmful adaptations? In this work, we introduce a new problem of selective adaptation, which aims to determine whether a given test sample should undergo adaptation or be skipped. To this end, we propose Cross-Augmentation Similarity (CAS), a simple baseline that performs adaptation only when predictions across augmented views exhibit low similarity. Notably, CAS not only preserves but in some cases improves overall accuracy, even when skipping nearly 85% of the adaptation process. We hope other researchers will explore this new direction and surpass the performance of our baseline. Our code is available at https://github.com/sirujiang/selective-adaptation.
• Abstract（参考訳）: テスト時適応(TTA)は、推論中の分布シフトに視覚言語モデルを適用するための顕著な戦略として現れている。 我々は,適応前後のモデル予測をサンプル単位で解析し,従来のTTA手法で2つの障害モードを観測した。 適応はしばしば無視され、モデルの予測に変化は生じず、より厳しくは、前もって正しい予測を誤った予測に切り替えることによって有害になる可能性がある。 このような無視できないあるいは有害な適応を特定して、スキップすることはできますか? 本研究では,選択適応の新たな問題を提案する。これは,与えられた試験サンプルが適用されるべきか,スキップされるべきかを決定することを目的としている。 この目的のために,拡張ビュー間の予測が低類似性を示す場合にのみ適応を行うシンプルなベースラインであるクロス拡張類似性(CAS)を提案する。 特に、CASは保存するだけでなく、適応プロセスの85%近くをスキップしても全体的な精度を向上させる場合もある。 他の研究者がこの新しい方向を探求し、ベースラインのパフォーマンスを上回ることを願っている。 私たちのコードはhttps://github.com/sirujiang/selective-adaptation.comで利用可能です。

関連論文リスト

• Test-Time Model Adaptation with Only Forward Passes [68.11784295706995]
  テストタイム適応は、トレーニング済みのモデルを、潜在的に分布シフトのある未確認テストサンプルに適応させるのに有効であることが証明されている。 テスト時間フォワード最適化適応法(FOA)を提案する。 FOAは量子化された8ビットのViTで動作し、32ビットのViTで勾配ベースのTENTより優れ、ImageNet-Cで最大24倍のメモリ削減を実現する。
  論文  参考訳（メタデータ） (2024-04-02T05:34:33Z)
• Source-Free Unsupervised Domain Adaptation with Hypothesis Consolidation of Prediction Rationale [53.152460508207184]
  Source-Free Unsupervised Domain Adaptation (SFUDA)は、モデルがターゲットのドメインラベルやソースドメインデータにアクセスせずに新しいドメインに適応する必要がある、という課題である。 本稿では,各サンプルについて複数の予測仮説を考察し,各仮説の背景にある理論的根拠について考察する。 最適性能を達成するために,モデル事前適応,仮説統合,半教師付き学習という3段階の適応プロセスを提案する。
  論文  参考訳（メタデータ） (2024-02-02T05:53:22Z)
• Parameter-free Online Test-time Adaptation [19.279048049267388]
  実世界の様々なシナリオにおいて,テスト時間適応手法が事前学習されたモデルにどのような効果をもたらすかを示す。 我々は特に「保守的」なアプローチを提案し、ラプラシアン適応最大推定(LAME)を用いてこの問題に対処する。 提案手法では,既存の手法よりもシナリオの平均精度がはるかに高く,メモリフットプリントもはるかに高速である。
  論文  参考訳（メタデータ） (2022-01-15T00:29:16Z)
• SITA: Single Image Test-time Adaptation [48.789568233682296]
  テスト時間適応(TTA)では、あるソースデータに基づいてトレーニングされたモデルを考えると、異なるディストリビューションからテストインスタンスに対してより良い予測を行うように適応することが目標である。 我々は、TTAをSITA(Single Image Test-time Adaptation)と呼ぶより実践的な環境で考える。 ここでは、各予測を行う場合、モデルはインスタンスのバッチではなく、与えられた単一のテストインスタンスにのみアクセスすることができる。 本稿では,前進保存伝播のみを必要とするSITA設定のための新しいアプローチAugBNを提案する。
  論文  参考訳（メタデータ） (2021-12-04T15:01:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。