論文の概要: AttenDence: Maximizing Attention Confidence for Test Time Adaptation

• arxiv url: http://arxiv.org/abs/2511.18925v1
• Date: Mon, 24 Nov 2025 09:32:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-25 18:34:25.133596
• Title: AttenDence: Maximizing Attention Confidence for Test Time Adaptation
• Title（参考訳）: 注意: テスト時間適応のための注意力の信頼度を最大化する
• Authors: Yash Mali,
• Abstract要約: テスト時間適応(TTA)は、モデルが推論時に分散シフトに適応できるようにする。 本稿では,CLSトークンから画像パッチへの注目分布のエントロピーを,新たなTTA目標として最小化することを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Test-time adaptation (TTA) enables models to adapt to distribution shifts at inference time. While entropy minimization over the output distribution has proven effective for TTA, transformers offer an additional unsupervised learning signal through their attention mechanisms. We propose minimizing the entropy of attention distributions from the CLS token to image patches as a novel TTA objective.This approach encourages the model to attend more confidently to relevant image regions under distribution shift and is effective even when only a single test image is available. We demonstrate that attention entropy minimization improves robustness across diverse corruption types while not hurting performance on clean data on a single sample stream of images at test time.
• Abstract（参考訳）: テスト時間適応(TTA)は、モデルが推論時に分散シフトに適応できるようにする。 出力分布に対するエントロピーの最小化はTTAに有効であることが証明されているが、トランスフォーマーは注意機構を通じて追加の教師なし学習信号を提供する。 本稿では,CLSトークンから画像パッチへの注目分布のエントロピーを新たなTTA目標として最小化することを提案する。 本研究では,注目エントロピーの最小化により,画像の単一サンプルストリームにおけるクリーンデータの性能を損なうことなく,多様な汚職タイプ間のロバスト性が向上することを示す。

関連論文リスト

• CLIPTTA: Robust Contrastive Vision-Language Test-Time Adaptation [15.732351927470452]
  CLIPのような視覚言語モデル(VLM)は、強いゼロショット能力を示すが、分散シフトの下では一般化に失敗することが多い。 テスト時間適応(TTA)は、一般にエントロピーの最小化を通じて、ラベル付きデータなしで推論時にモデルを更新することを可能にする。 CLIPTTAは,CLIPの事前学習目標に沿ったソフトコントラスト損失を利用する視覚言語モデルのための,新しい勾配に基づくTTA手法である。
  論文  参考訳（メタデータ） (2025-07-18T18:32:17Z)
• Uniformity First: Uniformity-aware Test-time Adaptation of Vision-language Models against Image Corruption [4.792851066169872]
  ビジョン言語モデルは、トレーニングモデルと大きなギャップを持つデータセットに直面すると、依然として苦しむことが分かっています。 本稿では,センサ劣化に頑健なモデルを実現するために,情報バランスTTA (UnInfo) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-05-19T09:47:46Z)
• Enhancing Test Time Adaptation with Few-shot Guidance [62.49199492255226]
  深層ニューラルネットワークは、トレーニング(ソース)とテスト(ターゲット)データのドメインシフトに直面しながら、大きなパフォーマンス低下に直面することが多い。 TTA(Test Time Adaptation)法は,事前学習したソースモデルを用いて,配信外ストリーミングターゲットデータを処理する手法として提案されている。 本稿では,Few-Shot Test Time Adaptation (FS-TTA) を開発した。
  論文  参考訳（メタデータ） (2024-09-02T15:50:48Z)
• Test-Time Model Adaptation with Only Forward Passes [68.11784295706995]
  テストタイム適応は、トレーニング済みのモデルを、潜在的に分布シフトのある未確認テストサンプルに適応させるのに有効であることが証明されている。 テスト時間フォワード最適化適応法(FOA)を提案する。 FOAは量子化された8ビットのViTで動作し、32ビットのViTで勾配ベースのTENTより優れ、ImageNet-Cで最大24倍のメモリ削減を実現する。
  論文  参考訳（メタデータ） (2024-04-02T05:34:33Z)
• Each Test Image Deserves A Specific Prompt: Continual Test-Time Adaptation for 2D Medical Image Segmentation [14.71883381837561]
  ドメイン間の分散シフトは、実世界のアプリケーションに事前訓練されたセマンティックセグメンテーションモデルをデプロイする上で重要な障害である。 テスト時間適応は、推論中にドメイン間の分布シフトに取り組むのに有効であることが証明されている。 本稿では,各テスト画像に対する特定のプロンプトをトレーニングし,バッチ正規化レイヤの統計値を調整するために,Visual Prompt-based Test-Time Adaptation (VPTTA)法を提案する。
  論文  参考訳（メタデータ） (2023-11-30T09:03:47Z)
• Learning to Mask and Permute Visual Tokens for Vision Transformer Pre-Training [55.12082817901671]
  我々はMasked and Permuted Vision Transformer(MaPeT)という自己教師型事前学習手法を提案する。 MaPeTは、自動回帰および置換予測を使用して、パッチ内依存関係をキャプチャする。 以上の結果から,MaPeTはベースラインやコンペティターと同一のモデル設定で比較して,ImageNet上での競合性能を実証した。
  論文  参考訳（メタデータ） (2023-06-12T18:12:19Z)
• Masked Images Are Counterfactual Samples for Robust Fine-tuning [77.82348472169335]
  微調整の深層学習モデルは、分布内(ID)性能と分布外(OOD)堅牢性の間のトレードオフにつながる可能性がある。 そこで本研究では,マスク付き画像を対物サンプルとして用いて,ファインチューニングモデルのロバスト性を向上させる新しいファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-03-06T11:51:28Z)
• Test-time Adaptation with Slot-Centric Models [63.981055778098444]
  Slot-TTAは、半教師付きシーン分解モデルであり、シーンごとのテスト時間は、再構成やクロスビュー合成の目的に対する勾配降下を通じて適用される。 我々は、最先端の監視フィードフォワード検出器と代替テスト時間適応法に対して、配電性能が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2022-03-21T17:59:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。