論文の概要: Position Aware Layer Queries for Test Time Training in Vision Language Models

• arxiv url: http://arxiv.org/abs/2609.34021v1
• Date: Sun, 27 Sep 2026 23:29:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 07:41:23.240464
• Title: Position Aware Layer Queries for Test Time Training in Vision Language Models
• Title（参考訳）: 視覚言語モデルにおけるテスト時間トレーニングのための位置認識層クエリ
• Abstract要約: テストタイムトレーニング(TTT)は、従来の微調整が不可能な場合に、入ってくるテストサンプルにモデルを適応させる。 私たちは、小さなモデル(学生)を介して、凍結したVLMをVLMの1つの前方通過に適応できる軽量なアプローチであるLayer Query Network (LQN)を紹介します。 LQNは位置一貫性規則化(Location Consistency Regularization, LCR)に依存しており、高価なO(H x W)画像をO(1)座標サンプリングに置き換えている。
• 参考スコア（独自算出の注目度）: 12.972522970918545
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Test-Time Training (TTT) adapts models to incoming test samples (e.g. out-of-distribution, (OOD)) when conventional fine-tuning is infeasible. Existing TTT methods for Vision-Language Models (VLMs) create supervision from several augmented views, each requiring forward (and often backward) passes through the entire VLM, incurring substantial computational cost. We observe that one forward pass with all the intermediate layer outputs already yields far more signal than the final embedding from all augmentations. We introduce Layer Query Network (LQN), a lightweight approach that can adapt a frozen VLM (teacher) in a single forward pass of the VLM via a small model (student). LQN uses Position-Aware Distillation (PAD) to mimic the teacher VLM's intermediate-layer spatial tokens by querying spatial coordinates of intermediate tokens. LQN additionally relies on Location Consistency Regularization (LCR), a self-supervision technique, replacing expensive O(H x W) image augmentation with O(1) coordinate sampling. Integrating these, LQN i) adapts and improves zero-shot CLIP ViT-B/16 by 9.8% Top-1 on OOD ImageNet, ii) outperforms the previous best GS-Bias on fine-grained classification by 3.9% Top-1, iii) achieves faster convergence than TPS for CLIP ResNet-50 (47 mins vs 55 mins), iv) generalizes adaptation to VLMs like SigLIP, EVA-CLIP, and CoCa, and lightweight students like MLP, ResNet, VGG, and v) extends to panoptic, instance, and semantic segmentation.
• Abstract（参考訳）: テストタイムトレーニング(TTT)は、従来の微調整が不可能な場合に、入ってくるテストサンプル(例えば、アウト・オブ・ディストリビューション(OOD))にモデルを適応させる。 既存のVLM(Vision-Language Models)のためのTTメソッドは、いくつかの拡張ビューから監督し、それぞれがVLM全体を通過する必要がある(そしてしばしば後方)。 我々は、すべての中間層出力を持つ1つの前方通過が、すべての拡張から最終的な埋め込みよりもはるかに多くの信号を生成することを観察する。 我々は,凍結したVLM (Teacher) を小さなモデル (学生) を介して,VLMの1つの前方通過に適応できる軽量なアプローチであるLayer Query Network (LQN) を紹介する。 LQNは、中間トークンの空間座標をクエリすることで、教師のVLMの中間層空間トークンを模倣するために位置認識蒸留(PAD)を使用する。 さらに、LQNは、高価なO(H x W)画像増倍をO(1)座標サンプリングに置き換え、自己超越技術であるLocation Consistency Regularization (LCR)に依存している。 これらを統合するLQN i) OOD ImageNet上で、ゼロショットのCLIP ViT-B/16を9.8%のTop-1に適応し、改善する。 二 細粒度分類において前回最高のGS-Biasを3.9%Top-1で上回っていること。 iii) CLIP ResNet-50(47分対55分)のTPSよりも早く収束する。 iv) SigLIP、EVA-CLIP、CoCaなどのVLMへの適応を一般化し、MLP、ResNet、VGGなどの軽量な学生を育成する。 v) 汎視的、例えば、意味的セグメンテーションに拡張する。

関連論文リスト

• Seeing Before Answering: Training-Free Visual Layer Profiling for Vision-Language Models [38.82047665515676]
  LLaVA-style Vision-Language Models (VLM) は、視覚バックボーンの固定された後期層から言語モデルに視覚トークンを渡す。 徹底的なレイヤワイド推論でそのレイヤを見つけるのは違法にコストがかかり、固定されたデフォルトが存在しない。 本稿では,視覚的エントロピー (VDE) とグロモフ・ワッサーシュタイン (GW) 距離 (Gromov-Wasserstein) として,サンプルレベルの視覚的埋め込みを用いて計算する行列ベースのエントロピーについて検討する。
  論文  参考訳（メタデータ） (2026-08-17T08:35:37Z)
• Unified Spatio-Temporal Token Scoring for Efficient Video VLMs [61.08183446817756]
  トケンプルーニングは視覚言語モデルの計算効率を高めるために不可欠である。 本稿では,視覚トークンを ViT と LLM の両方にわたってプルークする,シンプルで軽量なモジュールである Spatio-Temporal Token Scoring (STTS) を紹介する。 STTSはアーキテクチャ全体の視覚トークンの50%を突破し、トレーニングと推論の両方で効率が62%向上した。
  論文  参考訳（メタデータ） (2026-03-18T17:59:56Z)
• Integrating Time Series into LLMs via Multi-layer Steerable Embedding Fusion for Enhanced Forecasting [44.91360223102709]
  時系列データ(TS)は様々なアプリケーション領域に分散しており、時系列予測(TSF)は基本的なタスクである。 既存の手法は、TS情報の浅い統合によって本質的に制約される。 我々は,より深い層におけるTS情報の進行的損失を軽減するために,多層ステアブル・エンベディング・フュージョン(MSEF)を提案する。
  論文  参考訳（メタデータ） (2025-08-22T03:22:10Z)
• Enhancing Vision-Language Model Training with Reinforcement Learning in Synthetic Worlds for Real-World Success [5.617637951327993]
  本稿では,軽量強化学習アルゴリズムであるVision-Language Decoupled Actor-Critic (VLDAC)を紹介する。 VLDACは環境レベルのみに価値を学習しながら、PPO更新を動作に適用する。 一度に1つの安価なシミュレータで1つのVLMをVLDACでトレーニングすると、広く一般化するポリシーが生成される。
  論文  参考訳（メタデータ） (2025-08-06T10:08:48Z)
• VLsI: Verbalized Layers-to-Interactions from Large to Small Vision Language Models [84.84277196012907]
  VLsI: Verbalized Layers-to-Interactions, a new VLM family in 2B and 7B model size。 GPT-4Vよりも優れた性能向上(2Bは11.0%、7Bは17.4%)を達成した。
  論文  参考訳（メタデータ） (2024-12-02T18:58:25Z)
• Adapting Pre-trained Language Models to Vision-Language Tasks via Dynamic Visual Prompting [83.21164539349273]
  事前学習型言語モデル (PLM) はマルチメディア研究においてその役割を担っている。 本稿では,視覚言語推論タスクのスタンドアロンモデルとしてのPLMの探索に焦点をあてる。 ダイナミックビジュアル・プロンプティング(DVP)と呼ばれるPLMのための新しいトランスファー学習手法を提案する。
  論文  参考訳（メタデータ） (2023-06-01T07:19:28Z)
• Test-Time Adaptation with CLIP Reward for Zero-Shot Generalization in Vision-Language Models [76.410400238974]
  モデル出力を補正し、モデルが盲目的に自信を持たないようにするためのフィードバック付きTTAを提案する。 CLIPモデルは、TTA中に報酬モデルとして採用され、VLMにフィードバックを提供する。 提案したCLIPフィードバック(RLCF)フレームワークによるテキスト強化学習は非常に柔軟で普遍的である。
  論文  参考訳（メタデータ） (2023-05-29T11:03:59Z)
• An Empirical Study of Training End-to-End Vision-and-Language Transformers [50.23532518166621]
  我々はMETER(textbfMultimodal textbfEnd-to-end textbfTransformtextbfER)を提案する。 具体的には、視覚エンコーダ(例えば、CLIP-ViT、Swin変換器)、テキストエンコーダ(例えば、RoBERTa、DeBERTa)、マルチモーダルフュージョン(例えば、マージアテンション対共振器)である。
  論文  参考訳（メタデータ） (2021-11-03T17:55:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。