論文の概要: Sparse MLLM Anchors, Dense Adaptation: Breaking the Self-Referential Loop in Wild Test-Time Adaptation
- arxiv url: http://arxiv.org/abs/2609.17040v1
- Date: Tue, 15 Sep 2026 11:48:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.480684
- Title: Sparse MLLM Anchors, Dense Adaptation: Breaking the Self-Referential Loop in Wild Test-Time Adaptation
- Title（参考訳）: Sparse MLLMアンカー, Dense Adaptation:Wild Test-Time Adaptationにおける自己参照ループを破る
- Abstract要約: 我々は,MASA(Multimodal-LLM-Anchored Semantic Adaptation)を導入し,冷凍大言語モデル(MLLM)の構造化意味記述とモデル内部証拠を補完する。
MASAは記述をエンコードし、隣接するテストサンプルに伝達し、結果の視覚意味情報をオンラインのプロトタイプメモリに格納する。
WTTA ImageNet-CベンチマークのMASAをResNetとViTのバックボーンを用いて,制限バッチ,混合ドメイン,不均衡ラベルシフト設定で評価した。
- 参考スコア（独自算出の注目度）: 17.055807559866093
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Wild test-time adaptation (WTTA) updates a source model online under small test batches, concurrent distribution shifts, and time-varying class imbalance. Most WTTA methods derive their adaptation signals, including predictive uncertainty, sample reliability, and local feature geometry, from the model being adapted. When the source model is unreliable under shift, these signals can reinforce its own errors, forming a self-referential loop. We introduce MASA (Multimodal-LLM-Anchored Semantic Adaptation), which complements model-internal evidence with structured semantic descriptions from a frozen multimodal large language model (MLLM). To limit inference cost, MASA queries the MLLM only for a small set of diverse, reliability-ranked anchors. The resulting descriptions capture the object family and nuisance factors such as style, viewpoint, and occlusion. MASA encodes these descriptions, propagates them to neighboring test samples, and stores the resulting visual-semantic information in an online prototype memory. Descriptor-aware retrieval from this memory provides an auxiliary target for lightweight adaptation of normalization-affine parameters. We evaluate MASA on the WTTA ImageNet-C benchmark under limited-batch, mixed-domain, and imbalanced-label-shift settings with ResNet and ViT backbones.
- Abstract（参考訳）: ワイルドテスト時間適応(WTTA)は、小さなテストバッチ、同時分散シフト、時間変化クラス不均衡の下で、ソースモデルをオンラインで更新する。
ほとんどのWTTA手法は、適応中のモデルから予測不確実性、サンプル信頼性、局所特徴幾何を含む適応信号を導出する。
ソースモデルがシフト中は信頼できない場合、これらの信号は自身のエラーを補強し、自己参照ループを形成する。
我々は,MASA(Multimodal-LLM-Anchored Semantic Adaptation)を導入し,そのモデル内部の証拠と,凍結したマルチモーダル大言語モデル(MLLM)の構造化意味記述を補完する。
推論コストを制限するため、MASAはMLLMを少数の多様な信頼性の高いアンカーに対してのみクエリする。
結果として得られた記述は、オブジェクトファミリーと、スタイル、視点、オクルージョンなどのニュアンス要素をキャプチャする。
MASAはこれらの記述をエンコードし、隣接するテストサンプルに伝達し、結果の視覚意味情報をオンラインのプロトタイプメモリに格納する。
このメモリからのディスクリプタ認識検索は、正規化-アフィンパラメータの軽量適応のための補助的ターゲットを提供する。
WTTA ImageNet-CベンチマークのMASAをResNetとViTのバックボーンを用いて,制限バッチ,混合ドメイン,不均衡ラベルシフト設定で評価した。
関連論文リスト
- TestMate: Test-Time Domain Adaptation Aided by Lightweight Vision Foundation Model [21.331953401986322]
Test-Time Domain Adaptation (TTDA)は、ストリーミングされた未ラベルのテストデータのみをリアルタイムで使用することで、Deep Neural Networksを分散シフトに適応させることを目的としている。
これらの問題を克服する新しい、リアルタイムかつバックプロパゲーションフリーなTTDAフレームワークであるTestMateを紹介します。
論文 参考訳（メタデータ） (2026-07-04T10:32:15Z) - LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。
CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
論文 参考訳（メタデータ） (2026-05-02T11:31:33Z) - Learning from Many and Adapting to the Unknown in Open-set Test Streams [24.690368986775848]
大規模言語モデル(LLM)は、再利用可能な表現と柔軟な推論を通じてタスクを一般化する。
SyCoはRac1およびMAPK経路を介して低ランクアダプタを更新するパラメータ効率適応法である。
論文 参考訳（メタデータ） (2026-04-01T06:23:24Z) - Fine-tuning MLLMs Without Forgetting Is Easier Than You Think [72.59321247529975]
分布内および分布外画像およびテキスト入力のモデル性能を評価するための2x2実験フレームワークを設計する。
その結果、トレーニング可能なパラメータの数を制限したり、低学習率を採用するなど、適切な正規化が、アウト・オブ・ディストリビューション・イメージを扱う際の忘れを効果的に防止できることが示唆された。
我々は、このことをタスク固有のオーバーフィッティングとみなし、データハイブリッドトレーニング戦略を導入することでこの問題に対処する。
論文 参考訳（メタデータ） (2026-03-15T17:16:19Z) - ProtoDCS: Towards Robust and Efficient Open-Set Test-Time Adaptation for Vision-Language Models [32.840734752367275]
Prototype-based Double-Check separation (ProtoDCS)はOSTTAの堅牢なフレームワークである。
csIDとcsOODを分離し、ビジョン言語モデルのcsIDデータへの安全かつ効率的な適応を可能にする。
ProtoDCSは、既知のクラス精度とOOD検出メトリクスの両方を大幅に向上させる。
論文 参考訳（メタデータ） (2026-02-27T03:39:02Z) - ITL-LIME: Instance-Based Transfer Learning for Enhancing Local Explanations in Low-Resource Data Settings [9.48243749038739]
LIME(Local Interpretable Model-Agnostic Explanations)は、ブラックボックス機械学習モデルの解釈可能性を向上させる。
LIMEの摂動とサンプリングにおける固有のランダム性は、局所性と不安定性の問題を引き起こす。
本稿では,データ制約環境における説明の忠実さと安定性を高めるための新しいインスタンスベーストランスファーラーニングLIMEフレームワーク(ITL-LIME)を提案する。
論文 参考訳（メタデータ） (2025-08-19T09:18:20Z) - Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。
In-Context Learning (ICL) など。
効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。
下流タスクへのLLM。
我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
論文 参考訳（メタデータ） (2024-09-30T10:48:20Z) - Test-Time Model Adaptation with Only Forward Passes [68.11784295706995]
テストタイム適応は、トレーニング済みのモデルを、潜在的に分布シフトのある未確認テストサンプルに適応させるのに有効であることが証明されている。
テスト時間フォワード最適化適応法(FOA)を提案する。
FOAは量子化された8ビットのViTで動作し、32ビットのViTで勾配ベースのTENTより優れ、ImageNet-Cで最大24倍のメモリ削減を実現する。
論文 参考訳（メタデータ） (2024-04-02T05:34:33Z) - An Adaptive Plug-and-Play Network for Few-Shot Learning [12.023266104119289]
少数のサンプルから学んだ後、新しいサンプルを分類するモデルが必要である。
ディープネットワークと複雑なメトリクスはオーバーフィッティングを引き起こす傾向があり、パフォーマンスをさらに改善することは困難である。
プラグアンドプレイ型モデル適応型リサイザ (MAR) とアダプティブ類似度測定器 (ASM) をその他の損失なく提案する。
論文 参考訳（メタデータ） (2023-02-18T13:25:04Z) - Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。
本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2021-02-09T10:55:27Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。