論文の概要: Unsupervised Layer-Wise Dynamic Test Time Adaptation for LLMs

• arxiv url: http://arxiv.org/abs/2602.09719v1
• Date: Tue, 10 Feb 2026 12:22:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-11 20:17:43.528338
• Title: Unsupervised Layer-Wise Dynamic Test Time Adaptation for LLMs
• Title（参考訳）: LLMの非教師付き層幅動的テスト時間適応
• Authors: Longhuan Xu, Cunjian Chen, Feng Yin,
• Abstract要約: 大規模言語モデル(LLM)のためのテスト時適応(TTA)は、デプロイ時に利用可能な信号を使用して、推論時にモデルパラメータを更新する。 本報告では, 教師なし, サンプル特異的なTTAという, 一般的だが未探索のシステムに焦点を当てる。 本稿では,TTA強度をプロンプト表現,LLM構造,適応ステップの関数として明示的に変調するフレームワークである層ワイド動的テスト時間適応を提案する。
• 参考スコア（独自算出の注目度）: 12.428201810981149
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Test-time adaptation (TTA) for large language models (LLMs) updates model parameters at inference time using signals available at deployment. This paper focuses on a common yet under-explored regime: unsupervised, sample-specific TTA, where the model adapts independently for each prompt using only the prompt itself, without gold answers or external supervision. Although appealing, naive unsupervised TTA with a fixed, handcrafted learning rate can be unstable: updates may overfit to prompt-specific statistics, drift from the desired answer distribution, and ultimately degrade generation quality. This failure mode is not surprising, as in this case TTA must adapt to a single prompt within only a few gradient steps, unlike standard training that averages updates over large datasets and long optimization horizons. Therefore, we propose layer-wise dynamic test-time adaptation, a framework which explicitly modulates TTA strength as a function of prompt representation, LLM structure and adaptation step. In our setting, TTA updates only LoRA parameters, and a lightweight hypernetwork predicts per-layer, per-step learning-rate multipliers, enabling fine-grained control. Experiments across various datasets and LLMs consistently show that our method substantially strengthens TTA by learning effective scaling patterns over adaptation steps and transformer layer projections, improving stability while delivering better performance.
• Abstract（参考訳）: 大規模言語モデル(LLM)のためのテスト時適応(TTA)は、デプロイ時に利用可能な信号を使用して、推論時にモデルパラメータを更新する。 本論文は、非教師付きサンプル特異的TTA(unsupervised, sample-specific TTA)で、各プロンプトに対して、金の回答や外部の監督なしに、プロンプト自体のみを用いて独立に適応する。 魅力的だが、固定された手作りの学習率を持つ教師なしのTTAは不安定であり、更新はプロンプト固有の統計に過度に適合し、望ましい回答分布から逸脱し、最終的に生成品質を低下させる可能性がある。 大規模なデータセットと長い最適化の地平線を平均化する標準トレーニングとは異なり、TTAはわずか数ステップで1つのプロンプトに適応しなければならないため、この障害モードは驚くべきことではない。 そこで本研究では,TTA強度をプロンプト表現,LLM構造,適応ステップの関数として明示的に変調するフレームワークであるレイヤワイドな動的テスト時間適応を提案する。 我々の設定では、TTAはLoRAパラメータのみを更新し、軽量なハイパーネットワークは階層ごとの学習レート乗算を予測し、きめ細かい制御を可能にする。 各種データセットおよびLCMを用いた実験により, 適応ステップやトランスフォーマー層投影よりも効果的なスケーリングパターンを学習し, 安定性を向上し, 優れた性能を実現することにより, TTAを大幅に強化することを示す。

関連論文リスト

• Test time training enhances in-context learning of nonlinear functions [51.56484100374058]
  テストタイムトレーニング(TTT)は、各予測に先立って指定されたパラメータを明示的に更新することで、モデル性能を向上させる。 本研究では,TTTとテキスト内学習(ICL)の組み合わせについて検討する。
  論文  参考訳（メタデータ） (2025-09-30T03:56:44Z)
• ETTA: Efficient Test-Time Adaptation for Vision-Language Models through Dynamic Embedding Updates [5.84817561920117]
  Test-Time Adaptationは、新しいドメインでラベル付けされていないテストデータに視覚言語モデルを適用する。 現在のキャッシュベースのTTAモデルは、限られた高信頼のサンプルのみを格納する。 入ってくるすべてのテストサンプルを統合するRecursive Updatingモジュールを提案する。
  論文  参考訳（メタデータ） (2025-08-07T23:11:33Z)
• Test-Time Model Adaptation with Only Forward Passes [68.11784295706995]
  テストタイム適応は、トレーニング済みのモデルを、潜在的に分布シフトのある未確認テストサンプルに適応させるのに有効であることが証明されている。 テスト時間フォワード最適化適応法(FOA)を提案する。 FOAは量子化された8ビットのViTで動作し、32ビットのViTで勾配ベースのTENTより優れ、ImageNet-Cで最大24倍のメモリ削減を実現する。
  論文  参考訳（メタデータ） (2024-04-02T05:34:33Z)
• Persistent Test-time Adaptation in Recurring Testing Scenarios [12.024233973321756]
  現在のテスト時間適応(TTA)アプローチは、継続的に変化する環境に機械学習モデルを適用することを目的としている。 しかし,TTA法が長期にわたって適応性を維持することができるかどうかは不明である。 本稿では,モデルが崩壊に向かって変動していることを検知し,適応戦略を調整する永続的TTA(PeTTA)を提案する。
  論文  参考訳（メタデータ） (2023-11-30T02:24:44Z)
• Fast-Slow Test-Time Adaptation for Online Vision-and-Language Navigation [67.18144414660681]
  オンラインビジョン・アンド・ランゲージナビゲーション(VLN)のためのFSTTA(Fast-Slow Test-Time Adaptation)アプローチを提案する。 提案手法は,4つのベンチマークにおいて顕著な性能向上を実現する。
  論文  参考訳（メタデータ） (2023-11-22T07:47:39Z)
• Towards Real-World Test-Time Adaptation: Tri-Net Self-Training with Balanced Normalization [46.30241353155658]
  既存の研究は、非I.d.データストリームと連続的なドメインシフトの下での実際のテスト時間適応を主に検討している。 我々は、最先端の手法の失敗は、まず不均衡なテストデータに正規化層を無差別に適応させることによって生じると論じる。 TRIBEと呼ばれる最後のTTAモデルは、バランスの取れたバッチノーム層を持つトリネットアーキテクチャ上に構築されている。
  論文  参考訳（メタデータ） (2023-09-26T14:06:26Z)
• AR-TTA: A Simple Method for Real-World Continual Test-Time Adaptation [1.4530711901349282]
  本稿では,自律運転のためのデータセット,すなわちCLAD-CとShiFTを用いたテスト時間適応手法の検証を提案する。 現在のテスト時間適応手法は、ドメインシフトの様々な程度を効果的に扱うのに苦労している。 モデル安定性を高めるために、小さなメモリバッファを組み込むことで、確立された自己学習フレームワークを強化する。
  論文  参考訳（メタデータ） (2023-09-18T19:34:23Z)
• Towards Stable Test-Time Adaptation in Dynamic Wild World [60.98073673220025]
  テスト時間適応(TTA)は、与えられたモデルをテストサンプルに適応させることで、トレーニングとテストデータの分散シフトに取り組むのに有効であることが示されている。 TTAのオンラインモデル更新は不安定であり、これはしばしば既存のTTAメソッドが現実世界にデプロイされるのを防ぐ重要な障害である。
  論文  参考訳（メタデータ） (2023-02-24T02:03:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。