論文の概要: A Decision-Theoretic View of Test-Time Training: When, How Far, and Which Directions to Adapt

• arxiv url: http://arxiv.org/abs/2606.15569v1
• Date: Sun, 14 Jun 2026 03:16:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:33.697171
• Title: A Decision-Theoretic View of Test-Time Training: When, How Far, and Which Directions to Adapt
• Title（参考訳）: テストタイムトレーニングの意思決定論的視点:いつ, どのくらい, どの方向で適応するか
• Abstract要約: テストタイムトレーニングは、パラメータ更新を通じて各プロンプトに事前訓練されたモデルを適用する。 我々はTTTをカーネルシステムにおける暗黙のベイズ推論として扱う。 TTTは、更新がプロンプトの信号-雑音比とスペクトル的に一致した場合、予測誤差を低減する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Test-time training (TTT) adapts a pretrained model to each prompt via parameter updates, improving accuracy under pretraining-to-test distribution shifts. Yet, its performance often suffers from instability and sensitivity to hyperparameters such as update steps and subspace. We explain this behavior through a decision-theoretic lens, treating TTT as implicit Bayesian inference in the kernel regime. Under a Gaussian process benchmark, we show that TTT reduces prediction error when updates are spectrally matched to the prompt's signal-to-noise ratio and aligned with query-relevant eigen-directions. This perspective underpins the following results: (1) we show when fixed update steps and subspaces fail under distribution shifts, motivating adaptive strategies; (2) we prove that selecting update steps via prompt evidence admits a PAC-Bayes guarantee against overfitting; and (3) we characterize the Bayes-optimal update subspace under a linear-Gaussian correction model, yielding a scoring rule for selecting Transformer blocks and heads. Our theory helps explain the empirical instability of TTT, taking a step toward principled guidance for when, how far, and which directions to adapt.
• Abstract（参考訳）: テストタイムトレーニング(TTT)は、パラメータ更新を通じて各プロンプトに事前トレーニングされたモデルを適用する。 しかし、そのパフォーマンスは、更新ステップやサブスペースなどのハイパーパラメータに対する不安定性と感度に悩まされることが多い。 我々は、この振る舞いを決定論的レンズを通して説明し、TTTをカーネル状態における暗黙のベイズ推論として扱う。 ガウス過程のベンチマークでは、更新がプロンプトの信号-雑音比とスペクトル的に一致し、クエリ関連固有方向と一致した場合、TTTは予測誤差を低減する。 この視点は,(1) 固定更新ステップとサブスペースが分散シフトの下で失敗した場合, 適応戦略のモチベーション,(2) PAC-Bayesによるオーバーフィッティングに対する保証を認めるプロンプトによる更新ステップの選択,(3) 線形ガウス補正モデルの下でベイズ-最適更新サブスペースを特徴付け, トランスフォーマーブロックとヘッドを選択するスコアリングルールを導出する。 我々の理論は、TTTの実証的不安定性を説明するのに役立ち、いつ、どのくらい、どの方向を順応するかの原則化されたガイダンスに向けて一歩踏み出す。

関連論文リスト

• Unsupervised Layer-Wise Dynamic Test Time Adaptation for LLMs [12.428201810981149]
  大規模言語モデル(LLM)のためのテスト時適応(TTA)は、デプロイ時に利用可能な信号を使用して、推論時にモデルパラメータを更新する。 本報告では, 教師なし, サンプル特異的なTTAという, 一般的だが未探索のシステムに焦点を当てる。 本稿では,TTA強度をプロンプト表現,LLM構造,適応ステップの関数として明示的に変調するフレームワークである層ワイド動的テスト時間適応を提案する。
  論文  参考訳（メタデータ） (2026-02-10T12:22:14Z)
• Rethinking Test-Time Training: Tilting The Latent Distribution For Few-Shot Source-Free Adaptation [3.5808917363708743]
  完全に凍結したモデル体制下で, 数ショット分類のための基礎モデルの試験時間適応について検討した。 本稿では,エンコーダによって誘導される潜伏埋め込み分布に対して,測定値の変更を行うことにより,新しいタスクに予測を適応させる,最初のトレーニング不要推論手法を提案する。
  論文  参考訳（メタデータ） (2026-02-02T18:17:29Z)
• Test time training enhances in-context learning of nonlinear functions [51.56484100374058]
  テストタイムトレーニング(TTT)は、各予測に先立って指定されたパラメータを明示的に更新することで、モデル性能を向上させる。 本研究では,TTTとテキスト内学習(ICL)の組み合わせについて検討する。
  論文  参考訳（メタデータ） (2025-09-30T03:56:44Z)
• Backpropagation-Free Test-Time Adaptation via Probabilistic Gaussian Alignment [16.352863226512984]
  テスト時間適応(TTA)は、推論中にラベルのないテストデータを活用することにより、分散シフト下でのゼロショットロバスト性を高める。 ほとんどのメソッドは、スケーラビリティを制限し、リアルタイムデプロイメントを妨げるバックプロパゲーションや反復最適化に依存しています。 本稿では,Advanced Distribution-AwareとBack propagation-free Test-time Adapting法であるADAPTを提案する。
  論文  参考訳（メタデータ） (2025-08-21T13:42:49Z)
• BayesTTA: Continual-Temporal Test-Time Adaptation for Vision-Language Models via Gaussian Discriminant Analysis [41.09181390655176]
  CLIPのような視覚言語モデル(VLM)は、強いゼロショット認識を実現するが、実世界のシナリオに共通する時空間的な分散シフトの下で大幅に劣化する。 テスト分布が時間とともに徐々に変化するCT-TTA(textitContinal-Temporal Test-Time Adaptation)として、この実践的問題を定式化する。 我々は、時間的に一貫した予測を実行し、視覚表現を動的に調整する、ベイズ適応フレームワークであるtextitBayesTTAを提案する。
  論文  参考訳（メタデータ） (2025-07-11T14:02:54Z)
• Test-Time Adaptation with Binary Feedback [50.20923012663613]
  BiTTAは、不確実なサンプルに対するバイナリフィードバック誘導適応と、確実な予測に対する合意に基づく自己適応のバランスをとる、新しいデュアルパス最適化フレームワークである。 実験の結果、BiTTAは最先端のベースラインよりも13.3%の精度向上を実現している。
  論文  参考訳（メタデータ） (2025-05-24T05:24:10Z)
• Test-Time Model Adaptation with Only Forward Passes [68.11784295706995]
  テストタイム適応は、トレーニング済みのモデルを、潜在的に分布シフトのある未確認テストサンプルに適応させるのに有効であることが証明されている。 テスト時間フォワード最適化適応法(FOA)を提案する。 FOAは量子化された8ビットのViTで動作し、32ビットのViTで勾配ベースのTENTより優れ、ImageNet-Cで最大24倍のメモリ削減を実現する。
  論文  参考訳（メタデータ） (2024-04-02T05:34:33Z)
• PTP: Boosting Stability and Performance of Prompt Tuning with Perturbation-Based Regularizer [94.23904400441957]
  損失景観を平滑化できる摂動型正規化器を即時チューニングに導入する。 我々は乱数ノイズベースと逆数ベースを含む2種類の摂動型正規化器を設計する。 我々の新しいアルゴリズムは,SuperGLUEベンチマークとFewGLUEベンチマークでそれぞれ1.94%,2.34%の最先端のプロンプトチューニング手法を改善した。
  論文  参考訳（メタデータ） (2023-05-03T20:30:51Z)
• Improved Test-Time Adaptation for Domain Generalization [48.239665441875374]
  テストタイムトレーニング(TTT)は、学習したモデルにテストデータを適用する。 この作業は2つの主な要因に対処する: テストフェーズ中にアップデートする信頼性のあるパラメータを更新および識別するための適切な補助的TTTタスクを選択する。 トレーニングされたモデルに適応パラメータを追加し、テストフェーズでのみ適応パラメータを更新することを提案する。
  論文  参考訳（メタデータ） (2023-04-10T10:12:38Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。