Fugu-MT 論文翻訳(概要): Error Correction in Trained TTT Layers

論文の概要: Error Correction in Trained TTT Layers

arxiv url: http://arxiv.org/abs/2610.16268v2
Date: Fri, 16 Oct 2026 04:46:07 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-20 00:56:07.52528
Title: Error Correction in Trained TTT Layers
Title（参考訳）: トレーニングTT層における誤差補正
Abstract要約: テストタイムトレーニングレイヤは、入力シーケンスを処理しながらメモリを更新する。我々は,TTT実装における予測に基づく更新の構造と実証的役割について検討した。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Test-time-training (TTT) layers update fast-weight memory while processing an input sequence. A gradient-based update, however, does not by itself establish how the memory revises an existing association. We study the structure and empirical role of prediction-derived updates in released TTT implementations. For dot-product objectives, we characterize the absence of a prediction-error residual and establish conditions under which inner-loop ascent and descent are equivalent after reparameterization. For the LayerNorm-based squared-error objective used by TTT-Linear and TTT-MLP, we derive the inner gradient and identify a prediction-derived component that cancels at the released initialization in the zero-epsilon limit. We then measure the full normalized prediction's contribution on three trained checkpoints. Removing this contribution while retaining the LayerNorm Jacobian gives a mean gradient norm ratio of 0.25 to 0.32 across the models. On 100,303 tokens from War and Peace, the same intervention with local per-token norm matching raises perplexity by 2.8-2.9% on TTT-Linear-760M and 1.3B, whereas freezing all fast-weight updates raises it by factors of 4.2-4.5. Separate synthetic tests illustrate the dependence of plain delta-rule overwriting on step size. The results distinguish a prediction-derived update from its behavioral value and show why implementation analysis and live interventions are both needed to assess test-time memory.
Abstract（参考訳）: テストタイムトレーニング(TTT)レイヤは、入力シーケンスを処理しながら高速なメモリを更新する。しかし、グラデーションベースの更新は、メモリが既存のアソシエーションをどのように修正するかをそれ自体が確立していない。我々は,TTT実装における予測に基づく更新の構造と実証的役割について検討した。ドット積の目的に対しては,予測エラー残差の欠如を特徴付け,再パラメータ化後の内ループ上昇と降下が等価な条件を確立する。 TTT-Linear と TTT-MLP が用いたLayerNorm を用いた2乗誤差目標に対して,内部勾配を導出し,ゼロエプシロン限界の解放初期化でキャンセルされる予測成分を同定する。次に、トレーニングされた3つのチェックポイントに対して、正規化予測の完全な寄与を計測する。層ノルムヤコビアンを保ちながらこの寄与を除去すると、モデル全体の平均勾配ノルム比は 0.25 から 0.32 となる。戦争と平和の100,303枚のトークンでは、局所的なトーケンのノルムマッチングに対する同様の介入はTTT-Linear-760Mと1.3Bで2.8-2.9%のパープレキシティを上昇させ、一方、全ての高速更新は4.2-4.5で上昇する。分離合成試験では, 平らなデルタルルオーバーライトのステップサイズ依存性が示されている。その結果、予測に基づく更新とその振る舞い値とを区別し、なぜテスト時間メモリを評価するために実装分析とライブ介入が必要なのかを示す。

関連論文リスト

Variational Filtering for Bayesian Last Layers with an Independent Binary Probit Surrogate [41.81526577151929]
深層分類器の最終層に対する変分フィルタリングアルゴリズムを提案する。各ミニバッチは正確な予測ステップで同化され、その後クローズドフォームの変分更新が行われる。 DINOv3のバックボーンを同一のプロトコルで調整した2つのベースラインに対して評価した。
論文参考訳（メタデータ） (2026-10-12T11:00:05Z)
Beyond One-Step Accuracy: State-Affine Latent Transition for Reliable Visual Planning [53.476598858325985]
複数ステップのロールアウトエラーを個々のステップで導入したエラーに分解し,その後の遷移を通した伝播を行う。状態-アフィンダイナミクスは、状態非依存のヤコビアンとの微分可能遷移であることを示す。動作条件付き状態-アフィンダイナミクスモデルであるSALTを導入し、動作が状態変換と追加更新の両方を変調する。
論文参考訳（メタデータ） (2026-09-27T14:12:27Z)
A Decision-Theoretic View of Test-Time Training: When, How Far, and Which Directions to Adapt [0.0]
テストタイムトレーニングは、パラメータ更新を通じて各プロンプトに事前訓練されたモデルを適用する。我々はTTTをカーネルシステムにおける暗黙のベイズ推論として扱う。 TTTは、更新がプロンプトの信号-雑音比とスペクトル的に一致した場合、予測誤差を低減する。
論文参考訳（メタデータ） (2026-06-14T03:16:40Z)
TEMPO: Scaling Test-time Training for Large Reasoning Models [87.61789183311856]
テストタイムトレーニング(TTT)は、推論時間中にラベルのないテストインスタンスにモデルパラメータを適用する。 TTTフレームワークであるTEMPOを提案する。これは、ラベル付きデータセット上で定期的な批評家の再検討を行い、ラベル付き質問に対するポリシー修正をインターリーブする。
論文参考訳（メタデータ） (2026-04-21T10:01:04Z)
EDIT: Early Diffusion Inference Termination for dLLMs Based on Dynamics of Training Gradients [6.736735746633275]
拡散に基づく大規模言語モデル (dLLMs) は反復的妄想を通じてトークン生成を洗練させるが、全てのステップが完了する前に答えは安定することが多い。本稿では,トレーニング時推論に対する十分な推論安定性が検出された場合に,適応的にデノイングを停止する推論時基準であるEDITを提案する。
論文参考訳（メタデータ） (2025-11-29T23:47:47Z)
Ultra-Light Test-Time Adaptation for Vision--Language Models [0.6816905600359814]
CLIPのような視覚言語モデル(VLM)は、画像埋め込みとテキスト由来のクラスプロトタイプを比較することで、強力なゼロショット認識を実現する。ドメインシフトでは、特徴の漂流、クラスプライアミスマッチ、深刻な誤診に悩まされる。バックボーンを凍結し,ロジットレベルのパラメータのみを適応させる,完全トレーニングフリーでバックプロップフリーなフレームワークであるUltra-Light Test-Time Adaptation (UL-TTA)を提案する。
論文参考訳（メタデータ） (2025-11-12T08:19:57Z)
Test time training enhances in-context learning of nonlinear functions [51.56484100374058]
テストタイムトレーニング(TTT)は、各予測に先立って指定されたパラメータを明示的に更新することで、モデル性能を向上させる。本研究では,TTTとテキスト内学習(ICL)の組み合わせについて検討する。
論文参考訳（メタデータ） (2025-09-30T03:56:44Z)
Adapt in the Wild: Test-Time Entropy Minimization with Sharpness and Feature Regularization [85.50560211492898]
テスト時適応(TTA)は、テストデータが分散シフトが混在している場合、モデルの性能を改善または損なう可能性がある。これはしばしば、既存のTTAメソッドが現実世界にデプロイされるのを防ぐ重要な障害である。両面からTTAを安定化させるため,SARと呼ばれる鋭く信頼性の高いエントロピー最小化手法を提案する。
論文参考訳（メタデータ） (2025-09-05T10:03:00Z)
BayesTTA: Continual-Temporal Test-Time Adaptation for Vision-Language Models via Gaussian Discriminant Analysis [41.09181390655176]
CLIPのような視覚言語モデル(VLM)は、強いゼロショット認識を実現するが、実世界のシナリオに共通する時空間的な分散シフトの下で大幅に劣化する。テスト分布が時間とともに徐々に変化するCT-TTA(textitContinal-Temporal Test-Time Adaptation)として、この実践的問題を定式化する。我々は、時間的に一貫した予測を実行し、視覚表現を動的に調整する、ベイズ適応フレームワークであるtextitBayesTTAを提案する。
論文参考訳（メタデータ） (2025-07-11T14:02:54Z)
Uncertainty-Calibrated Test-Time Model Adaptation without Forgetting [65.21599711087538]
テスト時間適応(TTA)は、与えられたモデルw.r.t.を任意のテストサンプルに適用することにより、トレーニングデータとテストデータの間の潜在的な分散シフトに取り組むことを目指している。事前の手法は各テストサンプルに対してバックプロパゲーションを実行するため、多くのアプリケーションに対して許容できない最適化コストがかかる。本稿では, 有効サンプル選択基準を策定し, 信頼性および非冗長なサンプルを同定する, 効率的なアンチフォッティングテスト時間適応法を提案する。
論文参考訳（メタデータ） (2024-03-18T05:49:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。