論文の概要: Agentic-TTT: Training test-time policy for test-time training
- arxiv url: http://arxiv.org/abs/2610.12002v1
- Date: Thu, 08 Oct 2026 14:06:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:54.068295
- Title: Agentic-TTT: Training test-time policy for test-time training
- Title(参考訳): Agentic-TTT:テストタイムトレーニングのためのテストタイムポリシー
- Abstract要約: テストタイムトレーニング(TTT)は、テスト入力から派生した信号を使用してLLMのパラメータを適応する。
我々は,これらの決定を統制するテストタイムポリシーを学習するAgentic-TTTを紹介する。
ベンチマークでは、Agentic-TTTはバックボーンモデルでユーティリティをほぼ倍にし、ユーティリティと計算とのトレードオフを学び、トレーニング中に見つからないドメインに一般化します。
- 参考スコア(独自算出の注目度): 19.126481185977166
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Test-time training (TTT) adapts an LLM's parameters using signals derived from test inputs, and can make striking improvements in pre-specified settings such as IMO competitions or designated open problems. By turning deployment experience into parameter updates, TTT provides a direct mechanism for model-level self-improvement. Yet TTT is not universally beneficial: each TTT algorithm works in different settings, and applying an ill-suited method could waste test-time compute or even damage model performance. Therefore, such parameter-level self-improvement requires agency: the model must decide when TTT is warranted, which algorithm to invoke, and whether an existing skill can be reused. To fill this gap, we introduce Agentic-TTT, which learns a test-time policy to govern those decisions. Agentic-TTT turns TTT procedures into callable tools, treats accumulated skills as an evolving deployment environment, and trains its policy using the observed utility gains from its decisions. On our benchmark, Agentic-TTT nearly doubles the utility over the backbone model, learns to trade off utility against compute, and generalizes to domains unseen during training. Together, these results point toward autonomous self-improvement: models that can decide how to learn from their own deployment experience.
- Abstract(参考訳): テストタイムトレーニング(TTT)は、テストインプットから派生した信号を使用してLLMのパラメータを適応し、IMOコンペティションや指定されたオープンな問題など、事前に規定された設定において顕著な改善を行うことができる。
デプロイメントエクスペリエンスをパラメータ更新に変換することで、TTTはモデルレベルの自己改善のための直接的なメカニズムを提供する。
それぞれのTTアルゴリズムは異なる設定で動作し、不適切な方法を適用すると、テスト時間計算や損傷モデルのパフォーマンスを無駄にしてしまう可能性がある。
したがって、パラメータレベルの自己改善はエージェンシーを必要とする: モデルはTTTがいつ保証されるか、どのアルゴリズムを呼び出すか、既存のスキルを再利用できるかを判断しなければならない。
このギャップを埋めるために、これらの決定を管理するテストタイムポリシーを学ぶAgentic-TTTを紹介します。
Agentic-TTTは、TTTプロシージャを呼び出し可能なツールに変換し、蓄積されたスキルを進化するデプロイメント環境として扱い、監視対象のユーティリティを使ってポリシーをトレーニングする。
ベンチマークでは、Agentic-TTTはバックボーンモデルでユーティリティをほぼ倍にし、ユーティリティと計算とのトレードオフを学び、トレーニング中に見つからないドメインに一般化します。
これらの結果は、自律的な自己改善(self-improvement)、すなわち、自身のデプロイメントエクスペリエンスから学ぶ方法を決定するモデルを指しています。
関連論文リスト
- Learning What to Remember: Test-Time Training via Context Distillation [72.10421333095852]
テストタイムトレーニング(TTT)は、長期コンテキストモデリングのためのオンラインパラメータ更新を実行する魅力的なアプローチである。
textbfTest-textbfTime textbfContext textbfDistillation (TTCD)を提案する。
論文 参考訳(メタデータ) (2026-08-03T04:06:06Z) - TTT-VLA: Test-Time Latent Prompt Optimization for Vision-Language-Action Models [49.463896453707065]
VLA(Vision-Language-Action)モデルは目覚ましい進歩を遂げているが、展開時の分散シフトには弱いままである。
近年のVLAモデルは、プロンプトが政策行動の効率的なインターフェースとして機能することを示唆しているが、既存のプロンプトベースのステアリングは通常、外部ガイダンスに依存している。
VLAのテストタイムトレーニング(TTT)は、プロンプトの最適化によって実現可能か?
我々は、遅延プロンプト最適化(LPO)に基づくテスト時間トレーニングフレームワークであるTTT-VLAでこの問題に対処する。
論文 参考訳(メタデータ) (2026-06-02T04:10:39Z) - Specialization after Generalization: Towards Understanding Test-Time Training in Foundation Models [64.02612380298228]
最近の研究は、テストタイムトレーニング(TTT)として知られる特定のタスクに対して、テストタイムでモデルをトレーニングし続けるというアイデアを探求している。
本稿では,TTTがグローバルトレーニングよりもはるかに小さな分布内テスト誤差を達成できるモデルを提案する。
我々は、ImageNet上でスパースオートエンコーダをトレーニングすることで、モデルの主要な仮定を実証的に検証する。
論文 参考訳(メタデータ) (2025-09-29T09:24:52Z) - Test-Time Training Provably Improves Transformers as In-context Learners [49.09821664572445]
テキスト内学習のための勾配に基づくTTTアルゴリズムについて検討する。
テストプロンプトで提供されるコンテキスト内デモに対して,トランスフォーマーモデルをトレーニングする。
経験的貢献として,TabPFNに対するTTTの有用性について検討した。
論文 参考訳(メタデータ) (2025-03-14T20:06:37Z) - Improved Test-Time Adaptation for Domain Generalization [48.239665441875374]
テストタイムトレーニング(TTT)は、学習したモデルにテストデータを適用する。
この作業は2つの主な要因に対処する: テストフェーズ中にアップデートする信頼性のあるパラメータを更新および識別するための適切な補助的TTTタスクを選択する。
トレーニングされたモデルに適応パラメータを追加し、テストフェーズでのみ適応パラメータを更新することを提案する。
論文 参考訳(メタデータ) (2023-04-10T10:12:38Z) - Revisiting Realistic Test-Time Training: Sequential Inference and
Adaptation by Anchored Clustering Regularized Self-Training [37.75537703971045]
テスト時アンカークラスタリング(TTAC)アプローチを開発し,より強力なテスト時特徴学習を実現する。
自己学習(ST)はラベルのないデータから学ぶ上で大きな成功を収めた。
TTAC++は、5つのTTデータセットの最先端メソッドを一貫して上回る。
論文 参考訳(メタデータ) (2023-03-20T04:30:18Z) - Revisiting Realistic Test-Time Training: Sequential Inference and
Adaptation by Anchored Clustering [37.76664203157892]
テスト時アンカークラスタリング(TTAC)アプローチを開発し,より強力なテスト時特徴学習を実現する。
TTACはソースドメインとターゲットドメインの両方のクラスタを検出し、ターゲットクラスタとソースクラスタを一致させて、一般化を改善する。
すべてのTTプロトコルにおいて,TTACは5つのTTデータセットの最先端手法よりも一貫して優れていることを示す。
論文 参考訳(メタデータ) (2022-06-06T16:23:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。