論文の概要: Select-TTT: Query-Conditioned Selective Fast Weight Updates for In-Place Test-Time Training

• arxiv url: http://arxiv.org/abs/2610.36794v1
• Date: Tue, 27 Oct 2026 07:58:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.539794
• Title: Select-TTT: Query-Conditioned Selective Fast Weight Updates for In-Place Test-Time Training
• Title（参考訳）: Select-TTT:Placeテストタイムトレーニングのためのクエリコンディション付き選択型高速アップデート
• Abstract要約: テストタイムトレーニング(TTT)により、言語モデルは、オンザフライで受信したコンテキストを、高速なパラメータの小さなセットに内部化することができる。 In-Place TTTは先日、標準ブロックを高速ウェイトとして再利用することで、このアイデアを大規模言語モデルに実用的なものにした。 In-Place TTTのモデルに依存しないクエリ条件付きルールであるSelect-TTTを提案する。
• 参考スコア（独自算出の注目度）: 43.144467186825096
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Test-time training (TTT) enables a deployed language model to internalize incoming context on-the-fly into a small set of fast-weight parameters, rather than merely treating it as transient context for attention. In-Place TTT recently made this idea practical for large language models by repurposing the down-projection of standard MLP blocks as fast weights. However, we find that its benefit largely disappears on realistic web long-context question answering. We attribute this to In-Place TTT's uniform write schedule: every chunk is written with equal strength, so irrelevant content dilutes query-relevant information in fast-weight memory. Building on this insight, we propose Select-TTT, a model-agnostic, query-conditioned rule for In-Place TTT that scales each chunk's write strength by its relevance to the user query. This relevance signal requires no supervision and no new parameters: it is read directly from the model's frozen output head, as the probability mass that a chunk's hidden states assign to the query tokens. A temperature-scaled softmax turns these scores into learning-rate multipliers, leaving the chunk-wise, context-parallel computation of In-Place TTT intact. Select-TTT consistently improves long-context question answering on two benchmarks and two backbones. These findings highlight the value of query-conditioned fast weight writes for practical test-time training on long-context question answering, which is also potentially promising for long-horizon agent tasks involving multiple user queries over evolving contexts.
• Abstract（参考訳）: テストタイムトレーニング(TTT)により、デプロイされた言語モデルは、単に注意を向けた過渡的なコンテキストとして扱うのではなく、オンザフライで受信したコンテキストを小さな高速なパラメータセットに内部化することが可能になる。 In-Place TTTは最近、標準のMLPブロックのダウンプロジェクションを高速ウェイトとして再利用することで、このアイデアを大規模言語モデルに実用的なものにした。 しかし、現実的なウェブの長文質問応答では、その利点はほとんど失われている。 これは、In-Place TTTの均一書き込みスケジュールによるもので、すべてのチャンクは等しい強度で書かれており、無関係なコンテンツは高速メモリにおけるクエリ関連情報を希薄化する。 In-Place TTTのモデルに依存しないクエリ条件付きルールであるSelect-TTTを提案する。 チャンクの隠された状態がクエリトークンに割り当てる確率質量として、モデルのフリーズ出力ヘッドから直接読み込まれる。 温度スケールのソフトマックスはこれらのスコアを学習レートの乗算器に変換し、In-Place TTTのチャンクワイドなコンテキスト並列計算をそのまま残す。 Select-TTTは、2つのベンチマークと2つのバックボーンの長文質問応答を一貫して改善する。 これらの知見は、長期コンテキスト質問応答の実践的テストタイムトレーニングにおいて、クエリ条件付高速書き込みの価値を強調しており、また、進化するコンテキストよりも複数のユーザクエリを含む長期エージェントタスクにも有望である。

関連論文リスト

• Rethinking Expressivity and Efficiency in Test-Time Training [26.484618002837635]
  テストタイムトレーニング(TTT)は、推論中に継続的に重みを更新することで、長時間のコンテキスト処理を可能にする。 チャンクワイズ近似のハードウェア効率とトーケン毎の更新ダイナミクスの表現率のバランスをとるために,E$2$-TTTを提案する。 E$2$-TTTは効率的なチャンクワイド手法のトレーニングスループットと一致し、表現率と効率を効果的に調整することを示した。
  論文  参考訳（メタデータ） (2026-08-21T17:12:28Z)
• Learning What to Remember: Test-Time Training via Context Distillation [72.10421333095852]
  テストタイムトレーニング(TTT)は、長期コンテキストモデリングのためのオンラインパラメータ更新を実行する魅力的なアプローチである。 textbfTest-textbfTime textbfContext textbfDistillation (TTCD)を提案する。
  論文  参考訳（メタデータ） (2026-08-03T04:06:06Z)
• Self-Guided Test-Time Training for Long-Context LLMs [16.160114043456215]
  長いコンテキスト処理は、大規模言語モデルにとってますます重要になっている。 入力の長さが大きくなると、精度が劣化することが多く、モデルが疑問に最も関係のある証拠を特定し、利用するのに苦労していることを示している。 長期利用を改善するための有望な方法はテスト時間トレーニング(TTT)であり、テストコンテキストをインスタンス固有のパラメータ適応のトレーニング例として扱う。 本稿では,学習すべきエビデンスを識別するセルフガイドTT(S-TTT)を提案する。
  論文  参考訳（メタデータ） (2026-07-10T13:45:56Z)
• EASE-TTT: Evidence-Aligned Selective Test-Time Training for Long-Context Question Answering [61.89411578705886]
  長文質問応答のためのEvidence-Aligned Selective Test-Time Training (EASE-TTT)を提案する。 EASE-TTTは、選択されたエビデンスチャンクをトークン位置に対するソフトアテンション監視ターゲットに変換する。 完全コンテキスト推論、検索専用ベースライン、qTTTの中では最強のマクロ平均性能を実現している。
  論文  参考訳（メタデータ） (2026-06-05T04:49:37Z)
• End-to-End Test-Time Training for Long Context [98.3930777591529]
  アーキテクチャ設計よりも継続学習における問題として,長文言語モデリングを定式化する。 我々のモデルは、与えられたコンテキストの次から次までの予測を通じてテスト時に学習を続け、読み込んだコンテキストを重みに圧縮します。 全体として、テストタイムトレーニング(TTT)の一形態であるE2E(End-to-End)は、テスト時(次世代の予測)とトレーニング時(メタラーニング)の両方である。
  論文  参考訳（メタデータ） (2025-12-29T18:30:14Z)
• Training-Free Time Series Classification via In-Context Reasoning with LLM Agents [29.14242392533328]
  時系列分類(TSC)は様々なアプリケーションシナリオにまたがるが、ラベル付きデータは少ないことが多い。 本稿では,事前の文脈推論による学習自由TSCのためのマルチエージェントフレームワークであるFETAを提案する。
  論文  参考訳（メタデータ） (2025-10-07T14:07:43Z)
• Analyzing Temporal Complex Events with Large Language Models? A Benchmark towards Temporal, Long Context Understanding [57.62275091656578]
  時間的複合イベント(TCE)として、長い期間にわたって多くのニュース記事から構成される複合イベントについて述べる。 本稿では,Large Language Models (LLMs) を用いて,TCE内のイベントチェーンを系統的に抽出し,解析する手法を提案する。
  論文  参考訳（メタデータ） (2024-06-04T16:42:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。