論文の概要: Universal Test-Time Training

• arxiv url: http://arxiv.org/abs/2610.05484v1
• Date: Sun, 04 Oct 2026 19:43:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 13:32:19.890245
• Title: Universal Test-Time Training
• Title（参考訳）: ユニバーサルテストタイムトレーニング
• Abstract要約: メモリオーナシップは深度に結びついてはならないと我々は主張し、Universal Test-Time Training (uTTT)を導入している。 我々はこのアイデアを uTTT-MoE と uTTT-Dense としてインスタンス化する。 言語モデリングでは、uTTT-MoEは124Mと760Mの精度で15.5と27.9に達する。
• 参考スコア（独自算出の注目度）: 17.844170610505795
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent Test-Time Training (TTT) architectures compress context into fast weights that are updated online and queried as memory. Existing TTT designs keep this memory private to each layer: it recurs only over time, and depth merely indexes L separate memories. We argue that memory ownership need not be tied to depth, and introduce Universal Test-Time Training (uTTT), in which all layers read and write one shared memory while retaining layer-specific backbone parameters. The shared memory thus recurs over two dimensions, time and depth, with chunks and layers as their units: a write by a deep layer in one chunk can be read by a shallow layer in the next. We instantiate this idea as uTTT-MoE and uTTT-Dense. uTTT-MoE routes each token head to a few experts in a pool shared by all layers; uTTT-Dense applies the whole shared memory at every layer without routing. In language modeling, uTTT-MoE reaches 15.5 and 27.9 RULER accuracy at 124M and 760M, 2.6 and 2.1 points above its layer-private counterpart at equal state and active compute, the highest among tested bounded-state models, with per-token loss matching or beating full attention. In novel view synthesis, sharing at fixed per-layer compute gains 0.92 dB in view-23 object PSNR in routed models and 0.76 dB in dense models.
• Abstract（参考訳）: 最近のTTT(Test-Time Training)アーキテクチャは、コンテキストを高速な重みに圧縮し、オンラインで更新し、メモリとしてクエリする。 既存のTT設計では、このメモリは各レイヤにプライベートに保たれており、時間とともに再帰し、深さは単にLの別々のメモリをインデックスするだけである。 メモリのオーナシップは深さに縛られる必要はなく、すべてのレイヤが1つの共有メモリを読み書きしながら、レイヤ固有のバックボーンパラメータを保持しながら、Universal Test-Time Training (uTTT)を導入する。 これにより、共有メモリは、チャンクと層を単位として、時間と深さの2次元にわたって再帰する: 1チャンクの深い層による書き込みは、次のチャンクの浅い層によって読み取ることができる。 我々はこのアイデアを uTTT-MoE と uTTT-Dense としてインスタンス化する。 uTTT-MoEは、各トークンヘッドをすべてのレイヤが共有するプールの数人の専門家にルーティングする。 言語モデリングでは、uTTT-MoEは124Mと760Mの精度で15.5と27.9RULERに達し、2.6と2.1ポイントは、同じ状態とアクティブな計算で、テストされた有界状態モデルの中で最高であり、トーケン毎の損失マッチングや全注意を引いた。 新規なビュー合成では、固定層毎の計算における共有は、経路モデルではview-23オブジェクトPSNRで0.92dB、密度モデルでは0.76dBを得る。

関連論文リスト

• LoGeR: Long-Context Geometric Reconstruction with Hybrid Memory [97.14005794889134]
  提案するLoGeRは,高密度な3次元再構成を,後最適化なしで極めて長いシーケンスに拡張する新しいアーキテクチャである。 LoGeRはビデオストリームをチャンクで処理し、高忠実度なチャンク内推論に強力な双方向の事前処理を活用する。 このメモリアーキテクチャにより、LoGeRは128フレームのシーケンスでトレーニングでき、推論中に数千フレームまで一般化できる。
  論文  参考訳（メタデータ） (2026-03-03T18:55:37Z)
• SR-TTT: Surprisal-Aware Residual Test-Time Training [0.0]
  テストタイムトレーニング(TTT)言語モデルは、O(1)メモリフットプリントを持つ理論的に無限のコンテキストウィンドウを実現する。 純粋なTTアーキテクチャは、正確なリコールタスクで破滅的な失敗を被る。 本稿では,TTTバックボーンをロスゲートスパースメモリ機構で増強することにより,このリコール障害を解消するSR-TTTを提案する。
  論文  参考訳（メタデータ） (2026-02-26T01:54:24Z)
• Learning to (Learn at Test Time): RNNs with Expressive Hidden States [82.35503195691463]
  本稿では,線形複雑性と表現的隠蔽状態を持つシーケンスモデリング層をインスタンス化するフレームワークを提案する。 隠れた状態はテストシーケンスでもトレーニングによって更新されるので、私たちのレイヤはテスト時間トレーニング層と呼ばれます。 Transformerと同様に、TT-LinearとTT-MLPはより多くのトークンを条件付けすることでパープレキシティを減少させるが、Mambaは16kコンテキスト以降は不可能である。
  論文  参考訳（メタデータ） (2024-07-05T16:23:20Z)
• UniPT: Universal Parallel Tuning for Transfer Learning with Efficient Parameter and Memory [69.33445217944029]
  PETLは、トレーニング済みモデルを下流ドメインに適応するための効果的な戦略である。 最近のPETLは、より価値の高いメモリ効率特性に焦点を当てている。 メモリ効率の良い新しいPETL戦略Universal Parallel Tuning (UniPT)を提案する。
  論文  参考訳（メタデータ） (2023-08-28T05:38:43Z)
• TT-TFHE: a Torus Fully Homomorphic Encryption-Friendly Neural Network Architecture [5.46781877507444]
  本稿では,Truth-Table Neural Networks(TTnet)と呼ばれる最近の畳み込みニューラルネットワーク群を用いて,Torus FHE(TFHE)をデータセットに効果的に拡張するフレームワークを提案する。 TT-TFHEは3つのデータセット上の全ホモモルフィック暗号化(HE)セットアップの時間と正確性において、大幅に向上する。 私たちのソリューションはメモリフットプリントが非常に低く(MNISTでは数十MBまで)、ユーザ毎に数十から数百GBのメモリを必要とする他のHEセットアップとは対照的です。
  論文  参考訳（メタデータ） (2023-02-03T07:32:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。