論文の概要: When to Ponder: Adaptive Compute Allocation for Code Generation via Test-Time Training

• arxiv url: http://arxiv.org/abs/2601.00894v1
• Date: Wed, 31 Dec 2025 14:49:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-06 16:25:21.83297
• Title: When to Ponder: Adaptive Compute Allocation for Code Generation via Test-Time Training
• Title（参考訳）: When to Ponder: テストタイムトレーニングによるコード生成のための適応型コンピュータアロケーション
• Authors: Gihyeon Sim,
• Abstract要約: 我々は,テストタイムトレーニング更新を選択的にトリガするために,TTT層の自己教師型再構築損失を用いたゲーティング戦略であるポンダーTTTを提案する。 コード言語モデリングにおける GPT-2 モデル (124M から 1.5B ) を用いた実験により,この信号が推論に相容れないことを示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models apply uniform computation to all inputs, regardless of difficulty. We propose PonderTTT, a gating strategy using the TTT layer's self-supervised reconstruction loss to selectively trigger Test-Time Training (TTT) updates. The gating decision itself is training-free--requiring no learned classifier or auxiliary networks; only a single scalar threshold is initially calibrated on unlabeled data and continuously adapted via EMA to maintain target update rates. Our experiments with GPT-2 models (124M to 1.5B) on code language modeling (The Stack v2, teacher-forced perplexity) demonstrate that this signal is inference-compatible, requiring no ground-truth labels. Our Reconstruction Gating achieves 82-89% Oracle Recovery while being fully training-free, significantly outperforming Random Skip baselines (up to 16% lower loss on OOD languages).
• Abstract（参考訳）: 大規模言語モデルは困難にかかわらず、全ての入力に一様計算を適用する。 テスト時間トレーニング(TTT)の更新を選択的にトリガーするために,TTT層の自己教師型再構築損失を用いたゲーティング戦略であるポンダーTTTを提案する。 学習した分類器や補助ネットワークを必要とせず、最初はラベルのないデータに対して1つのスカラーしきい値のみを調整し、目標更新率を維持するためにEMAを介して継続的に適用する。 GPT-2モデル (124Mから1.5B) によるコード言語モデリング (The Stack v2, teacher-forced perplexity) による実験により, この信号は推論に適合し, 基礎構造ラベルを必要としないことを示した。 レコンストラクションゲーティングは、トレーニング不要で、Random Skipベースライン(OOD言語では最大16%の損失)を大幅に上回る82～89%のOracleリカバリを実現しています。

関連論文リスト

• Grokked Models are Better Unlearners [5.8757712547216485]
  グラクテッドチェックポイントから始めると、ずっと効率的に忘れられる。 ポストグロキングモデルは、左行と左行と左行の間の勾配の調整を減らして、よりモジュラーな表現を学習する。
  論文  参考訳（メタデータ） (2025-12-03T04:35:49Z)
• Test-Time Adaptation with Binary Feedback [50.20923012663613]
  BiTTAは、不確実なサンプルに対するバイナリフィードバック誘導適応と、確実な予測に対する合意に基づく自己適応のバランスをとる、新しいデュアルパス最適化フレームワークである。 実験の結果、BiTTAは最先端のベースラインよりも13.3%の精度向上を実現している。
  論文  参考訳（メタデータ） (2025-05-24T05:24:10Z)
• Training Language Models to Self-Correct via Reinforcement Learning [98.35197671595343]
  自己補正は、現代の大規模言語モデル(LLM)では、ほとんど効果がないことが判明した。 完全自己生成データを用いたLLMの自己補正能力を大幅に向上させるマルチターンオンライン強化学習手法であるSCoReを開発した。 SCoReは最先端の自己補正性能を実現し,MATHとHumanEvalでそれぞれ15.6%,9.1%向上した。
  論文  参考訳（メタデータ） (2024-09-19T17:16:21Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Enhancing Plasticity for First Session Adaptation Continual Learning [20.62749699589017]
  クラスインクリメンタルラーニング(PLASTIC)における塑性強化テスト時間適応の導入 PLASTICはモデル安定性を維持しながら可塑性をCILに再蓄積する。 従来型と最先端のPTMベースのCILアプローチを一貫して上回ります。
  論文  参考訳（メタデータ） (2023-10-17T13:06:39Z)
• Improving Representational Continuity via Continued Pretraining [76.29171039601948]
  トランスファーラーニングコミュニティ(LP-FT)は、ナイーブトレーニングやその他の継続的な学習方法よりも優れている。 LP-FTは、リアルタイム衛星リモートセンシングデータセット(FMoW)における忘れを減らす。 LP-FTの変種は、NLP連続学習ベンチマークで最先端の精度を得る。
  論文  参考訳（メタデータ） (2023-02-26T10:39:38Z)
• Test-Time Prompt Tuning for Zero-Shot Generalization in Vision-Language Models [107.05966685291067]
  テスト時間プロンプトチューニング (TPT) を提案し, 適応的なプロンプトを1つのテストサンプルで学習する。 TPTはCLIPのゼロショットトップ1の精度を平均3.6%改善する。 クロスデータセットの一般化を目に見えないカテゴリで評価する際、PTは追加のトレーニングデータを使用する最先端のアプローチと同等に機能する。
  論文  参考訳（メタデータ） (2022-09-15T17:55:11Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。