論文の概要: Can Test-Time Memory Evolution Outperform Test-Time Training for Scientific Discovery?

• arxiv url: http://arxiv.org/abs/2610.32046v1
• Date: Fri, 23 Oct 2026 01:37:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.319498
• Title: Can Test-Time Memory Evolution Outperform Test-Time Training for Scientific Discovery?
• Title（参考訳）: テストタイム記憶の進化は科学的発見のためのテストタイムトレーニングに優れているか?
• Abstract要約: 本稿では,TT の代替として emphTest-Time Memory Evolution (TTME) を紹介する。 TTMEは、モデル重みを更新することなく、後続の発見を導くために経験を蒸留することで、外部記憶を継続的に更新する。 評価の結果,TTME は 5 つの数学的タスクすべてにおいて TTT よりも優れており,計算コストは FLOP で 82.8$-84.6% 、実行時で 47.7$-58.4% である。
• 参考スコア（独自算出の注目度）: 93.62004895616569
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Recent \emph{test-time training} (TTT) frameworks have enabled open-weight large language models (LLMs) to outperform inference-only frameworks powered by frontier models on scientific discovery tasks. However, TTT introduces additional computational cost for online weight updates during the discovery process, making computational efficiency an important consideration when scaling to larger models. This motivates us to explore an efficient \emph{test-time adaptation} method for scientific discovery. We introduce \emph{Test-Time Memory Evolution} (TTME), a plug-and-play test-time adaptation method, as an alternative to TTT. TTME continually updates the external memory by distilling the experience to guide subsequent discovery without updating model weights. To have a clean comparison, we evaluate TTME and TTT under the same discovery framework, replacing only the test-time adaptation method. Our evaluation shows that TTME outperforms TTT on all five mathematical tasks, while reducing computational cost by $82.8$-$84.6\%$ in FLOPs and $47.7$-$58.4\%$ in runtime. These results establish TTME as an effective and computationally efficient alternative to TTT in the evaluated discovery settings.
• Abstract（参考訳）: 最近の 'emph{test-time training} (TTT) フレームワークにより、科学的な発見タスクにおけるフロンティアモデルによって駆動される推論のみのフレームワークよりも優れた、オープンウェイトな大規模言語モデル (LLM) が実現された。 しかし、TTTは、発見プロセス中にオンラインウェイト更新にさらなる計算コストを導入し、より大きなモデルにスケールする際の計算効率を重要な考慮事項にしている。 これは、科学的発見のための効率的な 'emph{test-time adaptation} 手法を探究する動機となっている。 本稿では,TT の代替として,テスト時間適応法である TTME を導入する。 TTMEは、モデル重みを更新することなく、後続の発見を導くために経験を蒸留することで、外部記憶を継続的に更新する。 クリーンな比較を行うため,TTMEとTTTを同じ枠組みで評価し,テスト時間適応法のみを置き換えた。 評価の結果,TTME は FLOP において 82.8$-84.6\% ,実行時に 47.7$-58.4\% の計算コストを削減した。 これらの結果から,TTMEは,評価された発見設定において,TTMeの有効な代替手段として確立された。

関連論文リスト

• LLMs Improving LLMs: Agentic Discovery for Test-Time Scaling [63.679448814185456]
  テストタイムスケーリング(TTS)は,大規模言語モデルの性能向上に有効なアプローチとなっている。 既存のTS戦略は、主に手作りであり、研究者はパターンを設計し、直感で調整し、計算割り当ての空間の多くを探索していない。 環境駆動型フレームワークであるAutoTTSを提案し、研究者が設計したものを、個々のTSからTTS戦略を自動的に発見できる環境へと変更する。
  論文  参考訳（メタデータ） (2026-05-08T17:59:40Z)
• Test time training enhances in-context learning of nonlinear functions [51.56484100374058]
  テストタイムトレーニング(TTT)は、各予測に先立って指定されたパラメータを明示的に更新することで、モデル性能を向上させる。 本研究では,TTTとテキスト内学習(ICL)の組み合わせについて検討する。
  論文  参考訳（メタデータ） (2025-09-30T03:56:44Z)
• Investigating Test-Time Scaling with Reranking for Machine Translation [3.938945042802514]
  モデルパラメータのスケーリングは、NLPシステムを改善するための事実上の戦略となっているが、かなりの計算コストが伴う。 テスト時間スケーリング(TTS)は、複数の候補を生成し、ベストを選択するという、推論時により多くの計算を割り当てることによる代替手段を提供する。 WMT24ベンチマークにおいて,機械翻訳のためのTTSに関する最初の体系的な研究を行い,単純だが実用的なNフレームワークについて検討する。
  論文  参考訳（メタデータ） (2025-09-23T13:58:16Z)
• Local Mixtures of Experts: Essentially Free Test-Time Training via Model Merging [37.01883745855289]
  専門家(MoE)モデルの混合は、推論コストを増大させることなくモデルキャパシティを増やすための有望なアプローチである。 我々は、MoEパラダイムを桁違いに多くの専門家に拡張するTTMM(Test-Time Model Merging)を提案する。
  論文  参考訳（メタデータ） (2025-05-20T09:39:54Z)
• Test-Time Training Provably Improves Transformers as In-context Learners [49.09821664572445]
  テキスト内学習のための勾配に基づくTTTアルゴリズムについて検討する。 テストプロンプトで提供されるコンテキスト内デモに対して,トランスフォーマーモデルをトレーニングする。 経験的貢献として,TabPFNに対するTTTの有用性について検討した。
  論文  参考訳（メタデータ） (2025-03-14T20:06:37Z)
• LoRA-TTT: Low-Rank Test-Time Training for Vision-Language Models [23.218237408724676]
  視覚言語モデル(VLM)のための新しいテスト時間訓練(TTT)法であるLoRA-TTTを提案する。 テスト期間中にLoRAを導入し,パラメータのみを更新することにより,本手法は単純かつ効果的なTTTアプローチを提供する。 本手法は,メモリ消費や実行量を増やすことなく,これらの2つの損失を組み合わせ,多様な領域に適応することができる。
  論文  参考訳（メタデータ） (2025-02-04T07:40:26Z)
• Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning [81.3514358542452]
  ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。 パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。 本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
  論文  参考訳（メタデータ） (2022-05-11T17:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。