論文の概要: LatentEvolve: Self-Evolving Test-Time Scaling in Latent Space
- arxiv url: http://arxiv.org/abs/2509.24771v1
- Date: Mon, 29 Sep 2025 13:37:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-30 22:32:20.007904
- Title: LatentEvolve: Self-Evolving Test-Time Scaling in Latent Space
- Title(参考訳): LatentEvolve: 潜時空間における自己進化型テストタイムスケーリング
- Authors: Guibin Zhang, Fanci Meng, Guancheng Wan, Zherui Li, Kun Wang, Zhenfei Yin, Lei Bai, Shuicheng Yan,
- Abstract要約: Test-timeScaling (TTS) は、モデルパラメータを変更することなく、推論フェーズにおけるLarge Language Models (LLM) の推論能力を著しく向上することが実証されている。
本稿では,補完学習システム理論に触発された自己進化型潜在TSフレームワークであるLatentEvolveを提案する。
- 参考スコア(独自算出の注目度): 66.71318175695988
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Test-time Scaling (TTS) has been demonstrated to significantly enhance the reasoning capabilities of Large Language Models (LLMs) during the inference phase without altering model parameters. However, existing TTS methods are largely independent, implying that LLMs have not yet evolved to progressively learn how to scale more effectively. With the objective of evolving LLMs to learn ``how to scale test-time computation,'' we propose LatentEvolve, a self-evolving latent TTS framework inspired by the complementary learning system (CLS) theory. Analogous to the human brain's dual system of a fast-recall hippocampus and a slow-consolidating neocortex, LatentEvolve comprises two evolutionary components: \textit{daytime scaling}, which rapidly retrieves historical latent representations to better guide current LLM reasoning; and \textit{nighttime scaling}, which integrates past latent optimizations in a manner akin to the human brain's consolidation of experiences during sleep. The alternation of daytime and nighttime processes facilitates a fast and slow evolution of LLM TTS, mirroring human cognitive dynamics in a fully unsupervised manner. Extensive experiments across eight benchmarks and five model backbones demonstrate that our LatentEvolve surpasses state-of-the-art TTS methods such as LatentSeek and TTRL by up to $13.33\%$ and exhibits exceptional cross-domain and cross-backbone generalization.
- Abstract(参考訳): テストタイムスケーリング(TTS)は、モデルパラメータを変更することなく、推論フェーズにおいて、LLM(Large Language Models)の推論能力を著しく向上することが実証されている。
しかし、既存のTS法はほとんど独立であり、LSMはより効果的にスケールする方法を徐々に学べるように進化していないことを示唆している。
テスト時間計算のスケール方法」を学習するためにLLMを進化させる目的で,補完学習システム(CLS)理論に触発された自己進化型潜在TSフレームワークであるLatentEvolveを提案する。
速いリコールの海馬と緩やかな統合性新皮質の人間の脳の双対系に類似して、LatentEvolveは2つの進化的要素を含む: \textit{daytime Scaling}、現在のLCM推論をより良く導くために歴史的な潜時表現を迅速に回収する \textit{nighttime Scaling}、そして、人間の睡眠中の体験の強化に似た方法で過去の潜時最適化を統合する \textit{nighttime scaling}。
昼と夜のプロセスの交互化は、LLM TTSの高速かつ遅い進化を促進し、人間の認知力学を完全に教師なしの方法で反映する。
8つのベンチマークと5つのモデルバックボーンにわたる大規模な実験により、LatentEvolveはLatentSeekやTTRLのような最先端のTTSメソッドを最大13.33$%超え、例外的なクロスドメインとクロスバックボーンの一般化を示す。
関連論文リスト
- Step-level Verifier-guided Hybrid Test-Time Scaling for Large Language Models [58.36334504216682]
テスト時間スケーリングは、推論中にモデルのインテリジェンスを段階的に引き出す、有望なアプローチである。
本稿では,推論のためのトレーニング不要なTTS手法に焦点をあてる。
ハイブリッドテスト時間スケーリングと呼ばれる新しい推論パラダイムを導入する。
論文 参考訳(メタデータ) (2025-07-21T11:28:09Z) - Scaling Image and Video Generation via Test-Time Evolutionary Search [41.715197824076746]
テスト時間スケーリング(TTS)は、推論時にさらなる計算を割り当てることで、生成モデルの性能を向上させるための有望な方向として登場した。
EvoSearchは、拡散とフローモデル間の画像生成とビデオ生成のスケーラビリティを効果的に向上する、新規で汎用的で効率的なTS手法である。
論文 参考訳(メタデータ) (2025-05-23T08:25:46Z) - A Survey on Self-Evolution of Large Language Models [116.54238664264928]
大規模言語モデル(LLM)は、様々な分野やインテリジェントエージェントアプリケーションにおいて大きく進歩している。
この問題に対処するために、LLMが自律的に獲得し、洗練し、モデル自身によって生成された経験から学ぶことができる自己進化的アプローチが急速に成長している。
論文 参考訳(メタデータ) (2024-04-22T17:43:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。