論文の概要: Evolving in Thought Space: Training a Small Model at Test Time Unlocks Better Discoveries

• arxiv url: http://arxiv.org/abs/2610.06269v1
• Date: Mon, 05 Oct 2026 13:04:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-09 09:39:17.198442
• Title: Evolving in Thought Space: Training a Small Model at Test Time Unlocks Better Discoveries
• Title（参考訳）: 思考空間で進化する - テスト時に小さなモデルを訓練して、より良い発見を解き放つ
• Abstract要約: TTT-Discoverのような手法では、検証者からのフィードバックからソリューション生成LDMを更新するためにテストタイムトレーニングを使用する。 信頼性の高い実行には大きなモデルが必要になります。 本稿では、これらの役割を分離し、4つの領域にまたがる強力なソリューションを創出するGuidance-TTTを紹介する。
• 参考スコア（独自算出の注目度）: 30.153956321085843
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Open-ended scientific discovery often requires repeatedly proposing and evaluating candidate solutions. LLM-based systems can support this process by generating and refining executable solutions from verifier feedback. Methods such as TTT-Discover use test-time training (TTT) to update the solution-generating LLM from verifier feedback, adapting its generation policy to improve subsequent proposals on the target problem. However, this becomes expensive when reliable execution requires a large model, since training must maintain gradients, optimizer states, and policy statistics while repeatedly generating long, structured outputs. It also complicates credit assignment: outcome-level verifier feedback must jointly evaluate the high-level strategy and its low-level implementation. In this work, we introduce Guidance-TTT, which separates these roles. A compact guidance model is trained at test time to propose high-level strategic changes, while a frozen execution model implements them as complete executable solutions. At each step, the system selects a promising previously discovered solution, proposes a change, executes and verifies it, and updates only the guidance model using an adaptive group-relative RL objective. This concentrates test-time learning on short strategic decisions while retaining the implementation capability of a substantially stronger model without adapting it. Without web access, Guidance-TTT produces strong solutions across four distinct domains: combinatorial optimization (Polyomino Packing), heuristic programming (AHC058), machine learning (Lasso), and GPU kernel optimization (TriMul). Across these tasks, it outperforms the best solutions reported in prior work while remaining competitive with state-of-the-art results on public online leaderboards. Code is available at https://github.com/Human-Agent-Society/reef/tree/guidance-ttt-support.
• Abstract（参考訳）: オープンエンドの科学的発見は、しばしば候補解を何度も提案し評価することを必要とする。 LLMベースのシステムは、検証者フィードバックから実行可能なソリューションを生成し、精製することで、このプロセスをサポートすることができる。 TTT-Discoverのような手法は、検証者フィードバックからソリューション生成LDMを更新するためにテストタイムトレーニング(TTT)を使用し、生成ポリシーを適用し、ターゲット問題に対するその後の提案を改善する。 しかし、信頼性の高い実行には大きなモデルが必要であるため、トレーニングは、長い構造化された出力を繰り返し生成しながら、勾配、最適化状態、およびポリシー統計を維持する必要がある。 結果レベルの検証者フィードバックは、高レベルの戦略とその低レベルの実装を共同で評価する必要があります。 本稿では,これらの役割を分離したGuidance-TTTを紹介する。 高レベルの戦略的変更を提案するために、テスト時にコンパクトなガイダンスモデルが訓練され、凍結された実行モデルは、それらを完全な実行可能ソリューションとして実装する。 各ステップにおいて、システムは、有望な未発見のソリューションを選択し、変更を提案し、それを実行し、検証し、適応的なグループ相対RL目標を用いてガイダンスモデルのみを更新する。 これは、短い戦略的決定にテスト時間学習を集中させ、それを適用することなく、より強力なモデルの実装能力を維持します。 Webアクセスなしでは、Guidance-TTTは、組合せ最適化(Polyomino Packing)、ヒューリスティックプログラミング(AHC058)、機械学習(Lasso)、GPUカーネル最適化(TriMul)の4つの異なる領域で強力なソリューションを生成する。 これらのタスク全体では、公開オンラインリーダーボードの最先端の結果と競争しながら、以前の作業で報告された最良のソリューションよりも優れています。 コードはhttps://github.com/Human-Agent-Society/reef/tree/guidance-tt- Supportで入手できる。

関連論文リスト

• LLM-Guided Evolutionary Search for Constraint Model Reformulation to Improve Solver Efficiency [5.774119507201688]
  大きな言語モデル(LLM)は、自然言語から正しいモデルを生成することができるが、正しいモデルでさえ解決するのにコストがかかる。 我々は,LLMがユーザ定義ベースラインモデルに対して検証およびベンチマークを行う候補修正を提案する進化的フレームワークを用いる。 既存の保持戦略は、正確さやパフォーマンスを優先するが、コンテキストを明示的に多様化するものではない。 検証に基づく最終モデル選択を用いて,8つのCSPLib問題の戦略を体系的に評価した。
  論文  参考訳（メタデータ） (2026-07-30T14:21:55Z)
• StarOR: Synergizing Tree Search and Test-Time Reinforcement Learning for Optimization Modeling [13.71352763893512]
  本稿では,MCTSとTest-Time Reinforcement Learningを結合した探索適応フレームワークであるStarORを提案する。 StarORはモデリングプロセスを4段階に分解し、各非終端ノードでGRPOを介して一時的なLoRAアダプタを更新する。 5つのベンチマークで実験したところ、StarORは4Bバックボーンでも最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-06-13T08:46:13Z)
• TTT-VLA: Test-Time Latent Prompt Optimization for Vision-Language-Action Models [49.463896453707065]
  VLA(Vision-Language-Action)モデルは目覚ましい進歩を遂げているが、展開時の分散シフトには弱いままである。 近年のVLAモデルは、プロンプトが政策行動の効率的なインターフェースとして機能することを示唆しているが、既存のプロンプトベースのステアリングは通常、外部ガイダンスに依存している。 VLAのテストタイムトレーニング(TTT)は、プロンプトの最適化によって実現可能か? 我々は、遅延プロンプト最適化(LPO)に基づくテスト時間トレーニングフレームワークであるTTT-VLAでこの問題に対処する。
  論文  参考訳（メタデータ） (2026-06-02T04:10:39Z)
• Compute Aligned Training: Optimizing for Test Time Inference [23.99156538891498]
  大規模言語モデル(LLM)のパフォーマンスを向上するための強力なメカニズムとして、テスト時間計算のスケーリングが登場した。 標準訓練後パラダイム、SFT(Supervised Fine-Tuning)、RL(Reinforcement Learning)は、基本方針の下で個々のサンプルの可能性を最適化する。 本稿では,テストタイム戦略とトレーニング目標を整合させるコンピュータアラインドトレーニングを提案する。
  論文  参考訳（メタデータ） (2026-04-27T19:52:38Z)
• SolverLLM: Leveraging Test-Time Scaling for Optimization Problem via LLM-Guided Search [58.116954449750544]
  多様な最適化問題を解決するために,テスト時間スケーリングを活用したトレーニング不要のフレームワークを導入する。 直接的に解くのではなく、数学的定式化を生成し、新しいモンテカルロ木探索戦略によって導かれる解法対応のコードに変換する。
  論文  参考訳（メタデータ） (2025-10-19T16:21:19Z)
• Learning to Refine: Self-Refinement of Parallel Reasoning in LLMs [102.48588475875749]
  本稿では,新しい並列テスト時間スケーリングフレームワークであるGenerative Self-Refinement (GSR)を紹介する。 GSRは一連の候補応答を並列に生成し、その後自己精製を行い、新しい優れた解を合成する。 提案手法は,5つの数学ベンチマークにおいて,最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-08-27T06:51:48Z)
• MiGrATe: Mixed-Policy GRPO for Adaptation at Test-Time [45.001220323583574]
  MiGrATeは、外部のトレーニングデータを必要とせずに、推論時に大きな言語モデルを適応する検索アルゴリズムである。 我々はMiGrATeを3つの挑戦的ドメイン単語探索、分子最適化、仮説+プログラム誘導で評価した。
  論文  参考訳（メタデータ） (2025-08-12T05:08:21Z)
• Test-time Offline Reinforcement Learning on Goal-related Experience [50.94457794664909]
  基礎モデルの研究では、テストタイムトレーニングによってパフォーマンスが大幅に改善できることが示されている。 本稿では、オフラインデータセットから現在の状態への関連性に応じて遷移を選択する、新しい自己教師型データ選択基準を提案する。 目標条件付きテストタイムトレーニング(GC-TTT)アルゴリズムは、評価中にこのルーチンを後退水平方式で適用し、現在の軌道にポリシーを適用する。
  論文  参考訳（メタデータ） (2025-07-24T21:11:39Z)
• In-context Demonstration Matters: On Prompt Optimization for Pseudo-Supervision Refinement [71.60563181678323]
  大規模言語モデル(LLM)は様々なタスクで大きな成功を収めており、生成品質をさらに向上させるためには微調整が必要である場合もある。 これらの課題に対処する直接的な解決策は、教師なしの下流タスクから高信頼のデータを生成することである。 本稿では,プロンプトと全体的な擬似スーパービジョンを両立させる新しい手法,擬似教師付きデモアライメント・アライメント・アライメント・プロンプト・最適化(PAPO)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-04T03:39:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。