論文の概要: From Search to Signal: Online Post-Training in Automatic Heuristic Design

• arxiv url: http://arxiv.org/abs/2609.39383v1
• Date: Wed, 30 Sep 2026 09:33:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.520412
• Title: From Search to Signal: Online Post-Training in Automatic Heuristic Design
• Title（参考訳）: 検索から信号へ:自動ヒューリスティックデザインにおけるオンラインポストトレーニング
• Abstract要約: 大言語モデル(LLM)に基づく自動設計(AHD) タスク固有の評価器はプログラムを評価し、実行結果とパフォーマンススコアは検索をガイドする。 多くのAHDシステムは発電機を凍結させ、EvoTuneとCALMは評価された候補から更新する。
• 参考スコア（独自算出の注目度）: 4.296931874008549
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language model (LLM)-based automatic heuristic design (AHD) iteratively proposes and refines heuristics, pairing design rationales with executable code. Task-specific evaluators assess programs; execution outcomes and performance scores guide search. Many AHD systems keep the generator frozen; EvoTune and Co-Evolution of Algorithms and Language Model (CALM) instead update it from evaluated candidates. When such outcomes drive reinforcement learning with verifiable rewards (RLVR), they create a search-coupled loop: the evaluated candidate stream supplies both search-state updates and training signals for the model that generates future candidates. Yet validity and performance do not uniquely determine useful model updates; converting them into learning signals must account for the prompt and evolving search state that produced each candidate. We formulate online post-training of small open-weight LLMs in AHD as context-dependent signal construction and develop alternative mappings from program validity, task performance, and generation context to update signals. Using shared evaluated rollouts and matched update budgets, controlled experiments across AHD tasks and model families compare these mappings with online post-training baselines, testing their effects on validity, performance among valid proposals, and the yield of valid proposals that improve under contextual comparisons. Complementary checkpoint, frozen-search, and live-system evaluations assess whether proposal-level gains appear in updated checkpoint behavior and subsequent search, rather than arising solely from accumulated search state. A resource-matched comparison under pre-specified cost accounting tests whether online updating adds value beyond additional search with a frozen generator. Together, this design avoids treating end-to-end search gains alone as evidence of stronger heuristic-design capabilities.
• Abstract（参考訳）: 大規模言語モデル(LLM)に基づく自動ヒューリスティック設計(AHD)は、反復的にヒューリスティックを提案・洗練し、設計論理と実行可能なコードとのペアリングを行う。 タスク固有の評価器はプログラムを評価し、実行結果とパフォーマンススコアは検索をガイドする。 多くのAHDシステムはジェネレータを凍結させ、EvoTuneとCALM (Co-Evolution of Algorithms and Language Model) は評価された候補から更新する。 評価された候補ストリームは、将来の候補を生成するモデルに対して、検索状態の更新とトレーニング信号の両方を提供する。 しかし、有効性と性能は有用なモデル更新を一意に決定するものではない。 我々は,AHD における小型オープンウェイト LLM のオンラインポストトレーニングを文脈依存信号構築として定式化し,プログラムの妥当性,タスク性能,生成コンテキストからの代替マッピングを開発して更新信号を生成する。 評価済みのロールアウトと一致した更新予算を用いて、AHDタスクとモデルファミリーのコントロールされた実験は、これらのマッピングをオンラインのトレーニング後のベースラインと比較し、妥当性、有効な提案間のパフォーマンス、コンテキスト比較で改善する有効な提案の収率をテストする。 補完的なチェックポイント,凍結探索,およびライブシステム評価は,蓄積された検索状態からのみ生じるのではなく,更新されたチェックポイント行動やその後の検索に提案レベルのゲインが現れるかどうかを評価する。 オンライン更新がフリーズジェネレータによる追加検索以上の価値を付加するかどうかを、事前に特定されたコスト会計テスト下でのリソースマッチングの比較。 この設計は、より強力なヒューリスティック設計能力の証拠として、エンドツーエンドの検索ゲインを単独で扱うことを避ける。

関連論文リスト

• GraphAHA: Graph-Based Adaptive Search with Heterogeneous Actions for Test-Time Code Generation [19.00432566076247]
  テストタイムスケーリングは、直接サンプリング、フィードバック条件付き修復、推論誘導実装に追加の推論予算(呼び出しやトークンなど)を費やすことで、コード生成を改善する。 異種行動を用いた適応グラフ探索法(GraphAHA)を提案する。 GraphAHAは、型付き有向非循環グラフでテスト時コード生成を編成する。等価プログラムは単一のコードノードにマージされ、下流の検索統計をすべての発見パスで再利用することができる。
  論文  参考訳（メタデータ） (2026-09-11T12:08:55Z)
• Task-CoEvolve: Efficient Harness Optimization via Adaptive Validation Task Selection [51.39973047614183]
  本稿では,適応型検証タスク選択によるLLMの効率向上のための新しい手法を提案する。 $textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTaskは、情報的タスクの選択と、部分的な評価からフルセットのパフォーマンスの推定という2つの課題に対処することで、ハーネスでバリデーションタスクを共進化させる。
  論文  参考訳（メタデータ） (2026-08-20T15:24:54Z)
• TRACE-CASH: Trial-History-Conditioned Reinforcement Learning for Adaptive Configuration Exploration in Time-Series CASH [9.74382525298432]
  TRACECASHは,グループ化されたアクター・クリティックな候補生成とモデルカバレッジ,バリデーション誘導によるエクスプロイト,進行停止後の探索の固定ルールを組み合わせたタスクローカルハイブリッドである。 TRACE-CASHとランダム,ベイズ的,進化的,多目的的,言語モデル支援の6つの選択肢を比較した。
  論文  参考訳（メタデータ） (2026-08-17T11:06:16Z)
• Deciding When to Switch: E-Processes for Adaptive Minimax Training for Generative Adversarial Nets [8.044490027380872]
  我々は,e-process-based Adaptive training procedure for adversarial networkを開発した。 我々は、新しい経験的・潜伏的な条件付きe-値が、e-プロセスに蓄積可能な収率条件付きe-値を引き出すことを証明した。 合成分布と画像ベンチマークデータセット全体にわたって、提案手法は最適な固定比ベースラインに適合または性能を向上する。
  論文  参考訳（メタデータ） (2026-08-10T18:07:48Z)
• Adaptive Generate-Rank-Verify: Inference-Time Search with Costly Verification [8.614387395852896]
  我々は、学習理論レンズを生成能動探索として用いて、コスト感受性の第1正探索問題を定式化する。 固定プロンプトでは、ジェネレータと報酬モデルが2つの未知のオブジェクトを誘導する。 本稿では,サンプル応答数やトップランク検証を段階的に増加させる,シェルワイズ適応型生成ランク検証アルゴリズムADAPを提案する。
  論文  参考訳（メタデータ） (2026-05-17T19:10:30Z)
• CoSearch: Joint Training of Reasoning and Document Ranking via Reinforcement Learning for Agentic Search [51.911048955965136]
  CoSearchは多段階推論エージェントと生成ドキュメントランキングモデルを共同でトレーニングするフレームワークである。 この結果から, 推論エージェントと検索システムの協調訓練は, 実現可能であり, 性能も高いことが示唆された。
  論文  参考訳（メタデータ） (2026-04-19T17:48:17Z)
• Can Prompt Difficulty be Online Predicted for Accelerating RL Finetuning of Reasoning Models? [65.18157595903124]
  本研究では任意のプロンプトの反復的近似評価について検討する。 Model Predictive Prompt Selection (MoPPS)はベイズにおけるリスク予測フレームワークである。 MoPPSは迅速な困難を確実に予測し、ロールアウトを大幅に削減したトレーニングを加速する。
  論文  参考訳（メタデータ） (2025-07-07T03:20:52Z)
• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)
• Don't Be So Sure! Boosting ASR Decoding via Confidence Relaxation [7.056222499095849]
  ビームサーチは 予測分布を用いて 最大限の確率で 書き起こしを求める 最近提案された自己監督学習(SSL)ベースのASRモデルは、極めて確実な予測をもたらす傾向があることを示す。 細調整されたASRモデルの性能を向上させる復号法を提案する。
  論文  参考訳（メタデータ） (2022-12-27T06:42:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。