論文の概要: Large Language Model-Powered Evolutionary Code Optimization on a Phylogenetic Tree
- arxiv url: http://arxiv.org/abs/2601.14523v1
- Date: Tue, 20 Jan 2026 22:32:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-22 21:27:50.174929
- Title: Large Language Model-Powered Evolutionary Code Optimization on a Phylogenetic Tree
- Title(参考訳): 系統木を用いた大規模言語モデルによる進化的コード最適化
- Authors: Leyi Zhao, Weijie Huang, Yitong Guo, Jiang Bian, Chenghong Wang, Xuhong Zhang,
- Abstract要約: PhyloEvolveは、GPU指向のアルゴリズム最適化をIn-Context Reinforcement Learning問題として再設計するシステムである。
本稿では,アルゴリズムの変種間の継承,分岐,組換えを捉える系統木表現を提案する。
我々は、PDEソルバ、多様体学習、スペクトルグラフアルゴリズムを含む科学計算処理のPhyloEvolveを評価する。
- 参考スコア(独自算出の注目度): 17.08113692977552
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Optimizing scientific computing algorithms for modern GPUs is a labor-intensive and iterative process involving repeated code modification, benchmarking, and tuning across complex hardware and software stacks. Recent work has explored large language model (LLM)-assisted evolutionary methods for automated code optimization, but these approaches primarily rely on outcome-based selection and random mutation, underutilizing the rich trajectory information generated during iterative optimization. We propose PhyloEvolve, an LLM-agent system that reframes GPU-oriented algorithm optimization as an In-Context Reinforcement Learning (ICRL) problem. This formulation enables trajectory-conditioned reuse of optimization experience without model retraining. PhyloEvolve integrates Algorithm Distillation and prompt-based Decision Transformers into an iterative workflow, treating sequences of algorithm modifications and performance feedback as first-class learning signals. To organize optimization history, we introduce a phylogenetic tree representation that captures inheritance, divergence, and recombination among algorithm variants, enabling backtracking, cross-lineage transfer, and reproducibility. The system combines elite trajectory pooling, multi-island parallel exploration, and containerized execution to balance exploration and exploitation across heterogeneous hardware. We evaluate PhyloEvolve on scientific computing workloads including PDE solvers, manifold learning, and spectral graph algorithms, demonstrating consistent improvements in runtime, memory efficiency, and correctness over baseline and evolutionary methods. Code is published at: https://github.com/annihi1ation/phylo_evolve
- Abstract(参考訳): 現代のGPUに対する科学計算アルゴリズムの最適化は、複雑なハードウェアとソフトウェアスタックをまたいだ繰り返しコード修正、ベンチマーク、チューニングを含む労働集約的で反復的なプロセスである。
最近の研究は、大規模言語モデル(LLM)による自動コード最適化の進化的手法を探求しているが、これらのアプローチは主に結果に基づく選択とランダムな突然変異に依存しており、反復最適化時に生成されたリッチな軌跡情報を活用していない。
In-Context Reinforcement Learning (ICRL) 問題としてGPU指向アルゴリズム最適化を再構成したLLMエージェントシステムであるPhyloEvolveを提案する。
この定式化により、モデルの再訓練なしに軌道条件付き最適化体験の再利用が可能になる。
PhyloEvolveはアルゴリズム蒸留とプロンプトベースの決定変換を反復的なワークフローに統合し、アルゴリズム修正のシーケンスとパフォーマンスフィードバックを第一級学習信号として扱う。
最適化履歴を整理するために,アルゴリズムの変種間の継承,分岐,組換えをキャプチャする系統木表現を導入し,バックトラック,クロスライン転送,再現性を実現する。
このシステムは、エリートな軌道プーリング、多島並列探索、コンテナ化実行を組み合わせて、異種ハードウェア間の探索とエクスプロイトのバランスをとる。
我々はPyloEvolveをPDEソルバ、多様体学習、スペクトルグラフアルゴリズムなどの科学計算処理で評価し、実行時の一貫した改善、メモリ効率、ベースラインおよび進化的手法に対する正当性を示す。
コードは、https://github.com/annihi1ation/phylo_evolveで公開されている。
関連論文リスト
- Frankenstein Optimizer: Harnessing the Potential by Revisiting Optimization Tricks [2.932254642052481]
様々な適応アルゴリズムの機構を組み合わせたフランケンシュタインを提案する。
コンピュータビジョン、自然言語処理、少数ショット学習、科学シミュレーションの実験は、フランケンシュタインが既存の適応アルゴリズムと勾配降下(SGD)を超えたことを示している。
本研究では,学習過程におけるカーネルアライメント解析とロスランドスケープの可視化を通じて,適応アルゴリズムの理解を深める。
論文 参考訳(メタデータ) (2025-03-04T00:25:54Z) - Evolution Transformer: In-Context Evolutionary Optimization [6.873777465945062]
本稿では、進化戦略のファミリーを柔軟に特徴付けることができる因果トランスフォーマーアーキテクチャである進化トランスフォーマーを紹介する。
進化的アルゴリズム蒸留(Evolutionary Algorithm Distillation)を用いてモデルの重み付けを訓練する。
進化変換器の動作特性を解析し,進化変換器を自己参照的に学習する手法を提案する。
論文 参考訳(メタデータ) (2024-03-05T14:04:13Z) - Analyzing and Enhancing the Backward-Pass Convergence of Unrolled
Optimization [50.38518771642365]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。
この設定における中心的な課題は最適化問題の解によるバックプロパゲーションであり、しばしば閉形式を欠いている。
本稿では, 非線形最適化の後方通過に関する理論的知見を提供し, 特定の反復法による線形システムの解と等価であることを示す。
Folded Optimizationと呼ばれるシステムが提案され、非ローリングなソルバ実装からより効率的なバックプロパゲーションルールを構築する。
論文 参考訳(メタデータ) (2023-12-28T23:15:18Z) - Neuroevolution of Physics-Informed Neural Nets: Benchmark Problems and
Comparative Results [25.12291688711645]
物理インフォームドニューラルネットワーク(PINN)は、最近の進歩の最前線にある重要な技術の一つである。
PINNのユニークな損失の定式化は、勾配降下に寄与しない高い複雑さと頑丈さをもたらす。
優れたグローバル検索能力を持つ神経進化アルゴリズムは、PINNにとってより良い選択であるかもしれない。
論文 参考訳(メタデータ) (2022-12-15T05:54:16Z) - An Empirical Evaluation of Zeroth-Order Optimization Methods on
AI-driven Molecule Optimization [78.36413169647408]
分子目的を最適化するための様々なZO最適化手法の有効性について検討する。
ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。
本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
論文 参考訳(メタデータ) (2022-10-27T01:58:10Z) - Data-driven evolutionary algorithm for oil reservoir well-placement and
control optimization [3.012067935276772]
一般化されたデータ駆動進化アルゴリズム(GDDE)は、適切な配置と制御最適化問題で実行されるシミュレーションの数を減らすために提案される。
確率的ニューラルネットワーク(PNN)は、情報的および有望な候補を選択するための分類器として採用されている。
論文 参考訳(メタデータ) (2022-06-07T09:07:49Z) - Improving RNA Secondary Structure Design using Deep Reinforcement
Learning [69.63971634605797]
本稿では,RNA配列設計に強化学習を適用した新しいベンチマークを提案する。このベンチマークでは,目的関数を配列の二次構造における自由エネルギーとして定義する。
本稿では,これらのアルゴリズムに対して行うアブレーション解析の結果と,バッチ間でのアルゴリズムの性能を示すグラフを示す。
論文 参考訳(メタデータ) (2021-11-05T02:54:06Z) - Harnessing Heterogeneity: Learning from Decomposed Feedback in Bayesian
Modeling [68.69431580852535]
サブグループフィードバックを取り入れた新しいGPレグレッションを導入する。
我々の修正された回帰は、以前のアプローチと比べて、明らかにばらつきを減らし、したがってより正確な後続を減らした。
我々は2つの異なる社会問題に対してアルゴリズムを実行する。
論文 参考訳(メタデータ) (2021-07-07T03:57:22Z) - EOS: a Parallel, Self-Adaptive, Multi-Population Evolutionary Algorithm
for Constrained Global Optimization [68.8204255655161]
EOSは実数値変数の制約付きおよび制約なし問題に対する大域的最適化アルゴリズムである。
これはよく知られた微分進化(DE)アルゴリズムに多くの改良を加えている。
その結果、EOSisは、最先端の単一人口自己適応Dアルゴリズムと比較して高い性能を達成可能であることが証明された。
論文 参考訳(メタデータ) (2020-07-09T10:19:22Z) - Global Optimization of Gaussian processes [52.77024349608834]
少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。
このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。
提案手法の順序の順序による時間収束を,総じて低減する。
論文 参考訳(メタデータ) (2020-05-21T20:59:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。