論文の概要: Evolutionary Multi-Task Optimization for LLM-Guided Program Discovery
- arxiv url: http://arxiv.org/abs/2605.22613v1
- Date: Thu, 21 May 2026 15:28:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-22 20:14:18.594398
- Title: Evolutionary Multi-Task Optimization for LLM-Guided Program Discovery
- Title(参考訳): LLM誘導プログラム探索のための進化的マルチタスク最適化
- Authors: Halil Alperen Gozeten, Xuechen Zhang, Emrullah Ildiz, Ege Onur Taga, Tara Javidi, Samet Oymak,
- Abstract要約: LLM誘導プログラム探索のための進化的マルチタスク最適化(EMO)を提案する。
EMO-STA(Shared-Then-Adapt)は、まずタスクファミリー間で実行可能プログラムの共有アーカイブを進化させ、選択した共有候補を各タスクに適応させるフレームワークである。
- 参考スコア(独自算出の注目度): 26.328504693501856
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recent LLM-guided evolutionary search methods have shown that iterative program mutation can discover strong algorithms, but they typically optimize each task independently, even when related tasks share reusable structure. We introduce Evolutionary Multi-Task Optimization (EMO) for LLM-guided program discovery, and propose EMO-STA (Shared-Then-Adapt), a two-stage framework that first evolves a shared archive of executable programs across a task family and then adapts selected shared candidates to each target task. Within EMO-STA, we explore multiple adaptation strategies, including warm-starting from the shared archive, adapting the best average shared program, and adapting the shared program that performs best on each target task. Across eight task families spanning continuous optimization, geometric construction, modeling, and algorithmic optimization, EMO-STA improves over matched-compute single-task evolution in most settings, with STA Best-Local providing the strongest in-distribution adaptation and STA Best-Shared yielding robust transfer to unseen tasks. Compute-allocation experiments show that allocating a substantial fraction of the family-level budget to shared evolution is consistently beneficial, with roughly balanced shared and adaptation budgets often being optimal. Beyond compute efficiency, we show that shared evolution can mitigate overfitting in low-evidence settings (e.g. few training data), including ARC tasks and time-series feature engineering, by favoring programs that generalize across all tasks rather than exploiting task-specific brittle artifacts.
- Abstract(参考訳): 近年のLSM誘導進化探索法では、反復的プログラム突然変異は強いアルゴリズムを発見できるが、関連するタスクが再利用可能な構造を共有する場合であっても、通常、それぞれのタスクを個別に最適化する。
LLM誘導型プログラム発見のための進化的マルチタスク最適化(EMO)を導入し、まずタスクファミリ間で実行可能プログラムの共有アーカイブを進化させ、選択した共有候補を各タスクに適応させる2段階のフレームワークであるEMO-STA(Shared-Then-Adapt)を提案する。
EMO-STA内では、共有アーカイブからのウォームスタート、最高の平均共有プログラムの適応、各タスクに最適な共有プログラムの適応など、複数の適応戦略を検討する。
連続最適化、幾何構成、モデリング、アルゴリズム最適化にまたがる8つのタスクファミリにおいて、EMO-STAは一致した単一タスクの進化よりも、ほとんどの設定において改善され、STA Best-Localは最強の分散内適応とSTA Best-Sharedは、目に見えないタスクへの堅牢な転送をもたらす。
計算機配置実験により、家族レベルの予算のかなりの部分を共有進化に割り当てることは一貫して有益であり、大まかにバランスの取れた共有予算と適応予算が最適であることが示されている。
計算効率の他に、共有進化は、タスク固有の脆いアーティファクトを活用せずに、すべてのタスクを一般化するプログラムを好んで、ARCタスクや時系列機能エンジニアリングを含む、低エビデンスな設定(例えば、少数のトレーニングデータ)における過度な適合を軽減できることを示す。
関連論文リスト
- Multi-Task Bayesian Optimization for Tuning Decentralized Trajectory Generation in Multi-UAV Systems [39.146761527401424]
我々は,各タスクを,特定のドローンとドローンの相互作用によって定義された軌道生成シナリオとして扱う。
タスク間の共有構造をキャプチャし,効率的な情報伝達を可能にするマルチタスクガウスプロセスを採用している。
単一タスクの最適化は、Swarmのサイズが大きくなるにつれて徐々に短いミッション時間をもたらすが、平均タスクのアプローチよりもはるかに多くの最適化時間を必要とすることを示す。
論文 参考訳(メタデータ) (2025-12-09T14:14:40Z) - A Unified Multi-Task Learning Framework for Generative Auto-Bidding with Validation-Aligned Optimization [51.27959658504722]
マルチタスク学習は、これらのタスクを共有表現を通じて共同でトレーニングするための、原則化されたフレームワークを提供する。
既存のマルチタスク最適化戦略は、主にトレーニングダイナミクスによって導かれ、不安定な入札環境ではよく一般化される。
本稿では,タスク毎のトレーニング勾配と保留有効度勾配のアライメントに基づいてタスク重みを適応的に割り当てる,バリデーション適応型マルチタスク最適化(VAMO)を提案する。
論文 参考訳(メタデータ) (2025-10-09T03:59:51Z) - MEJO: MLLM-Engaged Surgical Triplet Recognition via Inter- and Intra-Task Joint Optimization [52.149337961205624]
手術用三重項認識のためのタスク間最適化とタスク内最適化を両立する枠組みを提案する。
タスク間最適化のために、タスク共有およびタスク固有コンポーネントに表現を分解する共有特徴分散学習スキーム(S$2$D)を導入する。
タスク内最適化競合に対して,正負の曖昧さを識別・再バランスするコーディネート・グラディエント・ラーニング(CGL)戦略を開発する。
論文 参考訳(メタデータ) (2025-09-16T09:48:52Z) - Towards Unified Modeling in Federated Multi-Task Learning via Subspace Decoupling [23.642760378344335]
Federated Multi-Task Learning (FMTL) は、複数のクライアントがローカルデータを交換することなく異種タスクを実行できる。
既存のFMTLメソッドのほとんどは、各クライアント用にパーソナライズされたモデルを構築することに集中しており、複数の異種タスクの集約を統一モデルにサポートできない。
マルチタスクモデル統合に特化して設計された更新構造対応アグリゲーション手法であるFedDEAを提案する。
論文 参考訳(メタデータ) (2025-05-30T03:53:21Z) - Collab: Controlled Decoding using Mixture of Agents for LLM Alignment [90.6117569025754]
人間のフィードバックからの強化学習は、大規模言語モデルを整合させる効果的な手法として現れてきた。
制御された復号化は、再訓練せずに推論時にモデルを整列するメカニズムを提供する。
本稿では,既存の既成のLCMポリシを活用するエージェントベースのデコーディング戦略の混合を提案する。
論文 参考訳(メタデータ) (2025-03-27T17:34:25Z) - Large Language Model as Meta-Surrogate for Data-Driven Many-Task Optimization: A Proof-of-Principle Study [11.452011929848844]
本研究では,マルチタスク最適化を支援するメタサロゲートフレームワークを提案する。
問題群に適合するメタデータを持つ普遍モデルを定義することにより、多タスクフィットネス予測のための統一的なフレームワークを定式化する。
我々のフレームワークは、双対レベルの知識伝達 -- 代理レベルと個別レベルの両方 -- をサポートし、最適化の効率性と堅牢性を高めます。
論文 参考訳(メタデータ) (2025-03-11T11:13:11Z) - AgentGen: Enhancing Planning Abilities for Large Language Model based Agent via Environment and Task Generation [81.32722475387364]
大規模言語モデルに基づくエージェントが注目され、ますます人気が高まっている。
計画能力は LLM ベースのエージェントの重要な構成要素であり、通常は初期状態から望ましい目標を達成する必要がある。
近年の研究では、専門家レベルの軌跡を指導訓練用LLMに活用することで、効果的に計画能力を向上させることが示されている。
論文 参考訳(メタデータ) (2024-08-01T17:59:46Z) - Towards Multi-Objective High-Dimensional Feature Selection via
Evolutionary Multitasking [63.91518180604101]
本稿では,高次元特徴選択問題,すなわちMO-FSEMTのための新しいEMTフレームワークを開発する。
タスク固有の知識伝達機構は、各タスクの利点情報を活用するように設計され、高品質なソリューションの発見と効果的な伝達を可能にする。
論文 参考訳(メタデータ) (2024-01-03T06:34:39Z) - Multitasking Evolutionary Algorithm Based on Adaptive Seed Transfer for
Combinatorial Problem [2.869730777051168]
進化的マルチタスク最適化(EMTO)は、ECコミュニティで新たなトピックとなっている。
M TEA-ASTは、同じドメインとクロスドメインのマルチタスク環境の両方において、知識を適応的に転送することができる。
提案手法は,4つのCOPによる実験において,他の最先端EMTOと比較して競合性能を示す。
論文 参考訳(メタデータ) (2023-08-24T08:43:32Z) - Reinforcement Learning with Success Induced Task Prioritization [68.8204255655161]
本稿では,自動カリキュラム学習のためのフレームワークであるSuccess induced Task Prioritization (SITP)を紹介する。
アルゴリズムはエージェントに最速の学習を提供するタスクの順序を選択する。
我々は,SITPが他のカリキュラム設計手法と一致するか,あるいは上回っていることを実証する。
論文 参考訳(メタデータ) (2022-12-30T12:32:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。