論文の概要: Algorithm Discovery With LLMs: Evolutionary Search Meets Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2504.05108v1
• Date: Mon, 07 Apr 2025 14:14:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-08 14:15:48.050645
• Title: Algorithm Discovery With LLMs: Evolutionary Search Meets Reinforcement Learning
• Title（参考訳）: LLMによるアルゴリズム発見 - 進化的検索と強化学習
• Authors: Anja Surina, Amin Mansouri, Lars Quaedvlieg, Amal Seddas, Maryna Viazovska, Emmanuel Abbe, Caglar Gulcehre,
• Abstract要約: 本稿では,強化学習(RL)ファインチューニングによる大規模言語モデル(LLM)の改良を提案する。 実験により,RLと進化探索を組み合わせることにより,改良アルゴリズムの効率が向上することが示された。
• 参考スコア（独自算出の注目度）: 12.037588566211348
• License:
• Abstract: Discovering efficient algorithms for solving complex problems has been an outstanding challenge in mathematics and computer science, requiring substantial human expertise over the years. Recent advancements in evolutionary search with large language models (LLMs) have shown promise in accelerating the discovery of algorithms across various domains, particularly in mathematics and optimization. However, existing approaches treat the LLM as a static generator, missing the opportunity to update the model with the signal obtained from evolutionary exploration. In this work, we propose to augment LLM-based evolutionary search by continuously refining the search operator - the LLM - through reinforcement learning (RL) fine-tuning. Our method leverages evolutionary search as an exploration strategy to discover improved algorithms, while RL optimizes the LLM policy based on these discoveries. Our experiments on three combinatorial optimization tasks - bin packing, traveling salesman, and the flatpack problem - show that combining RL and evolutionary search improves discovery efficiency of improved algorithms, showcasing the potential of RL-enhanced evolutionary strategies to assist computer scientists and mathematicians for more efficient algorithm design.
• Abstract（参考訳）: 複雑な問題を解決するための効率的なアルゴリズムを見つけることは、数学と計算機科学において際立った挑戦であり、長年にわたって人間の専門知識を必要としてきた。 大規模言語モデル (LLM) による進化的探索の最近の進歩は、特に数学や最適化において、様々な領域にわたるアルゴリズムの発見を加速させる可能性を示している。 しかし、既存のアプローチではLSMを静的なジェネレータとして扱い、進化的探索から得られた信号でモデルを更新する機会を欠いている。 本研究では,LLMに基づく進化的探索を,強化学習(RL)ファインチューニングにより連続的に探索演算子(LLM)を精製することにより拡張することを提案する。 提案手法は,改良アルゴリズムの探索戦略として進化探索を利用するが,RLはこれらの発見に基づいてLLMポリシーを最適化する。 RLと進化探索を組み合わせることで、アルゴリズムの発見効率が向上し、RLが強化した進化戦略の可能性を示し、計算機科学者や数学者がより効率的なアルゴリズム設計を支援できることを示した。

関連論文リスト

• EVOLvE: Evaluating and Optimizing LLMs For Exploration [76.66831821738927]
  大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。 多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。 最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T17:54:03Z)
• On the Design and Analysis of LLM-Based Algorithms [74.7126776018275]
  大規模言語モデル(LLM)はアルゴリズムのサブルーチンとして使用される。 LLMは素晴らしい経験的成功を収めた。 提案フレームワークは,LLMアルゴリズムの進歩を約束する。
  論文  参考訳（メタデータ） (2024-07-20T07:39:07Z)
• Evolutionary Large Language Model for Automated Feature Transformation [44.64296052383581]
  自動特徴変換のための進化的Large Language Model (LLM) フレームワークを提案する。 本フレームワークは,1)RLデータコレクタによるマルチポピュレーションデータベースの構築,2)大規模言語モデル(LLM)のシーケンス理解能力を活用した2つの部分から構成される。 提案手法の有効性と汎用性を実証的に示す。
  論文  参考訳（メタデータ） (2024-05-25T12:27:21Z)
• How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
  強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。 大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。 我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-25T20:07:13Z)
• Bridging Evolutionary Algorithms and Reinforcement Learning: A Comprehensive Survey on Hybrid Algorithms [50.91348344666895]
  進化的強化学習(ERL)は進化的アルゴリズム(EA)と強化学習(RL)を統合して最適化する。 本調査では,ERLの多様な研究分野について概観する。
  論文  参考訳（メタデータ） (2024-01-22T14:06:37Z)
• Algorithm Evolution Using Large Language Model [18.03090066194074]
  大規模言語モデル(AEL)を用いた進化的アルゴリズムを提案する。 AELはモデルトレーニングなしでアルゴリズムレベルの進化を行う。 人間の努力とドメイン知識の要求は大幅に削減できる。
  論文  参考訳（メタデータ） (2023-11-26T09:38:44Z)
• Large Language Models as Evolutionary Optimizers [37.92671242584431]
  本稿では,大言語モデル(LLM)を進化論として初めて研究する。 主な利点は、最小限のドメイン知識と人間の努力が必要であり、モデルに追加のトレーニングは必要ありません。 また,進化探索における自己適応機構の有効性についても検討した。
  論文  参考訳（メタデータ） (2023-10-29T15:44:52Z)
• Reinforcement Learning-assisted Evolutionary Algorithm: A Survey and Research Opportunities [63.258517066104446]
  進化的アルゴリズムの構成要素として統合された強化学習は,近年,優れた性能を示している。 本稿では,RL-EA 統合手法,RL-EA が採用する RL-EA 支援戦略,および既存文献による適用について論じる。 RL-EAセクションの適用例では、RL-EAのいくつかのベンチマークおよび様々な公開データセットにおける優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-25T15:06:05Z)
• Evolving Reinforcement Learning Algorithms [186.62294652057062]
  メタラーニング強化学習アルゴリズムの手法を提案する。 学習アルゴリズムはドメインに依存しないため、トレーニング中に見えない新しい環境に一般化することができる。 従来の制御タスク、gridworld型タスク、atariゲームよりも優れた一般化性能を得る2つの学習アルゴリズムに注目した。
  論文  参考訳（メタデータ） (2021-01-08T18:55:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。