論文の概要: LLM Guided Evolution - The Automation of Models Advancing Models

• arxiv url: http://arxiv.org/abs/2403.11446v1
• Date: Mon, 18 Mar 2024 03:44:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-19 16:47:44.208069
• Title: LLM Guided Evolution - The Automation of Models Advancing Models
• Title（参考訳）: LLM Guided Evolution - モデル改善モデルの自動化
• Authors: Clint Morris, Michael Jurado, Jason Zutty,
• Abstract要約: ガイドド・エボリューション(GE)は、従来の機械学習アプローチから切り離された斬新なフレームワークである。 思想の進化(EoT)は、従来の突然変異の結果からLLMを反映して学習させることでGEを強化する。 ExquisiteNetV2モデルの進化におけるGEの適用は,その有効性を示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the realm of machine learning, traditional model development and automated approaches like AutoML typically rely on layers of abstraction, such as tree-based or Cartesian genetic programming. Our study introduces "Guided Evolution" (GE), a novel framework that diverges from these methods by utilizing Large Language Models (LLMs) to directly modify code. GE leverages LLMs for a more intelligent, supervised evolutionary process, guiding mutations and crossovers. Our unique "Evolution of Thought" (EoT) technique further enhances GE by enabling LLMs to reflect on and learn from the outcomes of previous mutations. This results in a self-sustaining feedback loop that augments decision-making in model evolution. GE maintains genetic diversity, crucial for evolutionary algorithms, by leveraging LLMs' capability to generate diverse responses from expertly crafted prompts and modulate model temperature. This not only accelerates the evolution process but also injects expert like creativity and insight into the process. Our application of GE in evolving the ExquisiteNetV2 model demonstrates its efficacy: the LLM-driven GE autonomously produced variants with improved accuracy, increasing from 92.52% to 93.34%, without compromising model compactness. This underscores the potential of LLMs to accelerate the traditional model design pipeline, enabling models to autonomously evolve and enhance their own designs.
• Abstract（参考訳）: 機械学習の分野では、従来のモデル開発とAutoMLのような自動化アプローチは、一般的にツリーベースやCartesianの遺伝的プログラミングのような抽象レイヤに依存している。 本研究は,大規模言語モデル(LLM)を用いて直接コードを修正することによって,これらの手法から分岐する新しいフレームワークである"Guided Evolution"(GE)を紹介する。 GEはLSMをよりインテリジェントで制御された進化過程に利用し、突然変異や交叉を誘導する。 我々の独自のEvolution of Thought(EoT)技術は、LLMが以前の突然変異の結果を反映し、学習できるようにすることで、GEをさらに強化します。 この結果、自己持続的なフィードバックループがモデル進化における意思決定を強化します。 GEは、LLMの能力を活用して、熟練したプロンプトから多様な応答を生成し、モデル温度を調節することで、進化アルゴリズムに不可欠な遺伝的多様性を維持している。 これは進化過程を加速させるだけでなく、創造性やプロセスに対する洞察のような専門家を注入する。 LLM駆動のGEは、モデルコンパクト性を損なうことなく、92.52%から93.34%の精度で自動生成された変種である。 このことは、LLMが従来のモデル設計パイプラインを加速し、モデルが自律的に進化し、自身の設計を拡張できる可能性を強調している。

関連論文リスト

• Long Term Memory: The Foundation of AI Self-Evolution [48.52678410533424]
  GPTのような大規模な言語モデル(LLM)は、膨大なデータセットに基づいてトレーニングされており、言語理解、推論、計画において印象的な能力を示している。 ほとんどの研究は、より強力な基盤モデルを構築するために、より大規模なデータセットをトレーニングすることで、これらのモデルを強化することに重点を置いている。 大規模なトレーニングとは異なり、推論中にモデルを進化させることは、AIの自己進化(self-evolution)と呼ばれるプロセスと同等に重要である。
  論文  参考訳（メタデータ） (2024-10-21T06:09:30Z)
• On the Modeling Capabilities of Large Language Models for Sequential Decision Making [52.128546842746246]
  大規模な事前訓練されたモデルでは、推論や計画タスクのパフォーマンスがますます向上している。 我々は、直接的または間接的に、意思決定ポリシーを作成する能力を評価する。 未知の力学を持つ環境において、合成データを用いた微調整LDMが報酬モデリング能力を大幅に向上させる方法について検討する。
  論文  参考訳（メタデータ） (2024-10-08T03:12:57Z)
• A Survey on Self-Evolution of Large Language Models [116.54238664264928]
  大規模言語モデル(LLM)は、様々な分野やインテリジェントエージェントアプリケーションにおいて大きく進歩している。 この問題に対処するために、LLMが自律的に獲得し、洗練し、モデル自身によって生成された経験から学ぶことができる自己進化的アプローチが急速に成長している。
  論文  参考訳（メタデータ） (2024-04-22T17:43:23Z)
• Trackable Agent-based Evolution Models at Wafer Scale [0.0]
  我々は,85万プロセッサCerebras Wafer Scale Engine(WSE)のエージェントベース進化から系統情報を抽出する問題に焦点をあてる。 We present a asynchronous island-based genetic algorithm (GA) framework for WSE hardware。 本研究は,これらの治験の系統的再構成を検証し,根底にある進化状態の推測に適合することを示す。
  論文  参考訳（メタデータ） (2024-04-16T19:24:14Z)
• Evolutionary Optimization of Model Merging Recipes [21.41838972039297]
  本稿では、強力な基礎モデルの作成を自動化するための進化的アルゴリズムの新たな応用について述べる。 本稿では,様々なオープンソースモデルの効果的な組み合わせを自動的に発見することで,制限を克服する進化的アプローチを提案する。 この研究は、新しい最先端のモデルをオープンソースコミュニティに提供し、また、自動化されたモデル構成のための新しいパラダイムも導入している。
  論文  参考訳（メタデータ） (2024-03-19T22:56:53Z)
• When large language models meet evolutionary algorithms [48.213640761641926]
  事前訓練された大規模言語モデル(LLM)は、創造的な自然言語を生成する強力な能力を持つ。 進化的アルゴリズム(EA)は、複雑な現実世界の問題に対する多様な解決策を発見できる。 テキスト生成と進化の共通する集合性と方向性に動機づけられた本論文では,LLMとEAの並列性について述べる。
  論文  参考訳（メタデータ） (2024-01-19T05:58:30Z)
• SELF: Self-Evolution with Language Feedback [68.6673019284853]
  SELF(Self-Evolution with Language Feedback)は、大規模言語モデルを進化させる新しいアプローチである。 LLMは、人間の学習プロセスと同様、自己回帰を通じて自己改善を可能にする。 数学および一般タスクにおける実験により,SELFは人間の介入なしにLLMの能力を高めることができることが示された。
  論文  参考訳（メタデータ） (2023-10-01T00:52:24Z)
• GEM: Group Enhanced Model for Learning Dynamical Control Systems [78.56159072162103]
  サンプルベースの学習が可能な効果的なダイナミクスモデルを構築します。 リー代数ベクトル空間上のダイナミクスの学習は、直接状態遷移モデルを学ぶよりも効果的であることを示す。 この研究は、ダイナミクスの学習とリー群の性質の関連性を明らかにし、新たな研究の方向への扉を開く。
  論文  参考訳（メタデータ） (2021-04-07T01:08:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。