論文の概要: An LLM-Empowered Adaptive Evolutionary Algorithm For Multi-Component Deep Learning Systems

• arxiv url: http://arxiv.org/abs/2501.00829v1
• Date: Wed, 01 Jan 2025 13:19:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-05 17:17:29.691442
• Title: An LLM-Empowered Adaptive Evolutionary Algorithm For Multi-Component Deep Learning Systems
• Title（参考訳）: 多成分ディープラーニングシステムのためのLLMを利用した適応進化アルゴリズム
• Authors: Haoxiang Tian, Xingshuo Han, Guoquan Wu, An Guo, Yuan Zhou. Jie Zhang, Shuo Li, Jun Wei, Tianwei Zhang,
• Abstract要約: 多目的進化アルゴリズム(MOEA)は、複雑な多成分アプリケーションにおいて最適な解を求めるために広く用いられている。 本稿では,MCDLシステムにおける安全性違反を検出する適応的進化探索アルゴリズムである$mu$MOEAを提案する。 実験の結果,$mu$MOEAは進化探索の効率と多様性を著しく向上させることができることがわかった。
• 参考スコア（独自算出の注目度）: 17.78934802009711
• License:
• Abstract: Multi-objective evolutionary algorithms (MOEAs) are widely used for searching optimal solutions in complex multi-component applications. Traditional MOEAs for multi-component deep learning (MCDL) systems face challenges in enhancing the search efficiency while maintaining the diversity. To combat these, this paper proposes $\mu$MOEA, the first LLM-empowered adaptive evolutionary search algorithm to detect safety violations in MCDL systems. Inspired by the context-understanding ability of Large Language Models (LLMs), $\mu$MOEA promotes the LLM to comprehend the optimization problem and generate an initial population tailed to evolutionary objectives. Subsequently, it employs adaptive selection and variation to iteratively produce offspring, balancing the evolutionary efficiency and diversity. During the evolutionary process, to navigate away from the local optima, $\mu$MOEA integrates the evolutionary experience back into the LLM. This utilization harnesses the LLM's quantitative reasoning prowess to generate differential seeds, breaking away from current optimal solutions. We evaluate $\mu$MOEA in finding safety violations of MCDL systems, and compare its performance with state-of-the-art MOEA methods. Experimental results show that $\mu$MOEA can significantly improve the efficiency and diversity of the evolutionary search.
• Abstract（参考訳）: 多目的進化アルゴリズム(MOEA)は、複雑な多成分アプリケーションにおいて最適な解を求めるために広く用いられている。 マルチコンポーネントディープラーニング(MCDL)システムにおける従来のMOEAは,多様性を維持しつつ探索効率を向上させる上で課題に直面している。 そこで本研究では, MCDLシステムにおける安全性違反を検出するための, LLMを用いた適応的進化探索アルゴリズムである$\mu$MOEAを提案する。 LLM(Large Language Models)の文脈理解能力に触発されて、$\mu$MOEA は LLM を推進し、最適化問題を理解し、進化の目的に合わせた初期人口を生成する。 その後、適応的な選択と、反復的に子孫を生産し、進化効率と多様性のバランスをとる。 進化過程の間、局所最適化から逃れるために、$\mu$MOEA は進化経験を LLM に統合する。 この利用法は、LLMの定量的推論技術を利用して、現在の最適解から分離した微分シードを生成する。 我々は,MCDLシステムの安全性違反の発見に$\mu$MOEAを評価し,その性能を最先端のMOEA法と比較した。 実験の結果,$\mu$MOEAは進化探索の効率と多様性を著しく向上させることができることがわかった。

関連論文リスト

• Deep Insights into Automated Optimization with Large Language Models and Evolutionary Algorithms [3.833708891059351]
  大きな言語モデル(LLM)と進化的アルゴリズム(EA)は、制限を克服し、最適化をより自動化するための有望な新しいアプローチを提供する。 LLMは最適化戦略の生成、洗練、解釈が可能な動的エージェントとして機能する。 EAは進化作用素を通して、複雑な解空間を効率的に探索する。
  論文  参考訳（メタデータ） (2024-10-28T09:04:49Z)
• On-the-fly Modulation for Balanced Multimodal Learning [53.616094855778954]
  マルチモーダル学習は、異なるモーダルからの情報を統合することでモデル性能を向上させることが期待されている。 広く使われている共同トレーニング戦略は、不均衡で最適化されていないユニモーダル表現につながる。 そこで本研究では,OGM(On-the-fly Prediction Modulation)とOGM(On-the-fly Gradient Modulation)の戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-15T13:15:50Z)
• EVOLvE: Evaluating and Optimizing LLMs For Exploration [76.66831821738927]
  大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。 多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。 最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T17:54:03Z)
• Large Language Model-Aided Evolutionary Search for Constrained Multiobjective Optimization [15.476478159958416]
  我々は,制約付き多目的最適化問題に対する進化探索を強化するために,大規模言語モデル(LLM)を用いる。 私たちの目標は、進化の集団の収束を早めることです。
  論文  参考訳（メタデータ） (2024-05-09T13:44:04Z)
• RLEMMO: Evolutionary Multimodal Optimization Assisted By Deep Reinforcement Learning [8.389454219309837]
  マルチモーダル最適化問題 (MMOP) は, 限られた関数評価において困難となる最適解の探索を必要とする。 本稿では,メタブラックボックス最適化フレームワークであるRLEMMOを提案する。 品質と多様性の両方を促進する新しい報酬メカニズムにより、RLEMMOはポリシー勾配アルゴリズムを用いて効果的に訓練できる。
  論文  参考訳（メタデータ） (2024-04-12T05:02:49Z)
• Unleashing the Potential of Large Language Models as Prompt Optimizers: An Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
  本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。 モデルパラメータ学習における2つの重要な要素を同定する。 特に、勾配に基づく最適化から理論的な枠組みや学習手法を借用し、改良された戦略を設計する。
  論文  参考訳（メタデータ） (2024-02-27T15:05:32Z)
• Large Language Models as Evolutionary Optimizers [37.92671242584431]
  本稿では,大言語モデル(LLM)を進化論として初めて研究する。 主な利点は、最小限のドメイン知識と人間の努力が必要であり、モデルに追加のトレーニングは必要ありません。 また,進化探索における自己適応機構の有効性についても検討した。
  論文  参考訳（メタデータ） (2023-10-29T15:44:52Z)
• A Survey on Learnable Evolutionary Algorithms for Scalable Multiobjective Optimization [0.0]
  多目的進化アルゴリズム(MOEA)は、様々な多目的最適化問題(MOP)を解決するために採用されている。 しかし、これらの進歩的に改善されたMOEAは、必ずしも高度にスケーラブルで学習可能な問題解決戦略を備えていない。 異なるシナリオの下では、効果的に解決するための新しい強力なMOEAを設計する必要がある。 MOPをスケールアップするための機械学習技術で自身を操る学習可能なMOEAの研究は、進化計算の分野で広く注目を集めている。
  論文  参考訳（メタデータ） (2022-06-23T08:16:01Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)
• Meta-Learning with Neural Tangent Kernels [58.06951624702086]
  メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。 このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。 本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
  論文  参考訳（メタデータ） (2021-02-07T20:53:23Z)
• EOS: a Parallel, Self-Adaptive, Multi-Population Evolutionary Algorithm for Constrained Global Optimization [68.8204255655161]
  EOSは実数値変数の制約付きおよび制約なし問題に対する大域的最適化アルゴリズムである。 これはよく知られた微分進化(DE)アルゴリズムに多くの改良を加えている。 その結果、EOSisは、最先端の単一人口自己適応Dアルゴリズムと比較して高い性能を達成可能であることが証明された。
  論文  参考訳（メタデータ） (2020-07-09T10:19:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。