論文の概要: Evolutionary Computation in the Era of Large Language Model: Survey and Roadmap

• arxiv url: http://arxiv.org/abs/2401.10034v2
• Date: Wed, 7 Feb 2024 07:37:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-08 19:10:12.547363
• Title: Evolutionary Computation in the Era of Large Language Model: Survey and Roadmap
• Title（参考訳）: 大規模言語モデル時代の進化的計算:調査とロードマップ
• Authors: Xingyu Wu, Sheng-hao Wu, Jibin Wu, Liang Feng, Kay Chen Tan
• Abstract要約: 大規模言語モデル (LLM) と進化的アルゴリズム (EA) の相互作用は、複雑な問題における適用可能性の共通の追求を共有している。 本稿では、相互インスピレーションを2つの主要な道に分類する、徹底的なレビューと前方のロードマップを提供する。 特定された課題と今後の方向性は、この革新的なコラボレーションの可能性を最大限に活用することを目指す研究者や実践者に対してガイダンスを提供する。
• 参考スコア（独自算出の注目度）: 28.923533887367533
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have not only revolutionized natural language processing but also extended their prowess to various domains, marking a significant stride towards artificial general intelligence. The interplay between LLMs and Evolutionary Algorithms (EAs), despite differing in objectives and methodologies, share a common pursuit of applicability in complex problems. Meanwhile, EA can provide an optimization framework for LLM's further enhancement under black-box settings, empowering LLM with flexible global search capacities. On the other hand, the abundant domain knowledge inherent in LLMs could enable EA to conduct more intelligent searches. Furthermore, the text processing and generative capabilities of LLMs would aid in deploying EAs across a wide range of tasks. Based on these complementary advantages, this paper provides a thorough review and a forward-looking roadmap, categorizing the reciprocal inspiration into two main avenues: LLM-enhanced EA and EA-enhanced LLM. Some integrated synergy methods are further introduced to exemplify the amalgamation of LLMs and EAs in diverse scenarios, including neural architecture search, code generation, software engineering, and various generation tasks. As the first comprehensive review focused on the EA research in the era of LLMs, this paper provides a foundational stepping stone for understanding the collaborative potential of LLMs and EAs. By meticulous categorization and critical analysis, we contribute to the ongoing discourse on the cross-disciplinary study of these two powerful paradigms. The identified challenges and future directions offer guidance for researchers and practitioners aiming to unlock the full potential of this innovative collaboration in propelling advancements in optimization and artificial intelligence.
• Abstract（参考訳）: 大規模言語モデル(LLM)は自然言語処理に革命をもたらしただけでなく、様々な領域にその力を拡大し、人工知能への大きな一歩を踏み出した。 LLMと進化的アルゴリズム(EA)の相互作用は、目的や方法論が異なるにも拘わらず、複雑な問題に適用可能性の共通の追求を共有している。 一方、EAは、ブラックボックス設定下でのLLMのさらなる拡張のための最適化フレームワークを提供し、柔軟性のあるグローバル検索能力を持つLLMに権限を与えることができる。 一方、LLMに固有の豊富なドメイン知識により、EAはよりインテリジェントな検索を行うことができる。 さらに、LLMのテキスト処理と生成能力は、幅広いタスクにまたがってEAをデプロイするのに役立ちます。 本稿では,これらの相補的優位性に基づいて,相互インスピレーションを LLM 強化 EA と EA 強化 LLM の2つの主要経路に分類する,徹底的なレビューと,先進的なロードマップを提供する。 ニューラルネットワーク探索、コード生成、ソフトウェアエンジニアリング、および様々な生成タスクなど、さまざまなシナリオにおけるLLMとEAの融合を実証するために、いくつかの統合されたシナジー手法が導入された。 LLM時代のEA研究に焦点をあてた最初の総合的なレビューとして、本論文はLLMとEAの協調可能性を理解するための基礎的な足場を提供する。 注意深い分類と批判的分析により,我々はこれら2つの強力なパラダイムの学際研究における現在進行中の談話に寄与する。 特定された課題と今後の方向性は、この革新的なコラボレーションの可能性を解き放ち、最適化と人工知能の進歩を促進することを目的とした研究者や実践者へのガイダンスを提供する。

関連論文リスト

• Deep Insights into Automated Optimization with Large Language Models and Evolutionary Algorithms [3.833708891059351]
  大きな言語モデル(LLM)と進化的アルゴリズム(EA)は、制限を克服し、最適化をより自動化するための有望な新しいアプローチを提供する。 LLMは最適化戦略の生成、洗練、解釈が可能な動的エージェントとして機能する。 EAは進化作用素を通して、複雑な解空間を効率的に探索する。
  論文  参考訳（メタデータ） (2024-10-28T09:04:49Z)
• Fine-tuning Multimodal Large Language Models for Product Bundling [53.01642741096356]
  Bundle-MLLMは,大規模言語モデル(LLM)をハイブリットアイテムトークン化アプローチにより微調整する新しいフレームワークである。 具体的には、テキスト、メディア、およびリレーショナルデータを統一トークン化に統合し、テキストトークンと非テキストトークンを区別するソフトな分離トークンを導入する。 1)バンドルパターンを学習し,2)製品バンドル固有のマルチモーダルセマンティック理解の強化を行う。
  論文  参考訳（メタデータ） (2024-07-16T13:30:14Z)
• A Reality check of the benefits of LLM in business [1.9181612035055007]
  大規模言語モデル(LLM)は、言語理解および生成タスクにおいて顕著なパフォーマンスを達成した。 ビジネスプロセスにおけるLCMの有用性と準備性について概説する。
  論文  参考訳（メタデータ） (2024-06-09T02:36:00Z)
• A + B: A General Generator-Reader Framework for Optimizing LLMs to Unleash Synergy Potential [20.1396255995056]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)に必要な知識を補う効果的なソリューションである。 LLM自体から生成する検索段階を置き換えるために、"generate-then-read"パイプラインが提案されている。 本稿では,基礎モデルと型の組み合わせの異なる一般的な「A + B」フレームワークを体系的な調査のために形式化する。
  論文  参考訳（メタデータ） (2024-06-06T11:14:27Z)
• Toward Self-Improvement of LLMs via Imagination, Searching, and Criticizing [56.75702900542643]
  大規模言語モデルの自己改善のためのAlphaLLMを紹介する。 モンテカルロ木探索(MCTS)とLLMを統合し、自己改善ループを確立する。 実験の結果,AlphaLLM は付加アノテーションを使わずに LLM の性能を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-04-18T15:21:34Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。 自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。 これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
  論文  参考訳（メタデータ） (2024-01-30T17:38:54Z)
• When large language models meet evolutionary algorithms [48.213640761641926]
  事前訓練された大規模言語モデル(LLM)は、創造的な自然言語を生成する強力な能力を持つ。 進化的アルゴリズム(EA)は、複雑な現実世界の問題に対する多様な解決策を発見できる。 テキスト生成と進化の共通する集合性と方向性に動機づけられた本論文では,LLMとEAの並列性について述べる。
  論文  参考訳（メタデータ） (2024-01-19T05:58:30Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• Connecting Large Language Models with Evolutionary Algorithms Yields Powerful Prompt Optimizers [70.18534453485849]
  EvoPromptは離散的なプロンプト最適化のためのフレームワークである。 進化的アルゴリズム(EA)の概念は、優れた性能と高速収束を示すものである。 人為的なプロンプトと既存の方法で自動プロンプト生成を著しく上回っている。
  論文  参考訳（メタデータ） (2023-09-15T16:50:09Z)
• Sight Beyond Text: Multi-Modal Training Enhances LLMs in Truthfulness and Ethics [32.123919380959485]
  MLLM(Multi-modal large language model)は、大規模言語モデル(LLM)に基づいて訓練される。 マルチモーダルなタスクでは優れているが、MLLMの純粋なNLP能力はしばしば過小評価され、テストされていない。 LLMをMLLMに移行するための一般的な戦略である視覚的インストラクションチューニングは、予期せぬ、興味深いことに、改善された真理性と倫理的整合性の両方を達成するのに役立ちます。
  論文  参考訳（メタデータ） (2023-09-13T17:57:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。