論文の概要: Evolutionary Computation in the Era of Large Language Model: Survey and
Roadmap
- arxiv url: http://arxiv.org/abs/2401.10034v1
- Date: Thu, 18 Jan 2024 14:58:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-19 16:09:53.525819
- Title: Evolutionary Computation in the Era of Large Language Model: Survey and
Roadmap
- Title(参考訳): 大規模言語モデル時代の進化的計算:調査とロードマップ
- Authors: Xingyu Wu, Sheng-hao Wu, Jibin Wu, Liang Feng, Kay Chen Tan
- Abstract要約: 大規模言語モデル(LLM)と進化的アルゴリズム(EA)の相互作用は、興味深い並列性を示している。
EAは、ブラックボックス設定下でのLLMのさらなる拡張のための最適化フレームワークを提供するだけでなく、アプリケーションにおける柔軟なグローバル検索と反復機構によってLLMに権限を与えることができる。
本稿では,LLM の進化的最適化と EA の LLM への相互インスピレーションを分類し,総合的なレビューと前向きなロードマップを示す。
- 参考スコア(独自算出の注目度): 28.923533887367533
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs), built upon Transformer-based architectures with
massive pretraining on diverse data, have not only revolutionized natural
language processing but also extended their prowess to various domains, marking
a significant stride towards artificial general intelligence. The interplay
between LLMs and Evolutionary Algorithms (EAs), despite differing in objectives
and methodologies, reveals intriguing parallels, especially in their shared
optimization nature, black-box characteristics, and proficiency in handling
complex problems. Meanwhile, EA can not only provide an optimization framework
for LLM's further enhancement under black-box settings but also empower LLM
with flexible global search and iterative mechanism in applications. On the
other hand, LLM's abundant domain knowledge enables EA to perform smarter
searches, while its text processing capability assist in deploying EA across
various tasks. Based on their complementary advantages, this paper presents a
comprehensive review and forward-looking roadmap, categorizing their mutual
inspiration into LLM-enhanced evolutionary optimization and EA-enhanced LLM.
Some integrated synergy methods are further introduced to exemplify the
amalgamation of LLMs and EAs in various application scenarios, including neural
architecture search, code generation, software engineering, and text
generation. As the first comprehensive review specifically focused on the EA
research in the era of LLMs, this paper provides a foundational stepping stone
for understanding and harnessing the collaborative potential of LLMs and EAs.
By presenting a comprehensive review, categorization, and critical analysis, we
contribute to the ongoing discourse on the cross-disciplinary study of these
two powerful paradigms. The identified challenges and future directions offer
guidance to unlock the full potential of this innovative collaboration.
- Abstract(参考訳): 大規模言語モデル(llm)は、多種多様なデータに大量の事前学習を持つトランスフォーマーベースのアーキテクチャを基盤として構築されており、自然言語処理に革命をもたらしただけでなく、様々な領域にその能力を拡大し、人工知能への大きな一歩を踏み出した。
LLMと進化的アルゴリズム(EA)の相互作用は、目的や方法論が異なるが、特に共通最適化特性、ブラックボックス特性、複雑な問題を扱う習熟度など、興味深い並列性を示している。
一方、EAは、ブラックボックス設定下でのLLMのさらなる拡張のための最適化フレームワークを提供するだけでなく、アプリケーションにおけるフレキシブルなグローバル検索と反復機構によってLLMに権限を与えることができる。
一方、LLMの豊富なドメイン知識により、EAはよりスマートな検索が可能となり、テキスト処理能力は様々なタスクにまたがってEAをデプロイするのに役立つ。
本稿では,LLMによる進化的最適化とEAによるLLMへの相互のインスピレーションを分類し,その相補的優位性に基づき,総合的なレビューと前向きなロードマップを示す。
神経アーキテクチャ探索、コード生成、ソフトウェア工学、テキスト生成など、様々なアプリケーションシナリオにおけるllmとeasの融合を例示するために、いくつかの統合的なシナジー法が導入された。
LLM時代のEA研究に特に焦点をあてた最初の総合的なレビューとして,本論文は,LLMとEAの協調的可能性を理解し,活用するための基礎的な足場を提供する。
包括的レビュー,分類,批判的分析を行い,これら2つの強力なパラダイムの学際研究の現在進行中の談話に寄与する。
特定された課題と今後の方向性は、この革新的なコラボレーションの可能性を解き放つためのガイダンスを提供する。
関連論文リスト
- Toward Self-Improvement of LLMs via Imagination, Searching, and Criticizing [56.75702900542643]
大規模言語モデルの自己改善のためのAlphaLLMを紹介する。
モンテカルロ木探索(MCTS)とLLMを統合し、自己改善ループを確立する。
実験の結果,AlphaLLM は付加アノテーションを使わずに LLM の性能を大幅に向上することがわかった。
論文 参考訳(メタデータ) (2024-04-18T15:21:34Z) - FAC$^2$E: Better Understanding Large Language Model Capabilities by
Dissociating Language and Cognition [57.747888532651]
大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。
FAC$2$E, FAC$2$Eについて述べる。
論文 参考訳(メタデータ) (2024-02-29T21:05:37Z) - Bridging Causal Discovery and Large Language Models: A Comprehensive
Survey of Integrative Approaches and Future Directions [10.226735765284852]
因果発見(CD)とLarge Language Models(LLM)は、人工知能に重要な意味を持つ2つの新しい研究分野を表す。
本稿では,CDタスクへのLPM(GPT4など)の統合に関する総合的な調査を行う。
論文 参考訳(メタデータ) (2024-02-16T20:48:53Z) - A match made in consistency heaven: when large language models meet
evolutionary algorithms [51.087936554483804]
事前訓練された大規模言語モデル(LLM)は、創造的な自然言語を生成する強力な能力を持つ。
進化的アルゴリズム(EA)は、複雑な現実世界の問題に対する多様な解決策を発見できる。
テキストシーケンスの生成と進化の共通の集合性と方向性に動機づけられた本論文は,LLMとEAの強い一貫性を示す。
論文 参考訳(メタデータ) (2024-01-19T05:58:30Z) - Large Language Models for Generative Information Extraction: A Survey [93.28676955662002]
情報抽出は、平易な自然言語テキストから構造的知識を抽出することを目的としている。
生成型大規模言語モデル(LLM)は、テキストの理解と生成において顕著な能力を示した。
LLMは生成パラダイムに基づいたIEタスクに対して実行可能なソリューションを提供する。
論文 参考訳(メタデータ) (2023-12-29T14:25:22Z) - Large Language Models as Evolutionary Optimizers [37.92671242584431]
本稿では,大言語モデル(LLM)を進化論として初めて研究する。
主な利点は、最小限のドメイン知識と人間の努力が必要であり、モデルに追加のトレーニングは必要ありません。
また,進化探索における自己適応機構の有効性についても検討した。
論文 参考訳(メタデータ) (2023-10-29T15:44:52Z) - Corex: Pushing the Boundaries of Complex Reasoning through Multi-Model Collaboration [83.4031923134958]
Corexは,大規模言語モデルを自律エージェントに変換する,新たな汎用戦略スイートだ。
人間の振る舞いにインスパイアされたCorexは、Debate、Review、Retrieveモードといった多様なコラボレーションパラダイムによって構成されている。
我々は,複数のLDMを協調的に演奏することで,既存の手法に比べて性能が著しく向上することが実証された。
論文 参考訳(メタデータ) (2023-09-30T07:11:39Z) - Sight Beyond Text: Multi-Modal Training Enhances LLMs in Truthfulness
and Ethics [32.123919380959485]
MLLM(Multi-modal large language model)は、大規模言語モデル(LLM)に基づいて訓練される。
マルチモーダルなタスクでは優れているが、MLLMの純粋なNLP能力はしばしば過小評価され、テストされていない。
LLMをMLLMに移行するための一般的な戦略である視覚的インストラクションチューニングは、予期せぬ、興味深いことに、改善された真理性と倫理的整合性の両方を達成するのに役立ちます。
論文 参考訳(メタデータ) (2023-09-13T17:57:21Z) - A Comprehensive Overview of Large Language Models [68.22178313875618]
大規模言語モデル(LLM)は、最近自然言語処理タスクにおいて顕著な機能を示した。
本稿では, LLM関連概念の幅広い範囲について, 既存の文献について概説する。
論文 参考訳(メタデータ) (2023-07-12T20:01:52Z) - PRISMA-DFLLM: An Extension of PRISMA for Systematic Literature Reviews
using Domain-specific Finetuned Large Language Models [0.0]
本稿では,Large Language Models(LLMs)のパワーと,PRISMA(Preferred Reporting Items for Systematic Reviews and Meta-Analyses)の厳密な報告ガイドラインを組み合わせたAI対応方法論フレームワークを提案する。
厳密なSLRプロセスの結果として選択されたドメイン固有の学術論文にLCMを微調整することにより、提案するPRISMA-DFLLMレポートガイドラインは、より効率、再利用性、拡張性を達成する可能性を秘めている。
論文 参考訳(メタデータ) (2023-06-15T02:52:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。