論文の概要: Evolutionary Large Language Model for Automated Feature Transformation
- arxiv url: http://arxiv.org/abs/2405.16203v1
- Date: Sat, 25 May 2024 12:27:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-29 00:31:06.119617
- Title: Evolutionary Large Language Model for Automated Feature Transformation
- Title（参考訳）: 自動特徴変換のための進化的大規模言語モデル
- Authors: Nanxu Gong, Chandan K. Reddy, Wangyang Ying, Yanjie Fu,
- Abstract要約: 自動特徴変換のための進化的Large Language Model (LLM) フレームワークを提案する。
本フレームワークは,1)RLデータコレクタによるマルチポピュレーションデータベースの構築,2)大規模言語モデル(LLM)のシーケンス理解能力を活用した2つの部分から構成される。
提案手法の有効性と汎用性を実証的に示す。
- 参考スコア（独自算出の注目度）: 25.956740176321897
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Feature transformation aims to reconstruct the feature space of raw features to enhance the performance of downstream models. However, the exponential growth in the combinations of features and operations poses a challenge, making it difficult for existing methods to efficiently explore a wide space. Additionally, their optimization is solely driven by the accuracy of downstream models in specific domains, neglecting the acquisition of general feature knowledge. To fill this research gap, we propose an evolutionary LLM framework for automated feature transformation. This framework consists of two parts: 1) constructing a multi-population database through an RL data collector while utilizing evolutionary algorithm strategies for database maintenance, and 2) utilizing the ability of Large Language Model (LLM) in sequence understanding, we employ few-shot prompts to guide LLM in generating superior samples based on feature transformation sequence distinction. Leveraging the multi-population database initially provides a wide search scope to discover excellent populations. Through culling and evolution, the high-quality populations are afforded greater opportunities, thereby furthering the pursuit of optimal individuals. Through the integration of LLMs with evolutionary algorithms, we achieve efficient exploration within a vast space, while harnessing feature knowledge to propel optimization, thus realizing a more adaptable search paradigm. Finally, we empirically demonstrate the effectiveness and generality of our proposed method.
- Abstract（参考訳）: 特徴変換は、下流モデルの性能を高めるために、生の機能空間を再構築することを目的としている。
しかし、特徴と操作の組み合わせの指数関数的な成長は課題となり、既存の手法が広い空間を効率的に探索することが困難になる。
さらに、それらの最適化は特定の領域における下流モデルの精度によってのみ駆動され、一般的な特徴知識の獲得は無視される。
本研究のギャップを埋めるために,自動特徴変換のための進化的LLMフレームワークを提案する。
この枠組みは2つの部分から構成される。
1) データベース保守のための進化的アルゴリズム戦略を活用したRLデータコレクタによる多人数データベースの構築、及び
2) 配列理解におけるLarge Language Model (LLM) の能力を生かして, 特徴変換配列の区別に基づく優れたサンプルを生成する際に, LLM を誘導するために, 数発のプロンプトを用いる。
マルチポピュレーションデータベースを活用することで、当初は優れた人口を見つけるための広い検索範囲を提供する。
耕作と進化を通じて、高品質な個体群はより大きな機会を得ることができ、それによって最適な個体の追求が促進される。
LLMと進化的アルゴリズムの統合により、我々は広い空間での効率的な探索を実現するとともに、特徴知識を利用して最適化を推進し、より適応性の高い探索パラダイムを実現する。
最後に,提案手法の有効性と汎用性を実証的に示す。
関連論文リスト
- Heuristically Adaptive Diffusion-Model Evolutionary Strategy [1.8299322342860518]
拡散モデル(Diffusion Models)は、生成モデルにおいて重要な進歩を示す。
本研究は,拡散モデルと進化的アルゴリズムの基本的な関係を明らかにする。
我々のフレームワークは、進化的最適化プロセスにおいて、柔軟性、精度、制御性を高めたアルゴリズム上の大きな遷移を示す。
論文 参考訳（メタデータ） (2024-11-20T16:06:28Z) - Deep Insights into Automated Optimization with Large Language Models and Evolutionary Algorithms [3.833708891059351]
大きな言語モデル(LLM)と進化的アルゴリズム(EA)は、制限を克服し、最適化をより自動化するための有望な新しいアプローチを提供する。
LLMは最適化戦略の生成、洗練、解釈が可能な動的エージェントとして機能する。
EAは進化作用素を通して、複雑な解空間を効率的に探索する。
論文 参考訳（メタデータ） (2024-10-28T09:04:49Z) - Large Language Models as Surrogate Models in Evolutionary Algorithms: A Preliminary Study [5.6787965501364335]
サロゲートアシスト選択は、高価な最適化問題を解決する進化アルゴリズムの中核的なステップである。
伝統的に、これは従来の機械学習手法に依存しており、過去の評価を利用して新しいソリューションの性能を予測する。
本研究では,LLM推論機能に基づいた新しいサロゲートモデルを提案する。
論文 参考訳（メタデータ） (2024-06-15T15:54:00Z) - Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。
我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。
実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
論文 参考訳（メタデータ） (2024-06-12T16:58:41Z) - Self-Exploring Language Models: Active Preference Elicitation for Online Alignment [88.56809269990625]
本研究では, 分布域外領域を積極的に探索するために, 潜在的に高次応答に対して楽観的に偏りを呈する2段階的客観性を提案する。
実験の結果,Zephyr-7B-SFTとLlama-3-8B-Instructモデルで微調整した場合,SELM(Self-Exploring Language Models)は命令追従ベンチマークの性能を大幅に向上させることがわかった。
論文 参考訳（メタデータ） (2024-05-29T17:59:07Z) - Large Language Model-Aided Evolutionary Search for Constrained Multiobjective Optimization [15.476478159958416]
我々は,制約付き多目的最適化問題に対する進化探索を強化するために,大規模言語モデル(LLM)を用いる。
私たちの目標は、進化の集団の収束を早めることです。
論文 参考訳（メタデータ） (2024-05-09T13:44:04Z) - Unleashing the Potential of Large Language Models as Prompt Optimizers: An Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。
モデルパラメータ学習における2つの重要な要素を同定する。
特に、勾配に基づく最適化から理論的な枠組みや学習手法を借用し、改良された戦略を設計する。
論文 参考訳（メタデータ） (2024-02-27T15:05:32Z) - How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。
大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。
我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
論文 参考訳（メタデータ） (2024-02-25T20:07:13Z) - Revisiting Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning: A Benchmark [166.40879020706151]
本稿では、微調整時のメモリコスト低減のためのソリューションとして、BPフリーゼロオーダー最適化(ZO)への移行を提案する。
従来のZO-SGD法とは異なり、我々の研究はより広い範囲のZO最適化手法に探索を広げる。
本研究は,タスクアライメントの重要性,前方勾配法の役割,アルゴリズムの複雑さと微調整性能のバランスについて,これまで見過ごされてきた最適化原理を明らかにした。
論文 参考訳（メタデータ） (2024-02-18T14:08:48Z) - Large Language Models as Evolutionary Optimizers [37.92671242584431]
本稿では,大言語モデル(LLM)を進化論として初めて研究する。
主な利点は、最小限のドメイン知識と人間の努力が必要であり、モデルに追加のトレーニングは必要ありません。
また,進化探索における自己適応機構の有効性についても検討した。
論文 参考訳（メタデータ） (2023-10-29T15:44:52Z) - Connecting Large Language Models with Evolutionary Algorithms Yields
Powerful Prompt Optimizers [70.18534453485849]
EvoPromptは離散的なプロンプト最適化のためのフレームワークである。
進化的アルゴリズム(EA)の概念は、優れた性能と高速収束を示すものである。
人為的なプロンプトと既存の方法で自動プロンプト生成を著しく上回っている。
論文 参考訳（メタデータ） (2023-09-15T16:50:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。