論文の概要: ELPO: Ensemble Learning Based Prompt Optimization for Large Language Models
- arxiv url: http://arxiv.org/abs/2511.16122v1
- Date: Thu, 20 Nov 2025 07:27:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-21 17:08:52.517539
- Title: ELPO: Ensemble Learning Based Prompt Optimization for Large Language Models
- Title（参考訳）: ELPO:大規模言語モデルのためのアンサンブル学習に基づくプロンプト最適化
- Authors: Qing Zhang, Bing Xu, Xudong Zhang, Yifan Shi, Yang Li, Chen Zhang, Yik Chung Wu, Ngai Wong, Yijie Chen, Hong Dai, Xiansen Chen, Mian Zhang,
- Abstract要約: 本稿では,より正確で堅牢な結果を得るために,ELPO(Ensemble Learning Based Prompt Optimization)と呼ばれる新しいフレームワークを提案する。
ELPOは、アンサンブル学習の概念に触発され、投票機構を実行し、共有生成戦略を導入する。
ELPOは、迅速な生成と探索プロセスのためのより効率的なアルゴリズムを創造的に提示する。
- 参考スコア（独自算出の注目度）: 39.71820341519503
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The remarkable performance of Large Language Models (LLMs) highly relies on crafted prompts. However, manual prompt engineering is a laborious process, creating a core bottleneck for practical application of LLMs. This phenomenon has led to the emergence of a new research area known as Automatic Prompt Optimization (APO), which develops rapidly in recent years. Existing APO methods such as those based on evolutionary algorithms or trial-and-error approaches realize an efficient and accurate prompt optimization to some extent. However, those researches focus on a single model or algorithm for the generation strategy and optimization process, which limits their performance when handling complex tasks. To address this, we propose a novel framework called Ensemble Learning based Prompt Optimization (ELPO) to achieve more accurate and robust results. Motivated by the idea of ensemble learning, ELPO conducts voting mechanism and introduces shared generation strategies along with different search methods for searching superior prompts. Moreover, ELPO creatively presents more efficient algorithms for the prompt generation and search process. Experimental results demonstrate that ELPO outperforms state-of-the-art prompt optimization methods across different tasks, e.g., improving F1 score by 7.6 on ArSarcasm dataset.
- Abstract（参考訳）: LLM(Large Language Models)の顕著なパフォーマンスは、工芸的なプロンプトに大きく依存している。
しかし、手動プロンプトエンジニアリングは面倒なプロセスであり、LLMの実用化に欠かせないボトルネックを生み出している。
この現象は、近年急速に発展している自動プロンプト最適化(APO)と呼ばれる新しい研究領域の出現につながっている。
進化的アルゴリズムや試行錯誤アプローチに基づく既存のAPO手法は、ある程度効率よく正確な迅速な最適化を実現する。
しかし、これらの研究は、複雑なタスクを扱う際の性能を制限する、生成戦略と最適化プロセスのための単一のモデルまたはアルゴリズムに焦点を当てている。
そこで本研究では,より正確で堅牢な結果を得るために,ELPO(Ensemble Learning Based Prompt Optimization)と呼ばれる新しいフレームワークを提案する。
ELPOは、アンサンブル学習の概念に感銘を受け、投票機構を導入し、優れたプロンプトを探索するための異なる探索手法とともに共有生成戦略を導入する。
さらに、ELPOは、迅速な生成および探索プロセスのためのより効率的なアルゴリズムを創造的に提示する。
実験の結果、ELPOはArSarcasmデータセットのF1スコアを7.6向上させるなど、さまざまなタスクにわたる最先端のプロンプト最適化手法よりも優れていることが示された。
関連論文リスト
- Beyond Algorithm Evolution: An LLM-Driven Framework for the Co-Evolution of Swarm Intelligence Optimization Algorithms and Prompts [2.7320188728052064]
本稿では,Swarmインテリジェンスアルゴリズムと誘導プロンプトの協調進化のための新しいフレームワークを提案する。
このフレームワークはNP問題に対して厳格に評価され、優れた性能を示した。
我々の研究は群知能最適化アルゴリズムの新しいパラダイムを確立し、即時進化の必然的な役割を浮き彫りにする。
論文 参考訳（メタデータ） (2025-12-10T00:37:16Z) - Grammar-Guided Evolutionary Search for Discrete Prompt Optimisation [63.97051732013936]
本稿では,2段階からなる離散的な自動最適化に対する進化的探索手法を提案する。
第1段階では、文法誘導型遺伝的プログラミングが実行され、プロンプト生成プログラムを合成する。
第2段階では、局所探索を用いて、最高のパフォーマンスプログラムの周辺を探索する。
論文 参考訳（メタデータ） (2025-07-14T14:34:15Z) - Evolving Prompts In-Context: An Open-ended, Self-replicating Perspective [65.12150411762273]
ランダムなデモを不整合な "gibberish" にプルーニングすることで,多様なタスクにおけるパフォーマンスが著しく向上することを示す。
本稿では,低データレジームのみを用いてプルーニング戦略を自動的に検索する自己発見プロンプト最適化フレームワークPromptQuineを提案する。
論文 参考訳（メタデータ） (2025-06-22T07:53:07Z) - GAAPO: Genetic Algorithmic Applied to Prompt Optimization [0.0]
大規模言語モデル(LLM)は様々なタスクにまたがって顕著な能力を示しており、その性能は入力プロンプトの品質に大きく依存している。
迅速なエンジニアリングは有効であると証明されているが、通常は手動による調整に依存しており、時間を要するため、潜在的に最適ではない。
本稿では,代々のプロンプトを進化させるために遺伝的原理を活用するハイブリッド最適化フレームワークであるPrompt Optimizationに応用したジェネティックアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-04-09T11:19:42Z) - A Survey of Automatic Prompt Optimization with Instruction-focused Heuristic-based Search Algorithm [13.332569343755075]
大規模言語モデルは、様々な自然言語処理タスクにおいて顕著な成果をもたらしています。
手動の手法は効果的であるが、通常は直感に頼り、時間とともに自動的にプロンプトを洗練しない。
検索アルゴリズムを用いた自動プロンプト最適化は、人間の監視を最小限に抑えて、システマティックにプロンプトを探索し改善することができる。
論文 参考訳（メタデータ） (2025-02-26T01:42:08Z) - QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。
我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。
様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
論文 参考訳（メタデータ） (2024-08-20T03:06:48Z) - Teach Better or Show Smarter? On Instructions and Exemplars in Automatic Prompt Optimization [15.967049403803749]
本稿では,多様な課題に対して,代表的IO技術とEO技術の性能を総合的に比較する。
モデル生成した入出力ペアをインテリジェントに再利用することで、IOメソッド上での性能が一貫して向上することがわかった。
また,EOとIOの相乗効果も観察し,各コントリビューションを超越した最適な組み合わせを示した。
論文 参考訳（メタデータ） (2024-06-22T02:07:10Z) - Unleashing the Potential of Large Language Models as Prompt Optimizers: Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。
モデルパラメータ学習における2つの重要な要素を同定する。
グラディエントにインスパイアされた Prompt ベースの GPO を開発した。
論文 参考訳（メタデータ） (2024-02-27T15:05:32Z) - SEE: Strategic Exploration and Exploitation for Cohesive In-Context Prompt Optimization [8.975505323004427]
大規模言語モデル(LLM)のための新しい結合型インコンテキストプロンプト最適化フレームワークを提案する。
SEEは、メタヒューリスティック最適化の原則を採用し、戦略的に探索と活用を行うスケーラブルで効率的なプロンプト最適化フレームワークである。
SEEは最先端のベースライン法を大幅に上回り、平均性能は13.94、計算コストは58.67である。
論文 参考訳（メタデータ） (2024-02-17T17:47:10Z) - EvoPrompt: Connecting LLMs with Evolutionary Algorithms Yields Powerful Prompt Optimizers [67.64162164254809]
EvoPromptは離散的なプロンプト最適化のためのフレームワークである。
進化的アルゴリズム(EA)の概念は、優れた性能と高速収束を示すものである。
人為的なプロンプトと既存の方法で自動プロンプト生成を著しく上回っている。
論文 参考訳（メタデータ） (2023-09-15T16:50:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。