論文の概要: Parameter-Efficient Neuroevolution for Diverse LLM Generation: Quality-Diversity Optimization via Prompt Embedding Evolution

• arxiv url: http://arxiv.org/abs/2605.09781v1
• Date: Sun, 10 May 2026 22:00:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.418907
• Title: Parameter-Efficient Neuroevolution for Diverse LLM Generation: Quality-Diversity Optimization via Prompt Embedding Evolution
• Title（参考訳）: 横型LDM生成のためのパラメータ効率の良い神経進化:プロンプト埋め込み進化による品質・多様性最適化
• Authors: Dongxin Guo, Jikun Wu, Siu Ming Yiu,
• Abstract要約: 大規模言語モデルはモード崩壊を示し、有効解空間の探索に失敗する均一な出力を生成する。 本稿では,素早い埋め込みを進化させるパラメータ効率のよい神経進化の枠組みであるQD-LLMを提案する。 HumanEval (164問題)では、QD-LLMはQDAIFよりも46.4%、QD-Scoreは41.4%高い。
• 参考スコア（独自算出の注目度）: 13.891522069967507
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models exhibit mode collapse, producing homogeneous outputs that fail to explore valid solution spaces. We present QD-LLM, a framework for parameter-efficient neuroevolution that evolves prompt embeddings, compact neural interfaces (~32K parameters) that steer generation in frozen LLMs (70B+ parameters), within a Quality-Diversity (QD) optimization framework. Our contributions: (1) evolved prompt embeddings via gradient-free optimization enabling behavioral steering without model fine-tuning; (2) hybrid behavior characterization combining semantic and explicit features with formal coverage bounds (Theorem 1) under validated near-independence (NMI $= 0.08 \pm 0.02$); (3) co-evolutionary variation operators including targeted behavioral mutation via finite-difference gradient estimation. On HumanEval (164 problems), MBPP, and creative writing benchmarks, QD-LLM achieves 46.4% higher coverage and 41.4% higher QD-Score than QDAIF ($p<0.001$, 30 runs, Vargha-Delaney $A=0.94$). We demonstrate downstream utility: diverse archives improve test generation (34% more edge cases) and fine-tuning data quality (8.3% accuracy gain). We validate across open-source LLMs (Llama-3-70B, Mistral-Large) with full embedding access, establishing prompt embedding evolution as an effective paradigm bridging neuroevolution and modern LLMs.
• Abstract（参考訳）: 大規模言語モデルはモード崩壊を示し、有効解空間の探索に失敗する均一な出力を生成する。 本稿では, 凍結LDM(70B+パラメータ)におけるスタイア生成を, 品質多様性(QD)最適化フレームワーク内で促進する, 迅速な埋め込み, コンパクトニューラルネットワーク(〜32Kパラメータ) を進化させる, パラメータ効率のよい神経進化のためのフレームワークQD-LLMを提案する。 コントリビューション:(1)モデル微調整なしの動作ステアリングを可能にする勾配自由最適化による迅速な埋め込みの進化、(2)形式的カバレッジ境界を持つ意味的特徴と明示的特徴を組み合わせたハイブリッドな挙動評価(理論) 1) ほぼ独立性 (NMI $= 0.08 \pm 0.02$); (3) 有限差分勾配推定による目的行動突然変異を含む共進化的変動演算子。 HumanEval (164問題)、MBPP、クリエイティブな書き込みベンチマークでは、QD-LLMはQDAIF (p<0.001$, 30 run, Vargha-Delaney $A=0.94$)よりも46.4%高いカバレッジと41.4%高いQDスコアを達成した。 さまざまなアーカイブがテスト生成を改善し(34%以上のエッジケース)、微調整されたデータ品質(8.3%の精度向上)を実現しています。 我々は,オープンソースのLLM(Llama-3-70B,Mistral-Large)を完全埋め込みアクセスで検証し,神経進化と現代のLLMの効果的なパラダイムとして,迅速な埋め込み進化を確立した。

関連論文リスト

• EvoPref: Multi-Objective Evolutionary Optimization Discovers Diverse LLM Alignments Beyond Gradient Descent [13.891522069967507]
  本稿では,多目的進化アルゴリズムであるEvoPrefを紹介する。 我々の主な貢献は、集団に基づく手法が降下よりもはるかに多様なアライメントを発見できることを示すことである。
  論文  参考訳（メタデータ） (2026-05-10T21:50:04Z)
• PolyGLU: State-Conditional Activation Routing in Transformer Feed-Forward Networks [0.0]
  我々は、各FFNニューロンがK=4の活性化関数を動的にルーティングすることを可能にする、SwiGLUのドロップイン置換であるPolyGLUを紹介する。 標準的なベンチマークでは、PlychromaticLMは3,600倍のトークンのトレーニングにもかかわらず、Qwen3-0.6B-Baseのパフォーマンスの62-89%を達成した。
  論文  参考訳（メタデータ） (2026-03-07T10:39:56Z)
• ODAR: Principled Adaptive Routing for LLM Reasoning via Active Inference [60.958331943869126]
  ODAR-Expertは、原則化されたリソース割り当てによる精度と効率のトレードオフを最適化する適応的なルーティングフレームワークである。 我々は、MATHの98.2%の精度、HumanityのLast Examの54.8%を含む、強く一貫した利得を示している。
  論文  参考訳（メタデータ） (2026-02-27T05:22:01Z)
• AdaptEvolve: Improving Efficiency of Evolutionary AI Agents through Adaptive Model Selection [14.17960333915609]
  進化的エージェントシステムは、計算効率と推論能力の間のトレードオフを強化する。 本稿では,AdaptEvolve: Adaptive Selection for Multi-LLM Evolutionary Refinementを紹介する。
  論文  参考訳（メタデータ） (2026-02-12T13:26:56Z)
• NIRVANA: Structured pruning reimagined for large language models compression [50.651730342011014]
  直近のゼロショット保存精度と頑健な微調整のバランスをとるために, NIRVANAを導入した。 構造化プルーニングによって引き起こされる固有の課題にさらに対処するため、NIRVANAは層やモジュール間の適応的な空間割当機構を取り入れている。 Llama3, Qwen, T5モデルで行った実験では、NIRVANAは等価な空間制約の下で既存の構造化プルーニング法よりも優れていた。
  論文  参考訳（メタデータ） (2025-09-17T17:59:00Z)
• LLAMA: Multi-Feedback Smart Contract Fuzzing Framework with LLM-Guided Seed Generation [56.84049855266145]
  進化的突然変異戦略とハイブリッドテスト技術を統合したマルチフィードバックスマートコントラクトファジリングフレームワーク(LLAMA)を提案する。 LLAMAは、91%の命令カバレッジと90%のブランチカバレッジを達成すると同時に、148の既知の脆弱性のうち132が検出される。 これらの結果は、現実のスマートコントラクトセキュリティテストシナリオにおけるLAMAの有効性、適応性、実用性を強調している。
  論文  参考訳（メタデータ） (2025-07-16T09:46:58Z)
• Efficient Federated Learning with Heterogeneous Data and Adaptive Dropout [62.73150122809138]
  Federated Learning(FL)は、複数のエッジデバイスを使用したグローバルモデルの協調トレーニングを可能にする、有望な分散機械学習アプローチである。 動的不均一モデルアグリゲーション(FedDH)と適応ドロップアウト(FedAD)の2つの新しい手法を備えたFedDHAD FLフレームワークを提案する。 これら2つの手法を組み合わせることで、FedDHADは精度(最大6.7%)、効率(最大2.02倍高速)、コスト(最大15.0%小型)で最先端のソリューションを大幅に上回っている。
  論文  参考訳（メタデータ） (2025-07-14T16:19:00Z)
• Human-in-the-Loop Feature Selection Using Interpretable Kolmogorov-Arnold Network-based Double Deep Q-Network [2.259291861960906]
  本研究では,Double Deep Q-Network (DDQN)に統合されたHuman-in-the-loop (HITL)機能選択フレームワークを提案する。 我々の新しいアプローチは、シミュレーションされた人間のフィードバックと分布に基づくサンプリング、特にベータを利用して、データインスタンスごとの機能サブセットを反復的に洗練する。 Kan-DDQNは、MNISTが93%、FashionMNISTが83%で、従来のDDQNモデルよりも9%向上した。
  論文  参考訳（メタデータ） (2024-11-06T08:13:09Z)
• On the use of feature-maps and parameter control for improved quality-diversity meta-evolution [1.0152838128195467]
  QD(Quality-Diversity)アルゴリズムは、挙動的に多様なハイパフォーマンスソリューションのアーカイブを進化させる。 QDアルゴリズムの個体群を進化させ、アーカイブレベルの目的、メタ適合性に基づいて行動空間を最適化する。 非線形および特徴選択のフィーチャーマップは、メタフィット性において15倍、3倍の改善をもたらす。
  論文  参考訳（メタデータ） (2021-05-21T12:43:27Z)
• Inception Convolution with Efficient Dilation Search [121.41030859447487]
  拡散畳み込みは、効果的な受容場を制御し、オブジェクトの大規模な分散を処理するための標準的な畳み込みニューラルネットワークの重要な変異体である。 そこで我々は,異なる軸,チャネル,層間の独立な拡散を有する拡張畳み込みの新たな変異体,すなわち開始(拡張)畳み込みを提案する。 本稿では,データに複雑なインセプション・コンボリューションを適合させる実用的な手法を探索し,統計的最適化に基づく簡易かつ効果的な拡張探索アルゴリズム(EDO)を開発した。
  論文  参考訳（メタデータ） (2020-12-25T14:58:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。