論文の概要: MultiGA: Leveraging Multi-Source Seeding in Genetic Algorithms
- arxiv url: http://arxiv.org/abs/2512.04097v1
- Date: Fri, 21 Nov 2025 21:47:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-07 19:06:32.435463
- Title: MultiGA: Leveraging Multi-Source Seeding in Genetic Algorithms
- Title(参考訳): MultiGA: 遺伝的アルゴリズムにおけるマルチソース探索の活用
- Authors: Isabelle Diana May-Xin Ng, Tharindu Cyril Weerasooriya, Haitao Zhu, Wei Wei,
- Abstract要約: 大規模言語モデル(LLM)は、複雑なタスクに対処するために研究領域で広く使われているが、その性能は目前のタスクによって大きく異なる可能性がある。
複雑な自然言語処理や推論問題に遺伝的アルゴリズムの原則を適用した新しいアプローチであるMultiGAを導入する。
我々は,テキストからコードへの生成タスク,旅行計画,大学院レベルの科学問題に対するGPQAベンチマーク,BBQバイアスベンチマークを用いて,我々のアプローチをベンチマークする。
- 参考スコア(独自算出の注目度): 8.975943388046058
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) are widely used across research domains to tackle complex tasks, but their performance can vary significantly depending on the task at hand. Evolutionary algorithms, inspired by natural selection, can be used to refine solutions iteratively at inference-time. To the best of our knowledge, there has not been exploration on leveraging the collective capabilities of multi-source seeding for LLM-guided genetic algorithms. In this paper, we introduce a novel approach, MultiGA, which applies genetic algorithm principles to address complex natural language tasks and reasoning problems by sampling from a diverse population of LLMs to initialize the population. MultiGA generates a range of outputs from various parent LLMs, open source and closed source, and uses a neutral fitness function to evaluate them. Through an iterative recombination process, we mix and refine these generations until an optimal solution is achieved. We benchmark our approach using text-to-SQL code generation tasks, trip planning, GPQA benchmark for grad-level science questions, and the BBQ bias benchmark. Our results show that MultiGA converges to the accuracy of the LLM best fit for the task, and these insights lay the foundation for future research looking closer at integrating multiple LLMs for unexplored tasks in which selecting only one pre-trained model is unclear or suboptimal.
- Abstract(参考訳): 大規模言語モデル(LLM)は、複雑なタスクに対処するために研究領域で広く使われているが、その性能は目前のタスクによって大きく異なる可能性がある。
自然選択にインスパイアされた進化的アルゴリズムは、推論時に反復的に解を洗練するために用いられる。
我々の知る限り、LLM誘導遺伝的アルゴリズムにマルチソースシードの集合的能力を活用するための調査は行われていない。
本稿では,複雑な自然言語処理や推論問題に遺伝的アルゴリズムの原理を適用した新しいアプローチであるMultiGAを紹介する。
MultiGAは、様々なLLM、オープンソース、クローズドソースから出力を生成し、中性適合性関数を用いて評価する。
反復的な組換えプロセスを通じて、最適解が達成されるまでこれらの世代を混合し、精製する。
我々は、テキストからSQLへのコード生成タスク、トリッププランニング、グレードレベルの科学問題のためのGPQAベンチマーク、BBQバイアスベンチマークを用いて、我々のアプローチをベンチマークする。
この結果から,MultiGA はタスクに適した LLM の精度に収束することが示された。これらの知見は,事前学習された1つのモデルのみを選択することが不明確あるいは最適である未探索タスクに対して,複数の LLM を統合することに向けた今後の研究の基盤となる。
関連論文リスト
- LLMAP: LLM-Assisted Multi-Objective Route Planning with User Preferences [31.10423199218523]
大規模言語モデル(LLM)の台頭により、リッチなユーザ目標を含む新たな研究領域を自然言語駆動で計画するルートが生まれている。
本稿では,自然言語を理解し,タスクを識別し,ユーザの好みを抽出するLLM-asタスクを提案する。
世界中の14の国と27の都市で、様々な複雑さでサンプリングされた1000のルーティングプロンプトを用いて広範な実験を行っている。
論文 参考訳(メタデータ) (2025-09-14T02:30:19Z) - LLM-Based Instance-Driven Heuristic Bias In the Context of a Biased Random Key Genetic Algorithm [0.9214658764451348]
本稿では,Large Language Models (LLMs) と Biased Random-Key Genetic Algorithm (BRKGA) を統合し,NP-hard Longest Run Subsequence 問題の解法を提案する。
我々のアプローチは、計算効率のよいメトリクスセットを共同設計し実装するための人間-LLM協調プロセスを導入することで、インスタンス駆動バイアスパラダイムを拡張します。
その結果, BRKGA+Llama-4-Maverickはベースラインよりも大幅に改良された。
論文 参考訳(メタデータ) (2025-09-05T21:46:41Z) - GEPA: Reflective Prompt Evolution Can Outperform Reinforcement Learning [106.98018881499362]
GEPA(Genetic-Pareto)は、自然言語を徹底的に組み込んで、試行錯誤から高度なルールを学ぶプロンプトである。
GEPAはシステムレベルの軌跡(推論、ツールコール、ツールアウトプットなど)をサンプリングし、自然言語でそれらを反映して問題を診断する。
ほんの数回だけロールアウトしても、大きな品質向上に繋がることが多い。
論文 参考訳(メタデータ) (2025-07-25T17:42:32Z) - Discrete Tokenization for Multimodal LLMs: A Comprehensive Survey [69.45421620616486]
本研究は、大規模言語モデル(LLM)用に設計された離散トークン化手法の最初の構造的分類と解析である。
古典的および近代的なパラダイムにまたがる8つの代表的なVQ変種を分類し、アルゴリズムの原理を分析し、力学を訓練し、LLMパイプラインとの統合に挑戦する。
コードブックの崩壊、不安定な勾配推定、モダリティ固有の符号化制約など、重要な課題を特定する。
論文 参考訳(メタデータ) (2025-07-21T10:52:14Z) - Towards Efficient Multi-LLM Inference: Characterization and Analysis of LLM Routing and Hierarchical Techniques [14.892995952768352]
言語モデル(LM)は、テキスト生成、要約、質問応答といったタスクに優れています。
彼らの推論は計算コストが高く、ハードウェア、電力、帯域幅に制限のある設定でエネルギーを集中的に消費する。
近年のアプローチでは、クエリの複雑さに基づいて、動的に計算資源を割り当てる複数のLLMインテリジェントモデル選択戦略が導入されている。
論文 参考訳(メタデータ) (2025-06-06T23:13:08Z) - Enhancing the Geometric Problem-Solving Ability of Multimodal LLMs via Symbolic-Neural Integration [57.95306827012784]
幾何学図のステップワイズ推論パスを自動的に生成するパイプラインであるGeoGenを提案する。
正確なシンボリック推論を活用することで、textbfGeoGenは大規模で高品質な質問応答ペアを生成する。
GeoGen が生成した合成データを用いて,Large Language Model (LLM) である textbfGeoLogic を訓練する。
論文 参考訳(メタデータ) (2025-04-17T09:13:46Z) - Aligning Multimodal LLM with Human Preference: A Survey [62.89722942008262]
大規模言語モデル(LLM)は、タスク固有のトレーニングを必要とせずに、単純なプロンプトで幅広い汎用タスクを処理できる。
MLLM(Multimodal Large Language Models)は、視覚的、聴覚的、テキスト的データを含む複雑なタスクに対処する大きな可能性を実証している。
しかし、真理性、安全性、o1のような推論、および人間の嗜好との整合性に関する重要な問題は未解決のままである。
論文 参考訳(メタデータ) (2025-03-18T17:59:56Z) - Optimizing Knowledge Integration in Retrieval-Augmented Generation with Self-Selection [72.92366526004464]
Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) がより正確で信頼性の高い応答を生成するのに有効であることが証明されている。
本稿では,自己選択型RAGフレームワークを提案する。このフレームワークでは,内部パラメトリック知識のみで生成されたペアの応答からLLMを選択できる。
論文 参考訳(メタデータ) (2025-02-10T04:29:36Z) - Monte Carlo Tree Search for Comprehensive Exploration in LLM-Based Automatic Heuristic Design [33.58608225370497]
大規模言語モデル (LLM) に基づく自動設計 (AHD) 手法は、手作業による介入なしに高品質な設計を作成することを約束している。
本稿では,進化進化にモンテカルロ木探索(MCTS)を用いることを提案する。
論文 参考訳(メタデータ) (2025-01-15T06:00:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。