論文の概要: Large Language Models as Particle Swarm Optimizers

• arxiv url: http://arxiv.org/abs/2504.09247v1
• Date: Sat, 12 Apr 2025 15:04:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:54:47.560323
• Title: Large Language Models as Particle Swarm Optimizers
• Title（参考訳）: 粒子群最適化器としての大規模言語モデル
• Authors: Yamato Shinohara, Jinglue Xu, Tianshui Li, Hitoshi Iba,
• Abstract要約: LMPSOでは、各粒子の速度は次の候補解を生成するプロンプトとして表される。 提案したLMPSOアプローチは,トラベリングセールスマン問題(TSP)を含む複数の問題領域にまたがって評価される。 実験の結果,LMPSOは,解が構造化シーケンスとして表される問題に対して特に有効であることが示された。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Optimization problems often require domain-specific expertise to design problem-dependent methodologies. Recently, several approaches have gained attention by integrating large language models (LLMs) into genetic algorithms. Building on this trend, we introduce Language Model Particle Swarm Optimization (LMPSO), a novel method that incorporates an LLM into the swarm intelligence framework of Particle Swarm Optimization (PSO). In LMPSO, the velocity of each particle is represented as a prompt that generates the next candidate solution, leveraging the capabilities of an LLM to produce solutions in accordance with the PSO paradigm. This integration enables an LLM-driven search process that adheres to the foundational principles of PSO. The proposed LMPSO approach is evaluated across multiple problem domains, including the Traveling Salesman Problem (TSP), heuristic improvement for TSP, and symbolic regression. These problems are traditionally challenging for standard PSO due to the structured nature of their solutions. Experimental results demonstrate that LMPSO is particularly effective for solving problems where solutions are represented as structured sequences, such as mathematical expressions or programmatic constructs. By incorporating LLMs into the PSO framework, LMPSO establishes a new direction in swarm intelligence research. This method not only broadens the applicability of PSO to previously intractable problems but also showcases the potential of LLMs in addressing complex optimization challenges.
• Abstract（参考訳）: 最適化問題はしばしば、問題に依存した方法論を設計するためにドメイン固有の専門知識を必要とする。 近年,大規模言語モデル(LLM)を遺伝的アルゴリズムに統合することで,いくつかのアプローチが注目されている。 この傾向に基づいて,LMPSO(Language Model Particle Swarm Optimization)を導入し,LLMをPSO(Particle Swarm Optimization)のSwarmインテリジェンスフレームワークに組み込む手法を提案する。 LMPSOでは、各粒子の速度は次の候補解を生成するプロンプトとして表現され、PSOパラダイムに従って解を生成するLLMの能力を利用する。 この統合により、PSOの基本原理に準拠したLLM駆動の探索プロセスが実現される。 提案手法は,トラベリングセールスマン問題 (TSP) やTSPのヒューリスティック改善,シンボリックレグレッションなど,複数の問題領域にまたがって評価される。 これらの問題は伝統的に、それらの解の構造的な性質のため、標準PSOでは困難である。 実験結果から,LMPSOは数式やプログラム構造など,解が構造化シーケンスとして表現される問題に対して特に有効であることが示された。 LLMをPSOフレームワークに組み込むことで、LMPSOはSwarm Intelligence Researchにおける新たな方向性を確立する。 この手法は,従来の難解な問題に対するPSOの適用性を拡大するだけでなく,複雑な最適化問題に対処するLLMの可能性を示す。

関連論文リスト

• Are Language Models Up to Sequential Optimization Problems? From Evaluation to a Hegelian-Inspired Enhancement [0.0]
  大規模言語モデル(LLM)は多くの分野にまたがって印象的な能力を示している。 本稿では、逐次最適化問題(SOP)におけるLLMの熟練度について考察する。 We introduced WorldGen, a dynamic framework for generate unseen SOPs with controllable complexities。 ヘーゲル弁証学の影響力ある枠組みに触発され,SOP文脈におけるLLMの性能が著しく向上することを示すACEを提案する。
  論文  参考訳（メタデータ） (2025-02-04T18:47:31Z)
• Large Language Models for Combinatorial Optimization of Design Structure Matrix [4.513609458468522]
  エンジニアリングアプリケーションの効率と性能を改善するためには、組合せ最適化(CO)が不可欠である。 実世界の工学的問題に関しては、純粋数学的推論に基づくアルゴリズムは限定的であり、最適化に必要な文脈ニュアンスを捉えることができない。 本研究では,工学的CO問題の解法におけるLarge Language Models (LLMs) の可能性について,その推論能力と文脈的知識を活用して検討する。
  論文  参考訳（メタデータ） (2024-11-19T15:39:51Z)
• EVOLvE: Evaluating and Optimizing LLMs For Exploration [76.66831821738927]
  大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。 多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。 最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T17:54:03Z)
• LLaMA-Berry: Pairwise Optimization for O1-like Olympiad-Level Mathematical Reasoning [56.273799410256075]
  このフレームワークはMonte Carlo Tree Search (MCTS)と反復的なSelf-Refineを組み合わせて推論パスを最適化する。 このフレームワークは、一般的なベンチマークと高度なベンチマークでテストされており、探索効率と問題解決能力の点で優れた性能を示している。
  論文  参考訳（メタデータ） (2024-10-03T18:12:29Z)
• Leveraging Large Language Models for Solving Rare MIP Challenges [35.38992171089948]
  混合プログラミング(MIP)は、数学的な解法が厳密な時間制約の中で複雑なインスタンスに対処する必要がある領域で広く適用されてきた。 大規模言語モデル(LLM)のようなエンドツーエンドモデルのモデル構築コストは、そのパターン認識能力によって問題スケールの影響を受けていない。
  論文  参考訳（メタデータ） (2024-09-03T07:25:01Z)
• On the Design and Analysis of LLM-Based Algorithms [74.7126776018275]
  大規模言語モデル(LLM)はアルゴリズムのサブルーチンとして使用される。 LLMは素晴らしい経験的成功を収めた。 提案フレームワークは,LLMアルゴリズムの進歩を約束する。
  論文  参考訳（メタデータ） (2024-07-20T07:39:07Z)
• When Large Language Model Meets Optimization [7.822833805991351]
  大規模言語モデル(LLM)は、インテリジェントなモデリングと最適化における戦略的意思決定を容易にする。 本稿では,LLMと最適化アルゴリズムの組み合わせの進展と可能性について概説する。
  論文  参考訳（メタデータ） (2024-05-16T13:54:37Z)
• SparseLLM: Towards Global Pruning for Pre-trained Language Models [12.057369029549534]
  本研究では,グローバルプルーニングプロセスを再定義する新しいフレームワークであるSparseLLMを提案する。 SparseLLMのアプローチは、LLMをモジュラ関数の連鎖として概念化し、問題の分解に補助変数を利用する。 高いスパーシティ・レシエーションにおいて、特に顕著なパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2024-02-28T00:09:07Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)
• Optimizing Solution-Samplers for Combinatorial Problems: The Landscape of Policy-Gradient Methods [52.0617030129699]
  本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。 我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。 本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-10-08T23:39:38Z)
• Thought Propagation: An Analogical Approach to Complex Reasoning with Large Language Models [62.96551299003463]
  大規模言語モデルの複雑な推論能力を高めるために,textbftextitThought Propagation (TP)を提案する。 TP はまず LLM に対して,入力問題に関連する類似問題の集合を提案し,解決するよう促す。 TPは、類似問題の結果を再利用して、新しいソリューションを直接生成したり、スクラッチから得られた初期ソリューションを修正するための知識集約的な実行プランを導出する。
  論文  参考訳（メタデータ） (2023-10-06T01:40:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。