論文の概要: Large Language Models as Particle Swarm Optimizers

• arxiv url: http://arxiv.org/abs/2504.09247v1
• Date: Sat, 12 Apr 2025 15:04:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-23 08:44:48.410079
• Title: Large Language Models as Particle Swarm Optimizers
• Title（参考訳）: 粒子群最適化器としての大規模言語モデル
• Authors: Yamato Shinohara, Jinglue Xu, Tianshui Li, Hitoshi Iba,
• Abstract要約: LMPSOでは、各粒子の速度は次の候補解を生成するプロンプトとして表される。 提案したLMPSOアプローチは,トラベリングセールスマン問題(TSP)を含む複数の問題領域にまたがって評価される。 実験の結果,LMPSOは,解が構造化シーケンスとして表される問題に対して特に有効であることが示された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Optimization problems often require domain-specific expertise to design problem-dependent methodologies. Recently, several approaches have gained attention by integrating large language models (LLMs) into genetic algorithms. Building on this trend, we introduce Language Model Particle Swarm Optimization (LMPSO), a novel method that incorporates an LLM into the swarm intelligence framework of Particle Swarm Optimization (PSO). In LMPSO, the velocity of each particle is represented as a prompt that generates the next candidate solution, leveraging the capabilities of an LLM to produce solutions in accordance with the PSO paradigm. This integration enables an LLM-driven search process that adheres to the foundational principles of PSO. The proposed LMPSO approach is evaluated across multiple problem domains, including the Traveling Salesman Problem (TSP), heuristic improvement for TSP, and symbolic regression. These problems are traditionally challenging for standard PSO due to the structured nature of their solutions. Experimental results demonstrate that LMPSO is particularly effective for solving problems where solutions are represented as structured sequences, such as mathematical expressions or programmatic constructs. By incorporating LLMs into the PSO framework, LMPSO establishes a new direction in swarm intelligence research. This method not only broadens the applicability of PSO to previously intractable problems but also showcases the potential of LLMs in addressing complex optimization challenges.
• Abstract（参考訳）: 最適化問題はしばしば、問題に依存した方法論を設計するためにドメイン固有の専門知識を必要とする。 近年,大規模言語モデル(LLM)を遺伝的アルゴリズムに統合することで,いくつかのアプローチが注目されている。 この傾向に基づいて,LMPSO(Language Model Particle Swarm Optimization)を導入し,LLMをPSO(Particle Swarm Optimization)のSwarmインテリジェンスフレームワークに組み込む手法を提案する。 LMPSOでは、各粒子の速度は次の候補解を生成するプロンプトとして表現され、PSOパラダイムに従って解を生成するLLMの能力を利用する。 この統合により、PSOの基本原理に準拠したLLM駆動の探索プロセスが実現される。 提案手法は,トラベリングセールスマン問題 (TSP) やTSPのヒューリスティック改善,シンボリックレグレッションなど,複数の問題領域にまたがって評価される。 これらの問題は伝統的に、それらの解の構造的な性質のため、標準PSOでは困難である。 実験結果から,LMPSOは数式やプログラム構造など,解が構造化シーケンスとして表現される問題に対して特に有効であることが示された。 LLMをPSOフレームワークに組み込むことで、LMPSOはSwarm Intelligence Researchにおける新たな方向性を確立する。 この手法は,従来の難解な問題に対するPSOの適用性を拡大するだけでなく,複雑な最適化問題に対処するLLMの可能性を示す。

関連論文リスト

• Discrete Tokenization for Multimodal LLMs: A Comprehensive Survey [69.45421620616486]
  本研究は、大規模言語モデル(LLM)用に設計された離散トークン化手法の最初の構造的分類と解析である。 古典的および近代的なパラダイムにまたがる8つの代表的なVQ変種を分類し、アルゴリズムの原理を分析し、力学を訓練し、LLMパイプラインとの統合に挑戦する。 コードブックの崩壊、不安定な勾配推定、モダリティ固有の符号化制約など、重要な課題を特定する。
  論文  参考訳（メタデータ） (2025-07-21T10:52:14Z)
• Large Language Models for Design Structure Matrix Optimization [4.513609458468522]
  複雑なエンジニアリングシステムでは、設計構造行列(DSM)を用いてコンポーネントや開発活動間の相互依存性をモデル化し分析することが多い。 フィードバックループを最小限に抑え、モジュール性やプロセス効率を向上させるためにDSM内の要素を再編成することは、エンジニアリング設計と運用において困難な最適化問題となっている。 本研究では, 大規模言語モデル (LLM) が, 高度な推論や文脈理解にその能力を活用することで, そうしたCO問題の解決を支援する可能性について検討する。
  論文  参考訳（メタデータ） (2025-06-11T13:53:35Z)
• Exploiting Edited Large Language Models as General Scientific Optimizers [10.489095729605152]
  大規模言語モデル(LLM)は、科学的シナリオにおける数学的最適化において広く採用されている。 概念的に単純で汎用的な二段階最適化手法,すなわち textbf General textbfScientific textbfOptimizers (GSO) を提案する。
  論文  参考訳（メタデータ） (2025-03-08T18:01:11Z)
• Are Language Models Up to Sequential Optimization Problems? From Evaluation to a Hegelian-Inspired Enhancement [0.0]
  大規模言語モデル(LLM)は多くの分野にまたがって印象的な能力を示している。 本稿では、逐次最適化問題(SOP)におけるLLMの熟練度について考察する。 We introduced WorldGen, a dynamic framework for generate unseen SOPs with controllable complexities。 ヘーゲル弁証学の影響力ある枠組みに触発され,SOP文脈におけるLLMの性能が著しく向上することを示すACEを提案する。
  論文  参考訳（メタデータ） (2025-02-04T18:47:31Z)
• Can Large Language Models Be Trusted as Evolutionary Optimizers for Network-Structured Combinatorial Problems? [8.082897040940447]
  大規模言語モデル(LLM)は、言語理解とさまざまなドメイン間の推論において強力な能力を示している。 本研究では,問題構造に係わるLLMの能力を評価するための体系的枠組みを提案する。 我々は、よく使われる進化的手法(EVO)を採用し、LLM演算子の出力忠実度を厳格に評価する包括的評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-01-25T05:19:19Z)
• Large Language Models for Combinatorial Optimization of Design Structure Matrix [4.513609458468522]
  エンジニアリングアプリケーションの効率と性能を改善するためには、組合せ最適化(CO)が不可欠である。 実世界の工学的問題に関しては、純粋数学的推論に基づくアルゴリズムは限定的であり、最適化に必要な文脈ニュアンスを捉えることができない。 本研究では,工学的CO問題の解法におけるLarge Language Models (LLMs) の可能性について,その推論能力と文脈的知識を活用して検討する。
  論文  参考訳（メタデータ） (2024-11-19T15:39:51Z)
• Autoformulation of Mathematical Optimization Models Using LLMs [50.030647274271516]
  本稿では,自然言語問題記述から解法対応最適化モデルを自動生成する,$textitautoformulation$の問題にアプローチする。 オートフォーミュレーションの3つの主要な課題を識別する: $textit(1)$ 巨大で問題に依存した仮説空間、および$textit(2)$ 不確実性の下でこの空間を効率的かつ多様に探索する。 我々は,$textitLarge Language Models$と$textitMonte-Carlo Tree Search$を併用した新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-11-03T20:41:38Z)
• EVOLvE: Evaluating and Optimizing LLMs For Exploration [76.66831821738927]
  大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。 多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。 最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T17:54:03Z)
• LLaMA-Berry: Pairwise Optimization for O1-like Olympiad-Level Mathematical Reasoning [56.273799410256075]
  このフレームワークはMonte Carlo Tree Search (MCTS)と反復的なSelf-Refineを組み合わせて推論パスを最適化する。 このフレームワークは、一般的なベンチマークと高度なベンチマークでテストされており、探索効率と問題解決能力の点で優れた性能を示している。
  論文  参考訳（メタデータ） (2024-10-03T18:12:29Z)
• Leveraging Large Language Models for Solving Rare MIP Challenges [35.38992171089948]
  混合プログラミング(MIP)は、数学的な解法が厳密な時間制約の中で複雑なインスタンスに対処する必要がある領域で広く適用されてきた。 大規模言語モデル(LLM)のようなエンドツーエンドモデルのモデル構築コストは、そのパターン認識能力によって問題スケールの影響を受けていない。
  論文  参考訳（メタデータ） (2024-09-03T07:25:01Z)
• On the Design and Analysis of LLM-Based Algorithms [74.7126776018275]
  大規模言語モデル(LLM)はアルゴリズムのサブルーチンとして使用される。 LLMは素晴らしい経験的成功を収めた。 提案フレームワークは,LLMアルゴリズムの進歩を約束する。
  論文  参考訳（メタデータ） (2024-07-20T07:39:07Z)
• When Large Language Model Meets Optimization [7.822833805991351]
  大規模言語モデル(LLM)は、インテリジェントなモデリングと最適化における戦略的意思決定を容易にする。 本稿では,LLMと最適化アルゴリズムの組み合わせの進展と可能性について概説する。
  論文  参考訳（メタデータ） (2024-05-16T13:54:37Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)
• Optimizing Solution-Samplers for Combinatorial Problems: The Landscape of Policy-Gradient Methods [52.0617030129699]
  本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。 我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。 本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-10-08T23:39:38Z)
• Thought Propagation: An Analogical Approach to Complex Reasoning with Large Language Models [62.96551299003463]
  大規模言語モデルの複雑な推論能力を高めるために,textbftextitThought Propagation (TP)を提案する。 TP はまず LLM に対して,入力問題に関連する類似問題の集合を提案し,解決するよう促す。 TPは、類似問題の結果を再利用して、新しいソリューションを直接生成したり、スクラッチから得られた初期ソリューションを修正するための知識集約的な実行プランを導出する。
  論文  参考訳（メタデータ） (2023-10-06T01:40:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。