論文の概要: Generalizable Heuristic Generation Through Large Language Models with Meta-Optimization

• arxiv url: http://arxiv.org/abs/2505.20881v1
• Date: Tue, 27 May 2025 08:26:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.512726
• Title: Generalizable Heuristic Generation Through Large Language Models with Meta-Optimization
• Title（参考訳）: メタ最適化を用いた大規模言語モデルによる一般化可能なヒューリスティック生成
• Authors: Yiding Shi, Jianan Zhou, Wen Song, Jieyi Bi, Yaoxin Wu, Jie Zhang,
• Abstract要約: 大規模言語モデル (LLM) を用いたヒューリスティック設計が最適化問題に対処するための有望なアプローチとして登場した。 既存のアプローチは、しばしば手動で定義された進化的一般化とシングルタスクのトレーニングスキームに依存している。 本稿では,メタ学習のレベルで機能する新しいフレームワークであるMeta-Optimization of Heuristics(MoH)を提案する。
• 参考スコア（独自算出の注目度）: 14.919482411153185
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Heuristic design with large language models (LLMs) has emerged as a promising approach for tackling combinatorial optimization problems (COPs). However, existing approaches often rely on manually predefined evolutionary computation (EC) optimizers and single-task training schemes, which may constrain the exploration of diverse heuristic algorithms and hinder the generalization of the resulting heuristics. To address these issues, we propose Meta-Optimization of Heuristics (MoH), a novel framework that operates at the optimizer level, discovering effective optimizers through the principle of meta-learning. Specifically, MoH leverages LLMs to iteratively refine a meta-optimizer that autonomously constructs diverse optimizers through (self-)invocation, thereby eliminating the reliance on a predefined EC optimizer. These constructed optimizers subsequently evolve heuristics for downstream tasks, enabling broader heuristic exploration. Moreover, MoH employs a multi-task training scheme to promote its generalization capability. Experiments on classic COPs demonstrate that MoH constructs an effective and interpretable meta-optimizer, achieving state-of-the-art performance across various downstream tasks, particularly in cross-size settings.
• Abstract（参考訳）: 大きな言語モデル(LLM)によるヒューリスティックデザインは、組合せ最適化問題(COP)に取り組む上で有望なアプローチとして現れている。 しかし、既存のアプローチは、しばしば手動で定義された進化計算(EC)オプティマイザとシングルタスクのトレーニングスキームに依存しており、多様なヒューリスティックアルゴリズムの探索を制限し、その結果のヒューリスティックスの一般化を妨げる可能性がある。 これらの課題に対処するため,メタ学習の原理を用いて,最適な最適化を行う新しいフレームワークであるMeta-Optimization of Heuristics (MoH)を提案する。 特に、MoHはLCMを活用して、メタ最適化を反復的に洗練し、(自己)呼び出しを通じて多様なオプティマイザを自律的に構築することで、事前に定義されたECオプティマイザへの依存をなくす。 これらの構築されたオプティマイザはその後、下流のタスクのためのヒューリスティックを進化させ、より広範なヒューリスティック探索を可能にした。 さらに、MoHはその一般化能力を促進するためにマルチタスクトレーニングスキームを採用している。 古典的なCOPの実験は、MoHが効果的で解釈可能なメタ最適化器を構築し、特にクロスサイズ設定において、様々なダウンストリームタスクで最先端のパフォーマンスを達成することを示した。

関連論文リスト

• CALM: Co-evolution of Algorithms and Language Model for Automatic Heuristic Design [11.639825726501659]
  大規模言語モデル(LLM)は、従来のコストのごく一部で自律的にハイパフォーマンスを発見できる。 本稿では,言語指導と数値指導を組み合わせたハイブリッドフレームワークを提案する。 本手法は,様々な最適化タスクにおいて,SOTA(State-of-the-art)ベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-05-18T07:48:47Z)
• Improving Existing Optimization Algorithms with LLMs [0.9668407688201361]
  本稿では,Large Language Models (LLM) が既存の最適化アルゴリズムをどのように拡張するかを検討する。 事前学習した知識を用いて、革新的なバリエーションと実装戦略を提案する能力を示す。 以上の結果から, GPT-4oによる代替案はCMSAのエキスパート設計よりも優れていた。
  論文  参考訳（メタデータ） (2025-02-12T10:58:57Z)
• Deep Insights into Automated Optimization with Large Language Models and Evolutionary Algorithms [3.833708891059351]
  大きな言語モデル(LLM)と進化的アルゴリズム(EA)は、制限を克服し、最適化をより自動化するための有望な新しいアプローチを提供する。 LLMは最適化戦略の生成、洗練、解釈が可能な動的エージェントとして機能する。 EAは進化作用素を通して、複雑な解空間を効率的に探索する。
  論文  参考訳（メタデータ） (2024-10-28T09:04:49Z)
• Towards Explainable Evolution Strategies with Large Language Models [0.0]
  本稿では,自己適応的進化戦略(ES)と大規模言語モデル(LLM)を統合するアプローチを提案する。 再起動機構を備えた自己適応型ESを用いることで、ベンチマーク関数の難易度を効果的にナビゲートする。 LLMを使用してこれらのログを処理し、簡潔でユーザフレンドリーな要約を生成する。
  論文  参考訳（メタデータ） (2024-07-11T09:28:27Z)
• A Problem-Oriented Perspective and Anchor Verification for Code Optimization [43.28045750932116]
  大規模言語モデル(LLM)は、様々なプログラミングタスクを解く際、顕著な能力を示している。 本稿では,LLMが最小実行時間に最適化する能力について検討する。
  論文  参考訳（メタデータ） (2024-06-17T16:10:10Z)
• LLM as a Complementary Optimizer to Gradient Descent: A Case Study in Prompt Tuning [69.95292905263393]
  グラデーションベースとハイレベルなLLMは、協調最適化フレームワークを効果的に組み合わせることができることを示す。 本稿では,これらを相互に補完し,組み合わせた最適化フレームワークを効果的に連携させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-30T06:24:14Z)
• Unleashing the Potential of Large Language Models as Prompt Optimizers: Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
  本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。 モデルパラメータ学習における2つの重要な要素を同定する。 グラディエントにインスパイアされた Prompt ベースの GPO を開発した。
  論文  参考訳（メタデータ） (2024-02-27T15:05:32Z)
• An Empirical Evaluation of Zeroth-Order Optimization Methods on AI-driven Molecule Optimization [78.36413169647408]
  分子目的を最適化するための様々なZO最適化手法の有効性について検討する。 ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。 本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-10-27T01:58:10Z)
• Optimization-Inspired Learning with Architecture Augmentations and Control Mechanisms for Low-Level Vision [74.9260745577362]
  本稿では,GDC(Generative, Discriminative, and Corrective)の原則を集約する,最適化に着想を得た統合学習フレームワークを提案する。 フレキシブルな組み合わせで最適化モデルを効果的に解くために,3つのプロパゲーティブモジュールを構築した。 低レベル視覚タスクにおける実験は、GDCの有効性と適応性を検証する。
  論文  参考訳（メタデータ） (2020-12-10T03:24:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。