論文の概要: Multi-Objective Hierarchical Optimization with Large Language Models

• arxiv url: http://arxiv.org/abs/2601.13892v1
• Date: Tue, 20 Jan 2026 12:10:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:23.299332
• Title: Multi-Objective Hierarchical Optimization with Large Language Models
• Title（参考訳）: 大規模言語モデルを用いた多目的階層最適化
• Authors: Andrej Schwanke, Lyubomir Ivanov, David Salinas, Frank Hutter, Arber Zela,
• Abstract要約: 大規模言語モデル(LLM)は、多目的最適化を推進するための既定の選択肢ではない。 本稿では,このギャップを,構造化階層型探索戦略内での代理モデルと候補サンプルとしてLLMを活用することで解決する。
• 参考スコア（独自算出の注目度）: 41.41567058185742
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite their widespread adoption in various domains, especially due to their powerful reasoning capabilities, Large Language Models (LLMs) are not the off-the-shelf choice to drive multi-objective optimization yet. Conventional strategies rank high in benchmarks due to their intrinsic capabilities to handle numerical inputs and careful modelling choices that balance exploration and Pareto-front exploitation, as well as handle multiple (conflicting) objectives. In this paper, we close this gap by leveraging LLMs as surrogate models and candidate samplers inside a structured hierarchical search strategy. By adaptively partitioning the input space into disjoint hyperrectangular regions and ranking them with a composite score function, we restrict the generative process of the LLM to specific, high-potential sub-spaces, hence making the problem easier to solve as the LLM doesn't have to reason about the global structure of the problem, but only locally instead. We show that under standard regularity assumptions, our algorithm generates candidate solutions that converge to the true Pareto set in Hausdorff distance. Empirically, it consistently outperforms the global LLM-based multi-objective optimizer and is on par with standard evolutionary and Bayesian optimization algorithm on synthetic and real-world benchmarks.
• Abstract（参考訳）: 様々な領域で広く採用されているにもかかわらず、特に強力な推論能力のために、LLM(Large Language Models)は、まだ多目的最適化を推進するための既定の選択肢ではない。 従来の戦略は、数値入力を扱う本質的な能力と、探索とPareto-frontの活用のバランスをとる慎重なモデリング選択、および複数の(衝突する)目的を扱うため、ベンチマークで上位にランクされている。 本稿では,このギャップを,構造化階層型探索戦略内での代理モデルと候補サンプルとしてLLMを活用することで解決する。 入力空間を非結合な超矩形領域に適応的に分割し、それらを合成スコア関数でランク付けすることにより、LLMの生成過程を特定の高ポテンシャル部分空間に制限し、LLMが問題のグローバル構造を推論する必要がなく、ローカルにのみ解決できるようにする。 標準的な正則性仮定の下では、このアルゴリズムはハウスドルフ距離における真のパレート集合に収束する候補解を生成する。 経験的には、グローバルなLLMベースの多目的最適化アルゴリズムよりも一貫して優れており、合成および実世界のベンチマークにおける標準的な進化的およびベイズ最適化アルゴリズムと同等である。

関連論文リスト

• LLM4CMO: Large Language Model-aided Algorithm Design for Constrained Multiobjective Optimization [54.35609820607923]
  大規模言語モデル(LLM)は、アルゴリズム設計を支援する新しい機会を提供する。 LLM4CMOは,2つの人口構成をもつ2段階のフレームワークをベースとした新しいCMOEAである。 LLMは複雑な進化最適化アルゴリズムの開発において効率的な共同設計者として機能する。
  論文  参考訳（メタデータ） (2025-08-16T02:00:57Z)
• Pareto Multi-Objective Alignment for Language Models [7.9051473654430655]
  大規模言語モデル(LLM)は、複数の、しばしば矛盾する、目的の慎重なバランスを必要とする現実世界のアプリケーションに、ますます多くデプロイされている。 LLMにおける多目的アライメント(MOA)を明示的に設計するアルゴリズムを提案する。 PAMAは、マルチオブジェクトRLHFをクローズドフォームソリューションで凸最適化に変換し、スケーラビリティを大幅に向上させる。
  論文  参考訳（メタデータ） (2025-08-11T08:54:14Z)
• Pareto-Grid-Guided Large Language Models for Fast and High-Quality Heuristics Design in Multi-Objective Combinatorial Optimization [8.950269044886621]
  多目的最適化問題(MOCOP)は、矛盾する目的の同時最適化を必要とする実用的応用においてしばしば発生する。 LLM(MPaGE)のPareto-Grid-Guided EvolutionによるMOCOPのマルチヒューリスティックスについて紹介する。 MPaGE は LLM を用いて、変異の間、意味的に異なる論理構造を優先順位付けし、多様性を促進し、集団内の冗長性を緩和する。
  論文  参考訳（メタデータ） (2025-07-28T15:26:43Z)
• Improving LLM-based Global Optimization with Search Space Partitioning [40.61249592871905]
  大規模言語モデル(LLM)は、グローバル最適化フレームワーク内で有効な代理モデルと候補ジェネレータとして登場した。 HOLLMは,探索空間を有望な部分領域に分割することでLLM駆動サンプリングを強化する,新しいグローバル最適化アルゴリズムである。 標準最適化ベンチマークの実証的な評価は、HOLLMがベイズ最適化と信頼領域法に一貫して適合するか、超越していることを示している。
  論文  参考訳（メタデータ） (2025-05-27T16:01:49Z)
• LLaMA-Berry: Pairwise Optimization for O1-like Olympiad-Level Mathematical Reasoning [56.273799410256075]
  このフレームワークはMonte Carlo Tree Search (MCTS)と反復的なSelf-Refineを組み合わせて推論パスを最適化する。 このフレームワークは、一般的なベンチマークと高度なベンチマークでテストされており、探索効率と問題解決能力の点で優れた性能を示している。
  論文  参考訳（メタデータ） (2024-10-03T18:12:29Z)
• Multi-Reference Preference Optimization for Large Language Models [56.84730239046117]
  複数の参照モデルを用いた直接選好最適化のための新しいクローズドフォームの定式化を提案する。 得られたアルゴリズムであるMulti-Reference Preference Optimization (MRPO)は、様々な参照モデルからより広範な事前知識を活用する。 MRPOを微調整したLLMは,データ不足や多量性に関わらず,様々な嗜好データにおいてより一般化されていることを示す。
  論文  参考訳（メタデータ） (2024-05-26T00:29:04Z)
• Large Language Model-Aided Evolutionary Search for Constrained Multiobjective Optimization [15.476478159958416]
  我々は,制約付き多目的最適化問題に対する進化探索を強化するために,大規模言語モデル(LLM)を用いる。 私たちの目標は、進化の集団の収束を早めることです。
  論文  参考訳（メタデータ） (2024-05-09T13:44:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。